企业官网建设流程全解析

1. StandardScaler 做什么？

对向量特征的每个维度 (x) 做标准化：

• 先减去均值：(x - \mu)（可选）
• 再除以标准差：((x - \mu) / \sigma)（可选）

在 Flink ML 里，通过两个开关控制：

• withMean：是否减均值（默认 false）
• withStd：是否除以标准差（默认 true）

2. 输入列与输出列

输入列（Input Columns）

输出列（Output Columns）

3. 参数详解（Parameters）

withMean 什么时候开？

• 你希望特征以 0 为中心、并且数据不是稀疏 one-hot/高维稀疏向量：可以开
• 如果你的特征是稀疏向量（例如 OneHotEncoder 输出），一般不建议开（中心化会破坏稀疏性、带来不必要开销）

4. Java 示例解读（fit + transform）

标准用法永远是两步：

1）在训练数据上fit()学到每个维度的统计量（均值、方差/标准差）
2）用同一个StandardScalerModel对训练/预测数据transform()，保证线上线下一致

你给的示例在同一份 inputTable 上 fit + transform，演示效果更直观。

importorg.apache.flink.ml.feature.standardscaler.StandardScaler;importorg.apache.flink.ml.feature.standardscaler.StandardScalerModel;importorg.apache.flink.ml.linalg.DenseVector;importorg.apache.flink.ml.linalg.Vectors;importorg.apache.flink.streaming.api.datastream.DataStream;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;importorg.apache.flink.table.api.Table;importorg.apache.flink.table.api.bridge.java.StreamTableEnvironment;importorg.apache.flink.types.Row;importorg.apache.flink.util.CloseableIterator;publicclassStandardScalerExample{publicstaticvoidmain(String[]args){StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();StreamTableEnvironmenttEnv=StreamTableEnvironment.create(env);DataStream<Row>inputStream=env.fromElements(Row.of(Vectors.dense(-2.5,9,1)),Row.of(Vectors.dense(1.4,-5,1)),Row.of(Vectors.dense(2,-1,-2)));TableinputTable=tEnv.fromDataStream(inputStream).as("input");StandardScalerstandardScaler=newStandardScaler();// 默认 withMean=false, withStd=trueStandardScalerModelmodel=standardScaler.fit(inputTable);TableoutputTable=model.transform(inputTable)[0];for(CloseableIterator<Row>it=outputTable.execute().collect();it.hasNext();){Rowrow=it.next();DenseVectorinputValue=(DenseVector)row.getField(standardScaler.getInputCol());DenseVectoroutputValue=(DenseVector)row.getField(standardScaler.getOutputCol());System.out.printf("Input Value: %s\tOutput Value: %s\n",inputValue,outputValue);}}}

这段代码做了什么：

• fit()：扫描 inputTable，计算每个维度的标准差（以及如果 withMean=true 则计算均值）
• transform()：对每条向量逐维标准化，新增输出列output

5. 实战建议

1）StandardScaler 比 MinMaxScaler 更抗异常值一点，但也不是“免疫”

StandardScaler用均值/方差，极端值仍会影响统计量，只是通常比 min/max 更稳定。
如果异常值特别多，建议先做截断/清洗，再标准化。

2）不要在预测数据上重新 fit

必须做到：

• 训练阶段：fit(train)
• 预测阶段：transform(predict) 用同一个 model
  否则线上每批数据的缩放尺度都变，模型输出会漂。

3）常见组合

• VectorAssembler → StandardScaler → KMeans/KNN/LinearSVC/LogisticRegression
• Bucketizer/OneHotEncoder 这种离散稀疏特征链路，一般不需要 withMean