企业官网建设流程全解析

1. 项目缘起：从“天池”到“我的”二手车预测

最近在整理数据竞赛的入门笔记，翻到了之前在天池平台做的一个二手车交易价格预测项目。那个项目提供了一个非常经典的baseline（基线模型），很多新手都是照着它一步步敲代码，跑出第一个分数。但说实话，当时跟着做的时候，总觉得有点“知其然不知其所以然”——代码是跑通了，分数也出来了，可为什么要做这些数据清洗？特征工程那几步到底起了多大作用？模型参数为什么这么设？心里总是不太踏实。

这其实也是很多朋友刚接触数据科学项目时的共同感受：面对一个现成的baseline，能跑起来，但很难真正消化成自己的东西。所以，我决定把这个项目重新拿出来，不是简单地复现，而是进行一次“深度解剖”。我会基于那个经典的天池baseline，但每一步都会加入我自己的理解和追问，重点放在探索性数据分析和构建一个真正有解释性的baseline上。目标不是追求一个多高的分数，而是把“黑盒”打开，让你看清楚数据从原始状态到模型输入，中间到底经历了什么，以及每一个决策背后的“为什么”。

这个项目非常适合有一定Python和pandas基础，想通过一个完整案例深入理解机器学习全流程的朋友。我们将聚焦于两个核心：EDA和Baseline。EDA不是走马观花地画几个图，而是带着问题去审视数据，为后续的模型构建提供决策依据；Baseline也不是随便丢一个模型进去，而是要建立一个合理、可解释、能作为后续优化坚实起点的初始模型。

2. 数据初窥与问题定义：我们到底要预测什么？

在动手写任何代码之前，我们必须先彻底搞清楚我们要解决什么问题，以及数据长什么样。天池这个赛题的任务是：根据二手车的各项属性，预测其交易价格。这是一个典型的回归问题。

首先，我们加载数据并快速查看其结构。通常数据集会包含训练集和测试集。

import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline # 加载数据 train_data = pd.read_csv('used_car_train_20200331.csv', sep=' ') test_data = pd.read_csv('used_car_testA_20200331.csv', sep=' ') print(f"训练集形状: {train_data.shape}") print(f"测试集形状: {test_data.shape}")

运行后，我们可能得到类似“训练集: (150000, 31)，测试集: (50000, 30)”的结果。这意味着我们有15万条训练样本，每条样本有31个字段（30个特征+1个价格标签），测试集有5万条样本，没有价格标签。

接下来，我们查看数据的前几行和基本信息：

# 查看前几行 print(train_data.head()) # 查看数据基本信息 print(train_data.info()) # 查看数值型特征的统计摘要 print(train_data.describe())

通过info()方法，我们可以立刻发现一些关键问题：

1. 缺失值：哪些列存在NaN？缺失的比例高吗？（例如，notRepairedDamage列可能有很多“-”值，在pandas中会被识别为object类型，实际上代表缺失）。
2. 数据类型：哪些是数值型（int64, float64），哪些是分类型（object）？分类型特征里有多少不同的取值？
3. 特征含义：结合赛题说明，理解每个字段代表什么。例如：
   • name：汽车名称，属于高基数类别特征（取值非常多）。
   • model：车型，也是类别特征。
   • brand：品牌。
   • bodyType：车身类型。
   • fuelType：燃油类型。
   • gearbox：变速箱类型。
   • power：发动机功率。
   • kilometer：行驶公里数。
   • notRepairedDamage：是否有未修复损坏。
   • regDate,creatDate：注册日期和广告创建日期，可以衍生出“车龄”、“广告发布时长”等特征。
   • price：我们的预测目标，交易价格。

注意：在实际操作中，notRepairedDamage列中的“-”需要被处理为缺失值。regDate和creatDate需要转换成datetime格式以便计算时间差。这些都是在初步查看时就要记下来的待办事项。

定义清楚问题（回归预测）并初步了解数据全貌后，我们的EDA才有了明确的方向：我们需要分析目标变量的分布，分析各个特征与目标的关系，检查异常值，并为处理缺失值、编码分类变量、特征工程做准备。

3. 深入探索性数据分析：用问题引导分析

EDA不是机械地画图，而是带着一系列问题去分析数据，让图形和统计量来回答问题。我会分几个核心问题来展开。

3.1 目标变量分析：价格分布正常吗？

我们首先关心要预测的值——价格。它的分布直接影响模型的选择（例如，是否需要对价格取对数）。

plt.figure(figsize=(12, 5)) plt.subplot(1, 2, 1) sns.histplot(train_data['price'], kde=True) plt.title('Price Distribution') plt.subplot(1, 2, 2) sns.boxplot(y=train_data['price']) plt.title('Price Boxplot') plt.show() print(f"价格偏度: {train_data['price'].skew():.2f}") print(f"价格峰度: {train_data['price'].kurt():.2f}")

我的分析过程与发现：

1. 分布形态：直方图通常会显示价格严重右偏，大部分车集中在较低价格区间，少数豪华车价格极高，拉长了尾巴。偏度远大于0，峰度也可能很高。
2. 异常值：箱线图会清晰显示存在大量的上侧异常点（那些远离箱体的点）。
3. 决策：这种严重的偏态分布对许多线性模型不友好。常见的处理方法是进行对数变换。我们来验证一下：

plt.figure(figsize=(12, 5)) plt.subplot(1, 2, 1) sns.histplot(np.log1p(train_data['price']), kde=True) # 使用log1p防止价格为0 plt.title('Log(Price+1) Distribution') plt.subplot(1, 2, 2) sns.boxplot(y=np.log1p(train_data['price'])) plt.title('Log(Price+1) Boxplot') plt.show() print(f"对数价格偏度: {np.log1p(train_data['price']).skew():.2f}")

变换后，分布会更接近正态分布，偏度和峰度值会大大降低。因此，在构建模型时，我们选择对目标变量price进行对数变换，模型将预测log(price)，最终预测结果再通过exp(prediction) - 1转换回来。这是回归问题中处理右偏态目标的经典操作。

3.2 关键数值特征分析：功率、公里数与价格有何关系？

接下来，我们选取几个核心的数值特征，如power（功率）、kilometer（公里数），分析它们与价格的关系，并检查异常值。

fig, axes = plt.subplots(1, 2, figsize=(15, 5)) # 功率 vs 价格（取对数后关系更线性） axes[0].scatter(train_data['power'], np.log1p(train_data['price']), alpha=0.1, s=2) axes[0].set_xlabel('Power') axes[0].set_ylabel('Log(Price+1)') axes[0].set_title('Power vs Log(Price)') # 公里数 vs 价格 # 公里数通常是离散的取值，可以用箱线图 sns.boxplot(x='kilometer', y='price', data=train_data, ax=axes[1]) axes[1].set_title('Kilometer vs Price') axes[1].tick_params(axis='x', rotation=45) plt.tight_layout() plt.show()

我的分析过程与发现：

1. 功率：散点图显示，功率与价格（对数）大致呈正相关，但存在大量功率为0或极低（如1，2）的异常点。这些点在现实中不合理，可能是数据录入错误。此外，功率上限也可能存在异常高值（如几百千瓦的普通家用车）。这些异常点会严重影响模型，必须处理。
2. 公里数：箱线图显示，公里数是一个离散化特征（例如5万公里，10万公里等）。整体趋势符合常识：行驶里程越长，价格中位数越低。但每个箱体内都有很大的价格范围，说明公里数不是唯一决定因素。

基于此的决策：

• 对于power，我们需要设定一个合理的上下限。例如，可以查看其分位数：

print(train_data['power'].describe()) print(f"功率>500的数量: {(train_data['power'] > 500).sum()}") print(f"功率==0的数量: {(train_data['power'] == 0).sum()}")

假设我们发现99.9%的数据功率在400以内，但存在一些600+甚至上万的值。我们可以选择用上下限截断（Winsorization），例如将大于400的设为400，小于10的设为10（或视为缺失）。这里的选择需要结合业务知识（家用车功率范围）和统计分布。

• 对于kilometer，我们可以将其视为有序的类别特征，或者进行分段处理。

3.3 类别特征分析：品牌、车型如何影响价格？

类别特征如brand（品牌）、model（车型）是影响价格的关键。我们可以通过统计不同类别下的价格分布来分析。

# 分析品牌对价格的影响 brand_price = train_data.groupby('brand')['price'].agg(['mean', 'median', 'count']).sort_values('median', ascending=False) print(brand_price.head(10)) # 查看最贵的品牌 print(brand_price.tail(10)) # 查看最便宜的品牌 plt.figure(figsize=(15, 6)) # 选取数量最多的前20个品牌，绘制价格中位数的条形图 top_brands = brand_price.nlargest(20, 'count').index sns.boxplot(x='brand', y='price', data=train_data[train_data['brand'].isin(top_brands)], order=top_brands) plt.xticks(rotation=90) plt.title('Price Distribution by Top 20 Brands (by count)') plt.show()

我的分析过程与发现：

1. 品牌效应明显：豪华品牌（如奔驰、宝马、奥迪）的价格中位数显著高于普通品牌。这是非常强的信号。
2. 样本量差异大：有些品牌样本量很少，其价格统计可能不稳定。在后续编码时（如目标编码），需要考虑平滑处理，防止过拟合。
3. 高基数特征：name（车名）的取值可能成千上万，直接进行One-hot编码会导致维度爆炸。对于这类特征，通常采用计数编码（统计该车名出现的次数）、目标编码（用该车名对应的价格均值/中位数来编码）或直接舍弃。

决策：对于brand这类中等基数且重要的类别特征，我们可以使用One-hot编码或目标编码。对于name，在baseline阶段，为了简单和防止维度灾难，我倾向于先使用计数编码，即用“该车名在训练集中出现的次数”作为一个新特征。出现次数多的车名，说明是常见车型，其价格可能更稳定；出现次数少的，可能是稀有或个性化车型，价格波动大。

3.4 时间特征工程：从注册日期和创建日期能挖出什么？

regDate（注册日期）和creatDate（广告创建日期）是两座金矿。最直接的衍生特征是车龄。

# 转换日期格式 train_data['regDate'] = pd.to_datetime(train_data['regDate'], format='%Y%m%d', errors='coerce') train_data['creatDate'] = pd.to_datetime(train_data['creatDate'], format='%Y%m%d', errors='coerce') # 计算车龄（年） train_data['car_age'] = (train_data['creatDate'] - train_data['regDate']).dt.days / 365.25 # 查看车龄分布及其与价格的关系 plt.figure(figsize=(12,5)) plt.subplot(1,2,1) sns.histplot(train_data['car_age'].dropna(), bins=50) plt.title('Car Age Distribution') plt.subplot(1,2,2) sns.scatterplot(x='car_age', y='price', data=train_data, alpha=0.1, s=5) plt.title('Car Age vs Price') plt.show()

我的分析过程与发现：

1. 异常值：计算车龄时，会发现有些车的“车龄”是负数（注册日期晚于广告日期），这明显是错误数据，需要处理（如设为缺失或根据分布进行修正）。
2. 非线性关系：散点图显示，车龄与价格呈负相关，但并非严格线性。新车（车龄<1年）贬值最快，之后贬值曲线逐渐平缓。这提示我们可以对车龄进行分桶处理，例如划分为“准新车(0-1年)”、“青年车(1-3年)”、“中年车(3-7年)”、“老年车(7年以上)”，将连续值转化为有序的类别，可能比原始值效果更好。
3. 其他衍生：还可以从creatDate中提取“广告发布的月份”、“星期几”等，有时能反映季节性销售趋势，但在baseline中可以先不做。

决策：在baseline中，我会生成car_age特征，并处理其中的异常负值（例如用中位数填充或直接删除异常样本）。同时，我会尝试一个简单的分桶版本作为对比。

4. 数据清洗与特征工程：为模型准备“食材”

基于EDA的发现，我们现在可以系统地清洗数据并构造特征。这一步直接决定了模型“吃”进去的数据质量。

4.1 异常值处理：给数据“修剪枝叶”

根据EDA，我们锁定了几个需要处理的异常特征：

1. power（功率）：我们使用分位数进行截断。

   # 查看功率的分布，决定上下界 print(train_data['power'].quantile([0.001, 0.01, 0.1, 0.9, 0.99, 0.999])) # 假设我们决定将功率限制在[10, 500]的区间内 power_low, power_high = 10, 500 train_data['power'] = train_data['power'].clip(lower=power_low, upper=power_high) test_data['power'] = test_data['power'].clip(lower=power_low, upper=power_high)

   实操心得：这个上下界的选择不是绝对的。你可以先设定一个宽松的边界（如[5,600]）跑一个baseline，再逐步收紧观察模型效果变化。也可以对训练集和测试集分别计算分位数，然后取并集作为截断边界，防止数据泄露。

2. car_age（车龄）：处理负值和极大值。

   # 计算车龄 train_data['car_age'] = (train_data['creatDate'] - train_data['regDate']).dt.days / 365.25 test_data['car_age'] = (test_data['creatDate'] - test_data['regDate']).dt.days / 365.25 # 处理异常：车龄不应为负，也不应过大（比如超过50年） train_data.loc[train_data['car_age'] < 0, 'car_age'] = np.nan train_data.loc[train_data['car_age'] > 50, 'car_age'] = np.nan # 对测试集做同样处理

3. 其他数值特征：如v_0,v_1等匿名特征，也需要检查其分布和异常值，方法类似。

4.2 缺失值处理：填补数据的“空白”

查看各列缺失情况：

missing_train = train_data.isnull().sum() / len(train_data) missing_test = test_data.isnull().sum() / len(test_data) missing_all = pd.concat([missing_train, missing_test], axis=1, keys=['Train', 'Test']) print(missing_all[missing_all.sum(axis=1) > 0].sort_values(by='Train', ascending=False))

常见列如notRepairedDamage（用‘-’表示缺失）、fuelType、gearbox、bodyType以及我们刚创建的car_age都可能存在缺失。

处理策略：

• 高缺失率特征：如果某列缺失率超过50%，在baseline阶段可以考虑直接删除该特征，因为其提供的信息可能不可靠且难以填补。
• 类别特征缺失：用众数（mode）填充，或直接填充一个“未知”类别。例如fuelType缺失，就填“unknown”。

  cat_cols = ['fuelType', 'gearbox', 'bodyType', 'notRepairedDamage'] for col in cat_cols: # 先将‘-’替换为np.nan train_data[col].replace('-', np.nan, inplace=True) test_data[col].replace('-', np.nan, inplace=True) # 用众数填充 mode_val = train_data[col].mode()[0] train_data[col].fillna(mode_val, inplace=True) test_data[col].fillna(mode_val, inplace=True)

• 数值特征缺失：用中位数（median）填充。中位数对异常值不敏感，比均值更稳健。

  num_cols = ['car_age', 'v_0', 'v_1', ...] # 列出所有数值列 for col in num_cols: median_val = train_data[col].median() train_data[col].fillna(median_val, inplace=True) test_data[col].fillna(median_val, inplace=True)

  注意：填充用的统计量（众数、中位数）必须只从训练集计算，然后用来填充训练集和测试集。这是防止数据泄露的关键一步。

4.3 特征构造与编码：将数据转化为模型语言

这是特征工程的核心，我们将原始数据转化为模型能更好理解的格式。

1. 从日期衍生特征：

   # 除了车龄，还可以尝试分桶 train_data['car_age_bin'] = pd.cut(train_data['car_age'], bins=[0,1,3,7,15,100], labels=[0,1,2,3,4]) test_data['car_age_bin'] = pd.cut(test_data['car_age'], bins=[0,1,3,7,15,100], labels=[0,1,2,3,4]) # 填充分桶可能产生的NaN（由于原始car_age为NaN） train_data['car_age_bin'].fillna(-1, inplace=True) test_data['car_age_bin'].fillna(-1, inplace=True)

2. 处理高基数类别特征name：

   # 计数编码：用该车名出现的次数作为新特征 name_count = train_data['name'].value_counts().to_dict() train_data['name_count'] = train_data['name'].map(name_count) test_data['name_count'] = test_data['name'].map(name_count) # 对于测试集中出现训练集未出现的name，填充为1（视为出现一次） test_data['name_count'].fillna(1, inplace=True)

3. 有序类别特征编码：像kilometer（公里数）本身是有序的，我们可以将其映射为有序的数值。

   km_map = {5000:0, 10000:1, 20000:2, 30000:3, 40000:4, 50000:5, 60000:6, 70000:7, 80000:8, 90000:9, 100000:10, 150000:11} train_data['kilometer_encoded'] = train_data['kilometer'].map(km_map) test_data['kilometer_encoded'] = test_data['kilometer'].map(km_map)

4. 普通类别特征编码：对于brand,bodyType等，在baseline中我们使用最简单的标签编码或频率编码。频率编码与计数编码类似，但用的是频率（次数/总数）。

   # 频率编码示例：brand brand_freq = (train_data['brand'].value_counts() / len(train_data)).to_dict() train_data['brand_freq'] = train_data['brand'].map(brand_freq) test_data['brand_freq'] = test_data['brand'].map(brand_freq) test_data['brand_freq'].fillna(train_data['brand_freq'].min(), inplace=True) # 处理新品牌

5. 删除无用特征：像原始的name,regDate,creatDate等，在衍生出新特征后，可以考虑删除，减少噪声。seller（卖家类型）和offerType（报价类型）在天池数据中几乎全是单一值，没有预测能力，可以直接删除。

   drop_cols = ['name', 'regDate', 'creatDate', 'seller', 'offerType'] train_data.drop(columns=drop_cols, inplace=True, errors='ignore') test_data.drop(columns=drop_cols, inplace=True, errors='ignore')

5. Baseline模型构建、训练与验证

数据准备好后，我们开始构建第一个模型。Baseline模型的目标是快速建立一个合理的、可复现的基准，而不是追求极致性能。因此，我选择LightGBM，因为它对类别特征友好、速度快、且通常能取得不错的效果。

5.1 准备训练数据与评估指标

首先，分离特征和目标变量，并对目标变量进行之前讨论过的对数变换。

# 假设我们已将所有特征处理完毕，存储在 DataFrame `X_train` 和 `X_test` 中 # 目标变量 y_train = np.log1p(train_data['price']) # 对数变换 # 划分训练集和验证集，用于本地评估模型 from sklearn.model_selection import train_test_split X_tr, X_val, y_tr, y_val = train_test_split(train_data.drop(columns=['price']), y_train, test_size=0.2, random_state=42)

评估指标采用赛题指定的平均绝对误差，但注意我们的目标是log(price)，所以评估时也需要将预测值转换回原始价格空间来计算MAE。

from sklearn.metrics import mean_absolute_error def eval_mae(y_true, y_pred): """计算在原始价格空间上的MAE""" # y_true 是 log(price)， y_pred 是模型预测的 log(price) # 转换回原始价格 price_true = np.expm1(y_true) price_pred = np.expm1(y_pred) return mean_absolute_error(price_true, price_pred)

5.2 配置与训练LightGBM模型

我们使用LightGBM的LGBMRegressor，并设置一组保守的、不易过拟合的初始参数。

import lightgbm as lgb # 定义模型参数 lgb_params = { 'boosting_type': 'gbdt', 'objective': 'regression_l1', # 使用L1损失，与MAE对齐 'metric': 'mae', 'num_leaves': 31, # 保守的叶子数，防止过拟合 'learning_rate': 0.05, 'feature_fraction': 0.8, # 每次迭代使用80%的特征 'bagging_fraction': 0.8, # 每次迭代使用80%的数据 'bagging_freq': 5, 'verbose': -1, 'random_state': 42, 'n_jobs': -1, } # 创建数据集 dtrain = lgb.Dataset(X_tr, label=y_tr, categorical_feature=['bodyType', 'fuelType', 'gearbox', 'notRepairedDamage'] if 'categorical' in locals() else 'auto') dval = lgb.Dataset(X_val, label=y_val, reference=dtrain) # 训练模型 model = lgb.train( lgb_params, dtrain, num_boost_round=1000, # 设置一个较大的轮数，配合早停 valid_sets=[dtrain, dval], valid_names=['train', 'val'], callbacks=[lgb.early_stopping(stopping_rounds=50), lgb.log_evaluation(100)] # 早停，每100轮打印一次 )

参数选择解释：

• objective: 'regression_l1'：因为评估指标是MAE（L1损失），所以直接使用L1损失作为优化目标，理论上更直接。
• num_leaves: 31：这是控制树复杂度的关键参数。对于baseline，从一个较小的值开始（如31），确保模型不会太复杂。
• learning_rate: 0.05：中等学习率，配合足够的迭代轮数。
• feature_fraction和bagging_fraction：这两个是随机森林思想的体现，每次建树只使用部分特征和部分数据，可以增加模型的鲁棒性，防止过拟合，是LightGBM的“防过拟合神器”。
• early_stopping: 这是必须使用的回调函数。它会在验证集性能不再提升时自动停止训练，防止过拟合，并自动选择最优的迭代轮数。

5.3 模型评估与特征重要性分析

训练完成后，我们在验证集上评估，并查看哪些特征最重要。

# 在验证集上预测 val_pred_log = model.predict(X_val, num_iteration=model.best_iteration) # 计算MAE val_mae = eval_mae(y_val, val_pred_log) print(f"验证集MAE: {val_mae:.4f}") # 特征重要性 importance_df = pd.DataFrame({ 'feature': X_tr.columns, 'importance': model.feature_importance(importance_type='gain') # 使用增益 }).sort_values('importance', ascending=False) plt.figure(figsize=(10, 12)) sns.barplot(x='importance', y='feature', data=importance_df.head(20)) plt.title('Top 20 Feature Importance (Gain)') plt.tight_layout() plt.show()

结果分析：

1. MAE值：你会得到一个具体的MAE数值，比如“验证集MAE: 0.1234”。这个数字本身的意义需要参考赛题的排行榜。更重要的是，它为你后续的优化提供了一个基准。任何特征工程或调参，都应该以降低这个值为目标。
2. 特征重要性：图表会清晰显示哪些特征对模型预测贡献最大。通常，name_count（车名计数）、brand_freq（品牌频率）、car_age（车龄）、power（功率）和某些匿名v特征会排名靠前。这验证了我们EDA和特征工程的方向是否正确。
   • 如果某个你认为重要的特征排名很靠后，可能需要检查其编码方式或与目标的相关性是否真的不强。
   • 如果某个特征重要性异常高，需要警惕是否存在数据泄露（该特征间接包含了目标信息）。

踩坑实录：我曾遇到过creatDate的衍生特征重要性异常高的情况。后来发现，是因为测试集的时间范围在训练集之后，模型学到了“日期越晚，价格越高”的这种时间趋势，这在真实预测中是无效的，属于数据泄露的一种。解决方法是在特征工程中避免使用与时间序列未来信息相关的特征，或者进行更严谨的时间序列交叉验证。

6. 生成提交结果与Baseline总结

最后，我们用训练好的模型在测试集上进行预测，并生成符合赛题要求的提交文件。

# 对测试集进行预测（同样是在对数空间） test_pred_log = model.predict(test_data, num_iteration=model.best_iteration) # 转换回原始价格空间 test_pred_price = np.expm1(test_pred_log) # 生成提交DataFrame，假设测试集有一个‘SaleID’列作为标识 submission = pd.DataFrame() submission['SaleID'] = test_data['SaleID'] # 请根据实际列名调整 submission['price'] = test_pred_price # 保存为CSV文件 submission.to_csv('baseline_submission.csv', index=False) print("提交文件已生成: baseline_submission.csv")

至此，一个从EDA到Baseline的完整流程就走完了。回顾整个过程，我们不仅仅是跑通了一个流程，更重要的是理解了每一步背后的动机：

1. EDA是导航：它告诉我们数据哪里有问题（异常值、缺失值），哪里藏着金矿（强相关特征），指导我们如何进行清洗和特征工程。
2. 清洗是保障：处理掉异常值和缺失值，相当于给模型提供了干净、一致的“食材”，避免模型学到错误规律。
3. 特征工程是核心：将原始数据转化为对模型更友好的形式。Baseline阶段我们用了计数编码、频率编码、简单衍生（车龄）等方法，这些已经能带来显著提升。
4. 模型是工具：LightGBM是一个强大且高效的工具。在Baseline阶段，我们采用保守参数和早停策略，目的是获得一个稳定、可解释的基准，而不是一个复杂难调的“黑箱”。

这个Baseline的分数可能不会很高，但它稳健、可解释、为后续优化提供了清晰的起点。你可以基于这个Baseline，尝试更复杂的特征工程（如交叉特征、多项式特征）、更细致的调参、模型集成等，每一步改进都可以与这个Baseline对比，清晰地看到提升来自哪里。这才是从一个“跑代码的人”走向“解决问题的人”的关键一步。