1. 机器学习期末复习指南:从零基础到稳过不挂科
又到了期末季,看着《机器学习》教材上密密麻麻的公式和算法,是不是感觉头大?作为一门理论性强、数学要求高的课程,机器学习确实让不少同学感到吃力。但别担心,只要掌握正确的复习方法,完全可以在短时间内高效掌握核心考点。我当年就是用这套方法,从完全不懂到期末考了90+,今天就把我的复习秘籍完整分享给大家。
2. 复习策略与重点划分
2.1 知识体系全景图
机器学习课程通常包含三大模块:监督学习、无监督学习和强化学习。根据我的经验,期末考试中监督学习占比约60%,无监督学习30%,强化学习10%。具体到章节,以下内容几乎必考:
- 线性回归与逻辑回归(含正则化)
- 决策树与随机森林
- 支持向量机(SVM)
- 神经网络基础
- 聚类算法(K-means、层次聚类)
- 降维(PCA)
- 模型评估方法
2.2 时间分配建议
假设你有7天复习时间,建议这样分配:
- 第1-2天:过一遍所有基础概念和公式
- 第3-4天:重点攻克监督学习算法
- 第5天:无监督学习+模型评估
- 第6天:做3-5套往年试题
- 第7天:查漏补缺+公式默写
注意:千万不要陷入"只看不做"的陷阱,每学完一个算法都要动手推公式或写伪代码
3. 核心算法精讲与公式推导
3.1 线性回归全家桶
线性回归看似简单,但考官特别喜欢在这里设置陷阱。必须掌握:
最小二乘法推导:
# 损失函数 J(θ) = 1/2m * Σ(hθ(x_i)-y_i)^2 # 闭式解 θ = (X^T X)^-1 X^T y正则化变种:
- L2正则(岭回归):θ = (X^T X + λI)^-1 X^T y
- L1正则(Lasso):不可导,需用坐标下降法
易错点:正则化项是否包含θ0(通常不包括)
3.2 逻辑回归的魔鬼细节
虽然叫"回归",实为分类算法。关键掌握:
Sigmoid函数特性:
g(z) = 1/(1+e^-z) g'(z) = g(z)(1-g(z)) # 这个导数形式经常考损失函数推导(交叉熵):
J(θ) = -1/m [Σ y_i log(hθ(x_i)) + (1-y_i)log(1-hθ(x_i))]多分类扩展(Softmax):
P(y=j|x) = e^(θ_j^T x) / Σ e^(θ_k^T x)
3.3 决策树的关键问题
面试和考试中最常问的三个问题:
如何选择分裂特征?
- 信息增益(ID3)
- 增益率(C4.5)
- 基尼系数(CART)
剪枝方法:
- 预剪枝(更高效)
- 后剪枝(效果更好)
连续值处理:
- 二分法(C4.5)
- 需要考排序后取中点作为候选划分点
4. 模型评估与实验设计
4.1 评估指标全家桶
不同任务需要不同评估指标:
| 任务类型 | 常用指标 | 计算公式 |
|---|---|---|
| 分类 | 准确率、精确率、召回率 | TP/(TP+FP), TP/(TP+FN) |
| 回归 | MSE、R^2 | 1 - RSS/TSS |
| 聚类 | 轮廓系数、DB指数 | (b-a)/max(a,b) |
4.2 交叉验证的实用技巧
K折交叉验证看似简单,但实际操作有讲究:
- 数据划分前一定要shuffle
- 分类问题建议用分层抽样(StratifiedKFold)
- 小数据集(<1k样本)建议用10折,大数据集用5折
- 最终模型应该在全部数据上重新训练
5. 高频考点与解题模板
5.1 推导题万能思路
遇到公式推导题,按这个模板来:
- 写出目标函数/损失函数
- 对参数求偏导(矩阵求导常用迹技巧)
- 令导数等于零
- 解方程得到参数表达式
例如SVM的对偶问题推导、EM算法的E步M步等,都适用这个套路。
5.2 简答题黄金结构
回答概念题时采用"定义+特点+应用+局限"四段式:
以"解释过拟合"为例:
- 定义:模型在训练集表现好但泛化差
- 特点:训练误差<<测试误差
- 解决方法:正则化、早停、dropout等
- 示例:用多项式回归演示过拟合现象
6. 考场实战技巧
6.1 时间分配建议
以2小时考试为例:
- 选择题/填空题:30分钟(遇到不会的先标记)
- 简答题:45分钟(分点作答)
- 计算推导题:45分钟(写清步骤)
6.2 遇到不会的题怎么办
- 先写相关概念和公式(可能有步骤分)
- 举例说明(比如让解释核技巧,可以画图说明)
- 对比相似算法(如比较SVM和LR的异同)
7. 最后冲刺资源包
必背公式清单:
- 贝叶斯定理:P(A|B) = P(B|A)P(A)/P(B)
- 梯度下降更新:θ = θ - α∇J(θ)
- SVM原始问题:min 1/2||w||^2 s.t. y_i(w^T x_i +b)≥1
常见面试/考题:
- 比较Bagging和Boosting
- 解释核函数的作用
- 如何选择神经网络层数和神经元数量
推荐复习资料:
- 《机器学习》周志华 第1-10章
- Andrew Ng机器学习课程笔记
- 3Blue1Brown神经网络可视化视频
记住,机器学习考试不是比谁记得多,而是比谁理解得透。与其死记硬背10个算法,不如彻底搞懂3个核心算法。考试前夜一定要睡好,保持清醒的头脑比多熬几小时更有用。我在考场上就遇到过前一天熬夜结果把SVM和LR公式记混的同学,大家一定要引以为戒。