企业官网建设流程全解析

分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请轻击人工智能教程https://www.captainai.net/troubleshooter

俗话说得好：“支持向量机有三宝，间隔对偶核技巧”。在上一篇文章中我和你分享了间隔这个核心概念，今天就来看看对偶和核技巧的使用。对偶性主要应用在最优决策边界的求解中，其逻辑比较简单。

但在介绍核技巧时，会先后涉及核函数、核方法、核技巧这些近似的概念。虽然从名字上看，它们都是“核”字辈的兄弟，但是在含义和用途上却不能一概而论，因此有必要对它们做一些系统的梳理。

当支持向量机用于线性可分的数据时，不同类别的支持向量到最优决策边界的距离之和为$2 / || {\bf w} ||$，其中的${\bfw}$是超平面的线性系数，也就是法向量。不难看出，让间隔$|| {\bfw} || ^ {- 1}$最大化就是让$|| {\bfw} || ^ 2$最小化，所以线性可分的支持向量机对应的最优化问题就是$$ \mathop {\min }\limits_{ {\bfw}, b} \dfrac{1}{2} || {\bfw} || ^ 2$$$$ {\rms.t.} y_i({\bfw} \cdot {\bf x}_i+ b) \ge 1$$其中$y_i$为数据点${\bf x}_i$对应的类别，其取值为$\pm1$。

这个问题本身是个凸二次规划（convex quadratic programming）问题，求解起来轻松加随意。但借助拉格朗日乘子，这个原问题（primal problem）就可以改写成所谓的广义拉格朗日函数（generalized Lagrange function）$$ L({\bfw}, b, {\boldsymbol\alpha}) = \dfrac{1}{2} || {\bfw} || ^ 2 + \sum\limits_{i= 1}^m\alpha_i[1 - y_i ({\bfw} \cdot {\bf x}_i+ b)] $$其中每个$\alpha_i$都是$\boldsymbol\alpha$的分量。和原来的优化问题相比，除了和决策边界有关的变量${\bfw}$和$b$之外，广义拉格朗日函数还引入了一组不小于0的参数$\alpha_i$。

这个式子其实从另一个角度说明了为什么最优决策边界只取决于几个支持向量。对于不是支持向量的数据点来说，等式右侧第二项中的$1 - y_i({\bfw} \cdot {\bf x}_i+ b)$是小于0的，因此在让$L({\bf w}, b, {\boldsymbol\alpha})$最