机器学习技法 之 支持向量机（SVM）

机器学习中特征转换或利用是整个流程中的核心内容，这里介绍三个与之有关的三个主流技术：

• Embedding Numerous Features: how to exploit and regularize
  numerous features? $\to$ inspires Support Vector Machine (SVM) model （如何挖掘利用众多特征和控制复杂度）
• Combining Predictive Features: how to construct and blend
  predictive features? $\to$ Inspires Adaptive Boosting (AdaBoost) model （如何构造并混合一些预测特征）
• Distilling Implicit Features: how to identify and learn implicit
  features? $\to$ inspires Deep Learning model （如何学出或找出一些特征）

线性支持向量机 （Linear Support Vector Meachine）

基本概念

实际上相当于“大间隔的分割超平面 ” (Large - Margin Separating Hyperplane)。什么意思呢？

以线性分类模型 PLA 为例，其最终目标是找出一个超平面将所有的样本分割开。支持向量机实际上是在此基础上，保证离分割线最近的一些样本（${\mathbf{x}}_n$）与超平面之间的距离（distance to closest ${\mathbf{x}}_n$）尽量大。这使得对噪声的容忍度（amount of noise tolerance）更大，或者说该超平面鲁棒性（robustness of hyperplane）更强。（more robust because of larger distance to closest ${\mathbf{x}}_n$）。

这样可以假设边界不是一条宽度不计的超平面，而是一个有宽度的胖超平面（fat hyperplane）。那么这里的胖度实际上就相当于鲁棒性即 $\text{robustness}\equiv \text{fatness}$。

那么现在的目标就是找出那个最胖的一个超平面（fattest separating hyperplane）。

$$\begin{array}{rl}\underset{\mathbf{w}}{\max }& \text{fatness }(\mathbf{w})\\ \text{subject to}& \mathrm{w}\text{ classifies every }\left({\mathrm{x}}_n,y_n\right)\text{ correctly}\\ & \text{fatness }(\mathbf{w})=\underset{n=1,\dots ,N}{\min }\mathrm{distance}\left({\mathbf{x}}_n,\mathbf{w}\right)\end{array}$$

至此胖胖的超平面正式叫做间隔（margin），据此将上式改写为：

$$\begin{array}{rl}\underset{\mathbf{w}}{\max }& \text{margin }(\mathbf{w})\\ \text{subject to}& y_n{\mathbf{w}}^T\mathbf{x}>0\\ & \text{margin }(\mathbf{w})=\underset{n=1,\dots ,N}{\min }\mathrm{distance}\left({\mathbf{x}}_n,\mathbf{w}\right)\end{array}$$

因为间隔的求取需要将 ${\mathbf{w}}_0$ 和 $({\mathbf{w}}_0,\cdots ,{\mathbf{w}}_d)$ 分开 (to be derived)，所以在本章中假设函数（超平面）的表达式为：

$$h(\mathbf{x})=\mathrm{sign}\left({\mathbf{w}}^T\mathbf{x}+b\right)$$

最优化问题转换

第一步：获取距离（distance）

假设超平面上的任意两点 ${\mathbf{x}}^{\prime }$ 和 ${\mathbf{x}}^{\prime \prime }$，那么：

1. ${\mathbf{w}}^T{\mathbf{x}}^{\prime }=-b$，${\mathbf{w}}^T{\mathbf{x}}^{\prime \prime }=-b$
2. $\mathbf{w}\perp \text{ hyperplane}$：
   $$\left(\begin{array}{cc}{\mathbf{w}}^T& \underset{\text{ vector on hyperplane }}{\underbrace{\left({\mathbf{x}}^{\prime \prime }-{\mathbf{x}}^{\prime }\right)}}\end{array}\right)=0$$
3. 所以样本到超平面（hyperplane）距离的计算公式为 $\text{distance }=\text{project }(\mathbf{x}-{\mathbf{x}}^{\prime })\text{ to }\perp \text{ hyperplane}$。

即：
$$\mathrm{distance}(\mathbf{x},b,\mathbf{w})=\left|\frac{{\mathbf{w}}^T}{\Vert \mathbf{w}\Vert }\left(\mathbf{x}-{\mathbf{x}}^{\prime }\right)\right|\stackrel{(1)}{=}\frac{1}{\Vert \mathbf{w}\Vert }\left|{\mathbf{w}}^T\mathbf{x}+b\right|$$

第二步：去绝对值号

对于分割超平面（separating hyperplane）有：
$$y_n\left({\mathbf{w}}^T{\mathbf{x}}_n+b\right)>0$$

距离公式可以进一步写为：

$$\mathrm{distance}(\mathbf{x},b,\mathbf{w})=\frac{1}{\Vert \mathbf{w}\Vert }\left|{\mathbf{w}}^T\mathbf{x}+b\right|=\frac{1}{\Vert \mathbf{w}\Vert }{y}_n\left({\mathbf{w}}^T\mathbf{x}+b\right)$$

第三步：缩放 margin

将最小的 margin 缩放至 $\frac{1}{\Vert \mathbf{w}\Vert }$，即令：
$$\underset{n=1,\cdots ,N}{\min }{y}_n\left({\mathbf{w}}^T\mathbf{x}+b\right)=1$$

可以看出此缩放跟样本无关，只是将 $\mathbf{x}$ 和 $b$ 进行了缩放。至此可以将约束条件转换为其必要条件：
$$y_n\left({\mathbf{w}}^T{\mathbf{x}}_n+b\right)\ge 1\text{ for all }n$$

第四步：去根号，将最小化改为最大化

由于根号不好求取，所以这里将其转换为等价最优化问题求其倒数平方的最小值，并添加 $\frac{1}{2}$。
$$\begin{array}{rl}\underset{b,w}{\min }& \frac{1}{2}{w}^{T}w\\ \text{subject to }& y_n\left({\mathbf{w}}^T{\mathbf{x}}_n+b\right)\ge 1\text{ for all }n\end{array}$$

第五步：转换为二次规划问题

二次规划（QP，全称 quadratic programming），是一个较为容易的优化问题。二次规划的标准形式为：

$$\begin{array}{rl}\text{optimal }\mathrm{u}\leftarrow & \mathrm{Q}\mathrm{P}(\mathrm{Q},\mathrm{p},\mathrm{A},\mathrm{c})\\ \underset{u}{\min }& \frac{1}{2}{u}^{T}Qu+p^{T}u\\ \text{subject to }& {\mathbf{a}}_m^T\mathbf{u}\ge c_m\text{ for }m=1,2,\dots ,M\end{array}$$

对比支持向量机的最优化问题的数学表达，可以得出：

$$\begin{array}{rl}\text{objective function:}& \mathbf{u}=\left[\begin{array}{l}b\\ \mathbf{w}\end{array}\right];Q=\left[\begin{array}{ll}0& 0_d^T\\ 0_d& {\mathrm{I}}_d\end{array}\right];\mathbf{p}=0_{d+1}\\ \text{constraints:}& {\mathbf{a}}_n^T=y_n\left[\begin{array}{ll}1& {\mathbf{x}}_n^T\end{array}\right];c_n=1;M=N\end{array}$$

线性 SVM（with QP Solver）的训练步骤

1. $\mathbf{u}=\left[\begin{array}{l}b\mathbf{w}\end{array}\right];Q=\left[\begin{array}{ll}0& 0_d^T\\ 0_d& {\mathrm{I}}_d\end{array}\right];\mathbf{p}=0_{d+1}{\mathbf{a}}_n^T=y_n\left[\begin{array}{ll}1& {\mathbf{x}}_n^T\end{array}\right];c_n=1;M=N$
2. $\left[\begin{array}{l}b\\ w\end{array}\right]\leftarrow QP(Q,p,A,c)$
3. return $b\&w$ as $g_{\mathbf{s}\mathbf{v}\mathbf{m}}$

以二维平面为例求取支持向量机：

假设样本的分布为：
$$X=\left[\begin{array}{ll}0& 0\\ 2& 2\\ 2& 0\\ 3& 0\end{array}\right]y=\left[\begin{array}{l}-1\\ -1\\ +1\\ +1\end{array}\right]\begin{array}{rlr}& -b\ge 1& (i)\\ -2w_1-2w_2& -b\ge 1& (ii)\\ 2w_1& +b\ge 1& (iii)\\ 3w_1& +b\ge 1& (iv)\end{array}$$

可以求解的：
$$g_{\mathrm{s}\mathrm{v}\mathrm{m}}(\mathbf{x})=\mathrm{sign}\left(x_1-x_2-1\right)$$

示意图如下：

其中画方框的边缘样本（boundary example） 叫做支持向量（support vector），而支持向量机则是通过这些支持向量求取最胖的超平面，这便是支持向量机的来源。

大间隔（Large-Margin）的意义

与L2正则化的关系

写到这里肯定会想到，采用最大间隔的超平面的意义是什么？
现在将其与 L2范数正则化（weight-decay regularization）进行对比：

$$\begin{array}{ccc}& \text{ minimize }& \text{ constraint }\\ \text{ regularization }& E_{\text{in }}& {\mathbf{w}}^T\mathbf{w}\le C\\ \text{ SVM }& {\mathbf{w}}^T\mathbf{w}& E_{\text{in }}=0\text{ [and more] }\end{array}$$

可见实际上线性支持向量机（Linear SVM）是一种以 $E_{\text{in }}=0$ 为条件的L2范数正则化。

大间隔算法（large-margin algorithm）

SVM 可以理解为一种大间隔算法（large-margin algorithm）${\mathcal{A}}_{\rho }$：returns $g$ with $\mathrm{margin}(g)\ge \rho$ (if exists), or 0 otherwise。

当间隔不断扩大时，有些可以 shatter 的情况会因为在间隔内而不能 shatter。

当 $\rho =0$ 时，输入个数为三时，可以shatter。

当 $\rho =1.126$ 时，输入个数为三时，不可以shatter了。

这代表了更少的二分法（fewer dichotomies）$\Rightarrow$ 更小的 ‘VC dim’ $\Rightarrow$ 更好的泛化能力。

核支持向量机（Kernel SVM）

大间隔超平面（Large-Margin Hyperplane）

下面列举以下原来所求取的模型的特点与大间隔超平面算法做对比：

$$\begin{array}{cccc}& \begin{array}{c}\text{ large-margin }\\ \text{ hyperplanes }\end{array}& \text{ hyperplanes }& \begin{array}{c}\text{ hyperplanes }\\ +\text{ feature transform }\Phi \end{array}\\ \#& \text{ even fewer }& \text{ not many }& \text{ many }\\ \text{ boundary }& \text{ simple }& \text{ simple }& \text{ sophisticated }\end{array}$$
其中 $\#$ 代表了 $\mathcal{H}$ 的大小。可以观察图表看出，大间隔超平面可以保证更小的 $\mathcal{H}$ ，虽然边界简单。所以说非线性支持向量机可能可以实现：

$$\begin{array}{cc}& \text{ large-margin }\\ & \text{ hyperplanes }\\ & +\text{ numerous feature transform }\Phi \\ \#& \text{ not many }\\ \text{ boundary }& \text{ sophisticated }\end{array}$$
即边界复杂度上升，但 $\mathcal{H}$ 的大小仍然不算太大。

非线性支持向量机（Non-Linear SVM）

经过非线性转换后最优化问题变为：

$$\begin{array}{ll}{\min }_{b,w}& \frac{1}{2}{\mathbf{w}}^T\mathbf{w}\\ \text{ s.t. }& y_n({\mathbf{w}}^T\underset{\Phi \left({\mathbf{x}}_n\right)}{\underbrace{{\mathbf{z}}_n}}+b)\ge 1\\ & \text{ for }n=1,2,\dots ,N\end{array}$$

实现步骤转换为：

1. $\begin{array}{r}\mathbf{u}=\left[\begin{array}{l}b\\ \mathbf{w}\end{array}\right];Q=\left[\begin{array}{ll}0& 0_{\tilde{d}}^T\\ 0_{\tilde{d}}& {\mathrm{I}}_{\tilde{d}}\end{array}\right];\mathbf{p}=0_{\tilde{d}+1}{\mathbf{a}}_n^T=y_n\left[\begin{array}{ll}1& {\mathbf{z}}_n^T\end{array}\right];c_n=1;M=N\end{array}$
2. $\left[\begin{array}{l}b\\ w\end{array}\right]\leftarrow QP(Q,p,A,c)$
3. $\text{ return }b\in \mathbb{R}\&\mathrm{w}\in {\mathbb{R}}^d\text{ with }{g}_{\mathrm{s}\mathrm{v}\mathrm{m}}(\mathbf{x})=\mathrm{sign}\left({\mathbf{w}}^T\mathbf{\Phi }(\mathbf{x})+b\right)$

但是可以明显看出随着 $\mathbf{\Phi }(\mathbf{x})$ 非线性转换函数维度 $\tilde{d}$ 的增加，计算的复杂度也随之增加，那么如何解决该问题呢，下面进行解决 —— 核技术。

对偶支持向量机（Dual SVM）

在使用核技术之前需要先将支持向量机转换为对偶问题。

对偶问题（Dual Problem）

首先将其转换为无约束最优化问题：写出其拉格朗日方程（Lagrange Function），其中 ${\alpha }_n$ 为拉格朗日乘数（Lagrange Multiplier）

$$\mathcal{L}(b,\mathbf{w},\alpha )=\underset{\text{objective }}{\underbrace{\frac{1}{2}{\mathbf{w}}^T\mathbf{w}}}+\sum _{n=1}^N{\alpha }_n(\underset{\text{constraint }}{\underbrace{1-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)}})$$

那么 SVM 的等价问题可写为：
$$\mathrm{S}\mathrm{V}\mathrm{M}\equiv \underset{b,\mathrm{w}}{\min }\left(\underset{\text{all }{\alpha }_n\ge 0}{\max }\mathcal{L}(b,\mathbf{w},\alpha )\right)$$

其中对于 $(b,\mathbf{w})$ 存在任何违背约束条件时：
$$\underset{\text{all }{\alpha }_n\ge 0}{\max }\left(\square +\sum _n{\alpha }_n(\text{ some positive })\right)\to \infty$$

这是因为求取最大值的操作，在 constraint 部分为 positive 时，${\alpha }_n$ 会无限增长，最终导致趋近于正无穷。

其中对于 $(b,\mathbf{w})$ 均符合约束条件时：
$$\underset{\text{all }{\alpha }_n\ge 0}{\max }\left(\square +\sum _n{\alpha }_n(\text{ all non-positive })\right)=\square$$

这是因为求取最大值的操作，在 constraint 部分为 negative 时，${\alpha }_n$ 会无限趋近于零，最终导致后半部分趋近于零。

那么 SVM 的等价问题可进一步写为：
$$\mathrm{S}\mathrm{V}\mathrm{M}=\underset{b,\mathrm{w}}{\min }\left(\infty \text{ if violate };\frac{1}{2}{\mathrm{w}}^T\mathrm{w}\text{ if feasible }\right)$$

对于任何一个 ${\alpha }_n^{\prime }\ge 0$ 的 ${\alpha }^{\prime }$有以下不等式：
$$\underset{b,\mathbf{w}}{\min }\left(\underset{\text{all }{\alpha }_n\ge 0}{\max }\mathcal{L}(b,\mathbf{w},\mathbf{\alpha })\right)\ge \underset{b,\mathbf{w}}{\min }\mathcal{L}\left(b,\mathbf{w},{\alpha }^{\prime }\right)$$
因为最大值 $\ge$ 任何值（包括最佳值），即。

$$\underset{\text{equiv. to original (primal) SVM}}{\underbrace{\underset{b,w}{\min }\left(\underset{\text{all }{\alpha }_n\ge 0}{\max }\mathcal{L}(b,\mathbf{w},\alpha )\right)}}\ge \underset{\text{Lagrange dual problem }}{\underbrace{\underset{\text{all }{\alpha }_n\ge 0}{\max }\left(\underset{b,w}{\min }\mathcal{L}\left(b,\mathbf{w},{\alpha }^{\prime }\right)\right)}}$$

在上述公式中：

如果是 $\le$ ：代表了弱对偶；
如果是 $=$ ：代表了强对偶；对于QP（二次规划问题）需要满足以下条件：

• 原问题的凸的
• 原问题是可行的（是 $\Phi$ 可分的）
• 线性约束

拉格朗日的对偶问题：实际上就是求原问题下界的最大值。

所以说线性支持向量机是存在对偶最优解的。

拉格朗日对偶问题（Lagrange Dual Problem）

对偶问题的显式为：
$$\underset{\text{all }{\alpha }_n\ge 0}{\max }\left(\underset{b,w}{\min }\underset{\mathcal{L}(b,\mathbf{w},\alpha )}{\underbrace{\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n\left(1-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right)}}\right)$$

由于里面优化问题为无约束最优化问题，所以其最优解满足：
$$\frac{\partial \mathcal{L}(b,\mathbf{w},\alpha )}{\partial b}=0=-\sum _{n=1}^N{\alpha }_n{y}_n$$
所以当以此为约束条件时将不影响最优解得求取，那么最优化问题可以进行以下转换：

$$\begin{gathered} \underset{\text{all }{\alpha }_n\ge 0}{\max }\left(\underset{b,w}{\min }\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n\left(1-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right)\right) \\ \Rightarrow \underset{\text{all }{\alpha }_n\ge 0}{\max }\left(\underset{b,w}{\min }\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n\left(1-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n\right)\right)+\sum _{n=1}^N{\alpha }_n{y}_n\cdot b\right) \\ \stackrel{{\sum }_{n=1}^N{\alpha }_n{y}_n=0}{⟹}\underset{\text{all }{\alpha }_n\ge 0,\sum y_n{\alpha }_n=0}{\max }\left(\underset{b,\mathbf{w}}{\min }\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{n=1}^N{\alpha }_n\left(1-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n\right)\right)\right) \end{gathered}$$

由于里面优化问题为无约束最优化问题，所以其最优解同时也满足：
$$\frac{\partial \mathcal{L}(b,w,\alpha )}{\partial w_i}=0=w_i-\sum _{n=1}^N{\alpha }_n{y}_n{z}_{n,i}\Rightarrow \mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n$$
所以该优化问题可以进一步转换为：
$$\begin{array}{ll}& \underset{\text{ all }{\alpha }_n\ge 0,\sum y_n{\alpha }_n=0,\mathbf{w}=\sum {\alpha }_n{y}_n{z}_n}{\max }\left({\min }_{b,w}\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+{\sum }_{n=1}^N{\alpha }_n-{\mathbf{w}}^T\mathbf{w}\right)\\ ⟺& \underset{\text{ all }{\alpha }_n\ge 0,\sum y_n{\alpha }_n=0,\mathbf{w}=\sum {\alpha }_n{y}_n{z}_n}{\max }-\frac{1}{2}{\Vert {\sum }_{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n\Vert }^2+{\sum }_{n=1}^N{\alpha }_n\end{array}$$

KKT 优化条件（Karush-Kuhn-Tucker Conditions）

KKT条件是对偶问题的优化的充要条件：

1. 原问题的可行条件：$y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\ge 1$
2. 对偶问题的可行条件：${\alpha }_n\ge 0$
3. 对偶问题的内部最小化问题的最优条件：$\sum y_n{\alpha }_n=0;\mathbf{w}=\sum {\alpha }_n{y}_n{\mathbf{z}}_n$
4. 原问题的内部最大化问题的最优条件：${\alpha }_n\left(1-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right)=0$ （complementary slackness）

现在可以通过最优化 $\alpha$ 根据KKT条件求解 $(b,\mathbf{w})$。

求解对偶 SVM（Lagrange Dual SVM）

第一步：求解QP问题，获得$\alpha$

$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{\alpha }_n{\alpha }_m{y}_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m-\sum _{n=1}^N{\alpha }_n\\ \text{subject to}& \sum _{n=1}^N{y}_n{\alpha }_n=0\\ & {\alpha }_n\ge 0,\text{ for }n=1,2,\dots ,N\end{array}$$

可以看出这里有：$N$ 个变量 ${\alpha }_n$ 以及 $N+1$ 个线性约束条件。

转换为经典的 QP 问题
$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}{\alpha }^{T}Q\alpha +p^T\alpha \\ \text{subject to }& \underset{A^T\alpha \ge C}{\underbrace{{\mathbf{a}}_i^T\mathbf{\alpha }\ge c_i\text{for }i=1,2,\dots }}\end{array}$$
其中

• $q_{n,m}=y_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m$
• $\mathbf{p}=-1_{N\times 1}$
• ${\mathbf{a}}_{\ge }=\mathbf{y},{\mathbf{a}}_{\le }=-\mathbf{y},{\mathbf{a}}_n^T=n$ - th unit direction $\Rightarrow A=\left[a_{\ge },a_{\le },a_n\right]$
• $c_{\ge }=0,c_{\le }=0;c_n=0\Rightarrow c=\left[c_{\ge },c_{\le },c_n\right]$

第二步：根据KKT，获得$(b,\mathbf{w})$

根据KKT条件中的第三条：$\mathbf{w}=\sum {\alpha }_n{y}_n{\mathbf{z}}_n$

根据KKT条件中的第四条：找出${\alpha }_n>0$ 便可据此求得 $b=y_n-{\mathbf{w}}^T{\mathbf{z}}_n$。$\Rightarrow$ 假设不存在 ${\alpha }_n>0$ 即 ${\alpha }_n=0$，那么根据KKT条件中的第三条有对于任意的 $n$ 有 $w_n=0$，同时KKT条件中的第一条有 $y_{n}b\ge 1$，只有当样本种类单一（只有一类）时：才能满足此条件，显然不成立（这只有在数据严重不平衡才会存在），所以当数据得当时，一定可以求出 $b$。

值得注意的是：与 PLA 通过错误点校正相仿，SVM只通过支持向量进行校正。

核技巧（kernel trick）

在前文中虽然可以看出将问题转变为 在 $N+1$ 个线性约束条件下，求解$N$ 个变量 ${\alpha }_n$。但是 $q_{n,m}=y_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m$，需要在 $\tilde{d}$ 维空间上进行 ${\mathbf{z}}_m$ 和 ${\mathbf{z}}_n$ 内积的求取。如何加速这一过程呢？在映射（升维）之前将内积求出，至此引出了核技术。

以 ${\Phi }_2$ 的快速内积为例：

${\Phi }_2$ 即二阶多项式转换：
$${\Phi }_2(\mathbf{x})=\left(1,x_1,x_2,\dots ,x_d,x_1^2,x_1{x}_2,\dots ,x_1{x}_d,x_2{x}_1,x_2^2,\dots ,x_2{x}_d,\dots ,x_d^2\right)$$

其内积可以转换为：
$$\begin{array}{rl}{\Phi }_2(\mathrm{x}{)}^T{\Phi }_2\left({\mathrm{x}}^{\prime }\right)& =1+\sum _{i=1}^d{x}_i{x}_i^{\prime }+\sum _{i=1}^d\sum _{j=1}^d{x}_i{x}_j{x}_i^{\prime }{x}_j^{\prime }\\ & =1+\sum _{i=1}^d{x}_i{x}_i^{\prime }+\sum _{i=1}^d{x}_i{x}_i^{\prime }\sum _{j=1}^d{x}_j{x}_j^{\prime }\\ & =1+{\mathrm{x}}^T{\mathrm{x}}^{\prime }+\left({\mathrm{x}}^T{\mathrm{x}}^{\prime }\right)\left({\mathrm{x}}^T{\mathrm{x}}^{\prime }\right)\end{array}$$

即${\Phi }_2$ 的转换和内积操作时间复杂度为：$O(d)$ 而不是原来的 $O(d^2)$。

至此给出定义 ：Kernel = Transform + Inner Product。即 transform $\Phi ⟺$ kernel function: $K_{\Phi }\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)\equiv \Phi (\mathbf{x}{)}^T\mathbf{\Phi }\left({\mathbf{x}}^{\prime }\right)$。

那么二阶多项式转换的核函数可写为：
$${\Phi }_2⟺K_{{\Phi }_2}\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)=1+\left({\mathbf{x}}^T{\mathbf{x}}^{\prime }\right)+{\left({\mathbf{x}}^T{\mathbf{x}}^{\prime }\right)}^2$$

至此可以将QP问题中涉及转换后内积求解的部分全部转换：

1. 二次项系数 $q_{n,m}=y_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m=y_n{y}_{m}K\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)$
2. 最佳偏差系数 $b$ from $\mathrm{S}\mathrm{V}\left({\mathrm{x}}_s,y_s\right)$ ：
   $$b=y_s-{\mathbf{w}}^T{\mathbf{z}}_s=y_s-{\left(\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n\right)}^T{\mathbf{z}}_s=y_s-\sum _{n=1}^N{\alpha }_n{y}_n\left(K\left({\mathbf{x}}_n,{\mathbf{x}}_s\right)\right)$$
3. 最佳假设函数 $g_{\text{svm }}$ for test input $\mathbf{x}$ ：
   $$g_{\mathrm{s}\mathrm{v}\mathrm{m}}(\mathrm{x})=\mathrm{sign}\left({\mathbf{w}}^T\Phi (\mathbf{x})+b\right)=\mathrm{sign}\left(\sum _{n=1}^N{\alpha }_n{y}_{n}K\left({\mathbf{x}}_n,\mathbf{x}\right)+b\right)$$

所以核技巧使用有效的和函数，避免了在 $\tilde{d}$ 维空间上进行计算操作。

核支持向量机的具体实现步骤为：

1. $q_{n,m}=y_n{y}_{m}K\left({\mathbf{x}}_n,{\mathbf{x}}_m\right);\mathbf{p}=-1_N;(\mathrm{A},\mathbf{c})$ for equ./bound constraints
2. $\alpha \leftarrow \mathrm{Q}\mathrm{P}\left({\mathrm{Q}}_{\mathrm{D}},\mathrm{p},\mathrm{A},\mathrm{c}\right)$
3. $b\leftarrow \left(y_s-\sum _{\text{SV indices }n}{\alpha }_n{y}_{n}K\left({\mathrm{x}}_n,{\mathrm{x}}_s\right)\right)\text{ with }\mathrm{S}\mathrm{V}\left({\mathrm{x}}_s,y_s\right)$
4. return SVs and their ${\alpha }_n$ as well as $b$ such that for new $\mathbf{x}$
   $$g_{\mathrm{s}\mathrm{v}\mathrm{m}}(\mathbf{x})=\mathrm{sign}\left(\sum _{\text{ SV indices }n}{\alpha }_n{y}_{n}K\left({\mathbf{x}}_n,\mathbf{x}\right)+b\right)$$

时间复杂度分析：

1. 上述第一步中每一个 $q_{n,m}=y_n{y}_{m}K\left({\mathbf{x}}_n,{\mathbf{x}}_m\right)$ 的时间复杂度为 kernel evaluation，同时 ${\mathrm{Q}}_{\mathrm{D}}$ 中有 $N^2$ 个元素，所以总时间复杂度为： $O(N^2)\cdot (\text{kernel evaluation})$
2. 上述第二步中的时间复杂度为带有 $N$ 个变量和 $N+1$ 约束的二次规划问题的时间消耗。
3. 上述第三步和第四步的时间复杂度为 $O(\#SV)\cdot (\text{kernel evaluation})$ ，其中 $\#SV$ 为支持向量的个数

所以实际上核支持向量机是使用计算技巧避免了依赖于映射空间维度 $\tilde{d}$ 并只需使用支持向量进行预测。

多项式核函数（Polynomial Kernel）

在原来的 ${\Phi }_2$ 基础上赋予不一样的系数，可以将其转换为一下形式：
$$\begin{gathered} {\Phi }_2(\mathbf{x})=\left(1,\sqrt{2}{x}_1,\dots ,\sqrt{2}{x}_d,x_1^2,\dots ,x_d^2\right) \\ \iff K_2\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)=1+2{\mathbf{x}}^T{\mathbf{x}}^{\prime }+{\left({\mathbf{x}}^T{\mathbf{x}}^{\prime }\right)}^2 \end{gathered}$$
进一步泛化：
$$\begin{gathered} {\Phi }_2(\mathbf{x})=\left(1,\sqrt{2\gamma }{x}_1,\dots ,\sqrt{2\gamma }{x}_d,\gamma x_1^2,\dots ,\gamma x_d^2\right) \\ \iff K_2\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)=1+2\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }+{\gamma }^2{\left({\mathbf{x}}^T{\mathbf{x}}^{\prime }\right)}^2 \end{gathered}$$
至此可以写出二阶多项式核的一般形式：
$$K_2\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)={\left(1+\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }\right)}^2\text{ with }\gamma >0$$

虽然随着 $\gamma$ 的变换，该核函数的power是一样的，但是其内积不同，也就是几何定义中的距离不同。

那么据此可以写出通用的多项式核（General Polynomial Kernel）：

$$\begin{array}{rl}{K}_1\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)& ={\left(0+1\cdot {\mathbf{x}}^T{\mathbf{x}}^{\prime }\right)}^1\\ K_2\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)& ={\left(\zeta +\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }\right)}^2\text{ with }\gamma >0,\zeta \ge 0\\ K_3\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)& ={\left(\zeta +\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }\right)}^3\text{ with }\gamma >0,\zeta \ge 0\\ & ⋮\\ K_Q\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)& ={\left(\zeta +\gamma {\mathbf{x}}^T{\mathbf{x}}^{\prime }\right)}^Q\text{ with }\gamma >0,\zeta \ge 0\end{array}$$

其中 $K_1$ : 代表了正常的内积, 叫做线性核。一定要记住线性先行。

高斯核函数（Gaussian Kernel）

上述的多项式核函数都是有限维度的，那么现在使用核技巧避免了对映射空间的依赖，是否存在拥有无限维度（infinite dimensional）或者说最有力（most powerful）的映射函数 $\Phi$ 呢？——引出高斯核函数

$$\begin{array}{rl}K\left(x,x^{\prime }\right)& =\exp \left(-{\left(x-x^{\prime }\right)}^2\right)\\ & =\exp \left(-(x{)}^2\right)\exp \left(-{\left(x^{\prime }\right)}^2\right)\exp \left(2x{x}^{\prime }\right)\\ & \stackrel{\text{ Taylor }}{⟹}\exp \left(-(x{)}^2\right)\exp \left(-{\left(x^{\prime }\right)}^2\right)\left(\sum _{i=0}^{\infty }\frac{{\left(2x{x}^{\prime }\right)}^i}{i!}\right)\\ & =\sum _{i=0}^{\infty }(\exp \left(-(x{)}^2\right)\exp \left(-{\left(x^{\prime }\right)}^2\right)\sqrt{\frac{2^i}{i!}}\sqrt{\frac{2^i}{i!}}(x{)}^i{\left(x^{\prime }\right)}^i\\ & =\Phi (x{)}^T\Phi \left(x^{\prime }\right)\end{array}$$

这时便有了无限维的映射函数：
$$\Phi (x)=\exp \left(-x^2\right)\cdot \left(1,\sqrt{\frac{2}{1!}}x,\sqrt{\frac{2^2}{2!}}{x}^2,\dots \right)$$

所以通用的高斯核函数（Gaussian Kernel）可以写为：

$$K\left(\mathbf{x},{\mathbf{x}}^{\prime }\right)=\exp \left(-\gamma {\Vert \mathbf{x}-{\mathbf{x}}^{\prime }\Vert }^2\right)\text{ with }\gamma >0$$

所以拥有高斯核的高斯支持向量机（Gaussian SVM）的表达式如下：

$$\begin{array}{rl}{g}_{\mathrm{s}\mathrm{v}\mathrm{m}}(\mathbf{x})& =\mathrm{sign}\left(\sum _{\mathrm{S}\mathrm{V}}{\alpha }_n{y}_{n}K\left({\mathrm{x}}_n,\mathbf{x}\right)+b\right)\\ & =\mathrm{sign}\left(\sum _{\mathrm{S}\mathrm{V}}{\alpha }_n{y}_n\exp \left(-\gamma {\Vert \mathbf{x}-{\mathbf{x}}_n\Vert }^2\right)+b\right)\end{array}$$

又叫做径向基函数核（Radial Basis Function (RBF) kernel）。其中 Radial 代表了类似 Gaussian 这样由中心向外放射的函数，而 Basis 代表了线性组合。

值得注意的是当 $\gamma$ 过大时，会导致过拟合

不同核函数的优缺（Comparison of Kernels）

1. 线性核（Linear Kernel）：important and basic
   • 优点：安全（Linear first），快速（使用Special QP 求解很快），可解释性强（$\mathbf{w}$ 和 $SVs$ 可以代表一些东西）。
   • 缺点：有局限性，只适用于线性可分的数据
2. 多项式核（Polynomial Kernel）：perhaps small-Q only（尽量使用低阶次的）
   • 优点：阶次（Q）可控，解决非线性
   • 缺点：数值计算难以处理（高阶次时），且三个参数 $(\gamma ,\zeta ,Q)$ 难以选择。
3. 高斯核（Gaussian Kernel）：one of most popular but be used with care
   • 优点：比线性核和多项式核有更高的空间，且数值计算好处理（bounded），只需要选择一个参数。
   • 缺点：比线性计算慢，$\mathbf{w}$ 的可解释性差，比线性计算的更慢，太有力（too powerful）了容易导致过拟合（overfit）。

其他有效的核（Other Valid Kernels）

一个核函数有效的充分必要条件是: Mercer’s condition

1. 对称（symmetric）
2. 矩阵$K$总是半正定的，矩阵$K$的组成为：$k_{ij}=K\left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$，即
   $$\begin{array}{rl}K& =\left[\begin{array}{cccc}\mathbf{\Phi }{\left({\mathbf{x}}_1\right)}^T\mathbf{\varphi }\left({\mathbf{x}}_1\right)& \mathbf{\Phi }{\left({\mathbf{x}}_1\right)}^T\mathbf{\Phi }\left({\mathbf{x}}_2\right)& \dots & \mathbf{\Phi }{\left({\mathbf{x}}_1\right)}^T\mathbf{\Phi }\left({\mathbf{x}}_N\right)\\ \mathbf{\Phi }{\left({\mathbf{x}}_2\right)}^T\mathbf{\varphi }\left({\mathbf{x}}_1\right)& \mathbf{\Phi }{\left({\mathbf{x}}_2\right)}^T\mathbf{\Phi }\left({\mathbf{x}}_2\right)& \dots & \mathbf{\Phi }{\left({\mathbf{x}}_2\right)}^T\mathbf{\varphi }\left({\mathbf{x}}_N\right)\\ \cdots & \cdots & \cdots & \cdots \\ \mathbf{\Phi }{\left({\mathbf{x}}_N\right)}^T\Phi \left({\mathbf{x}}_1\right)& \mathbf{\Phi }{\left({\mathbf{x}}_N\right)}^T\Phi \left({\mathbf{x}}_2\right)& \dots & \mathbf{\Phi }{\left({\mathbf{x}}_N\right)}^T\Phi \left({\mathbf{x}}_N\right)\end{array}\right]\\ & ={\left[\begin{array}{llll}{\mathbf{z}}_1& {\mathbf{z}}_2& \dots & {\mathbf{z}}_N\end{array}\right]}^T\left[\begin{array}{llll}{\mathbf{z}}_1& {\mathbf{z}}_2& \dots & {\mathbf{z}}_N\end{array}\right]\\ & ={\mathrm{Z}\mathrm{Z}}^T\text{ must always be positive semi-definite }\end{array}$$

软间隔支持向量机（Soft-Margin SVM）

在之前介绍的都是硬间隔支持向量机，不允许存在分类错误的状况（在噪声存在的情况下）。这里结合 Pocket 算法，对于分类错误的样本点实施以惩罚。
这里引入系数 $C$，用于权衡大间隔和噪声容忍度（large margin & noise tolerance）。
$$\begin{array}{ll}{\min }_{b,w}& \frac{1}{2}{\mathbf{w}}^{\top }\mathbf{w}+C\cdot {\sum }_{n=1}^N\left[\left[y_n\ne \mathrm{sign}\left({\mathbf{w}}^{\top }{\mathbf{z}}_n+b\right)\right]\right]\\ \text{ s.t. }& y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\ge 1\text{ for correct }n\\ & y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\ge -\infty \text{ for incorrect }n\end{array}$$
可以进一步写为
$$\begin{array}{ll}{\min }_{b,w}& \frac{1}{2}{\mathbf{w}}^T\mathbf{w}+C\cdot {\sum }_{n=1}^N\left[\left[y_n\ne \mathrm{sign}\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right]\right]\\ \text{ s.t. }& y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\ge 1-\infty \cdot \left[\left[y_n\ne \mathrm{sign}\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right]\right]\end{array}$$

但是值得注意的是 $\left[\left[\right]\right]$ 操作是非线性的，所以无法使用QP求解器求解。所以这里想到计算边距对的违反程度（margin violation） 而不是错误的个数（error count），从而转换为二次项：

$$\begin{array}{rl}\underset{b,\mathbf{w},\xi }{\min }& \frac{1}{2}{\mathbf{w}}^T\mathbf{w}+C\cdot \sum _{n=1}^N{\xi }_n\\ \text{ s.t. }& y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\ge 1-{\xi }_n\text{ and }{\xi }_n\ge 0\text{ for all }n\end{array}$$

可以看出本问题是一个二次规划问题 $\mathrm{Q}\mathrm{P}\text{ with }\tilde{d}+1+N\text{ variables, }2N\text{ constraints }$，为了摆脱对 $\tilde{d}$ 的依赖，现求解其对偶问题。

拉格朗日对偶问题（Lagrange Dual Problem）

首先将其转换为无约束最优化问题：写出其拉格朗日方程（Lagrange Function），其中 ${\alpha }_n,{\beta }_n$ 为拉格朗日乘数（Lagrange Multiplier）。

$$\begin{array}{rl}\mathcal{L}(b,\mathbf{w},\mathbf{\xi },\alpha ,\mathbf{\beta })=& \frac{1}{2}{\mathbf{w}}^{\top }\mathbf{w}+C\cdot \sum _{n=1}^N{\xi }_n\\ & +\sum _{n=1}^N{\alpha }_n\cdot \left(1-{\xi }_n-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right)\\ & +\sum _{n=1}^N{\beta }_n\cdot \left(-{\xi }_n\right)\end{array}$$
现在求取拉格朗日的对偶问题（Lagrange dual）：
$$\begin{gathered} \underset{{\alpha }_n\ge 0,{\beta }_n\ge 0}{\max }\left(\underset{b,\mathbf{w},\xi }{\min }\mathcal{L}(b,\mathbf{w},\mathbf{\xi },\mathbf{\alpha },\mathbf{\beta })\right) \\ ⟹\underset{{\alpha }_n\ge 0,{\beta }_n\ge 0}{\max }\left(\underset{b,\mathbf{w},\xi }{\min }\frac{1}{2}{\mathbf{w}}^{\top }\mathbf{w}+C\cdot \sum _{n=1}^N{\xi }_n+\sum _{n=1}^N{\alpha }_n\cdot \left(1-{\xi }_n-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right)+\sum _{n=1}^N{\beta }_n\cdot \left(-{\xi }_n\right)\right) \end{gathered}$$

求解对偶 Soft-Margin SVM

与硬间隔支持向量机相似：
由于里面优化问题为无约束最优化问题，所以其最优解满足：
$$\frac{\partial \mathcal{L}}{\partial {\xi }_n}=0=C-{\alpha }_n-{\beta }_n$$
即 ${\beta }_n=C-{\alpha }_n,0\le {\alpha }_n\le C$ 代入原问题有，可以得出：
$$\begin{gathered} \underset{{\alpha }_n\ge 0,{\beta }_n\ge 0}{\max }\left(\underset{b,\mathbf{w},\xi }{\min }\frac{1}{2}{\mathbf{w}}^{\top }\mathbf{w}+C\cdot \sum _{n=1}^N{\xi }_n+\sum _{n=1}^N{\alpha }_n\cdot \left(1-{\xi }_n-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right)+\sum _{n=1}^N{\beta }_n\cdot \left(-{\xi }_n\right)\right) \\ ⟹\underset{{\alpha }_n\ge 0,{\beta }_n\ge 0}{\max }\left(\underset{b,\mathbf{w},\xi }{\min }\frac{1}{2}{\mathbf{w}}^{\top }\mathbf{w}+\sum _{n=1}^N{\alpha }_n\cdot \left(1-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right)\right) \end{gathered}$$

至此可以看出其内部问题与硬间隔支持向量机的内部问题一样：

$$\begin{gathered} \frac{\partial \mathcal{L}}{\partial b}=0\Rightarrow \sum _{n=1}^N{\alpha }_n{y}_n=0 \\ \frac{\partial \mathcal{L}}{\partial w_i}=0\Rightarrow \mathbf{w}=\sum _{n=1}^N{\alpha }_n{y}_n{\mathbf{z}}_n \end{gathered}$$

所以与硬间隔支持向量机不同地方是限制条件中 ${\alpha }_n$ 的上限（upper bound）改变了：

$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{\alpha }_n{\alpha }_m{y}_n{y}_m{\mathbf{z}}_n^T{\mathbf{z}}_m-\sum _{n=1}^N{\alpha }_n\\ \text{subject to}& \sum _{n=1}^N{y}_n{\alpha }_n=0\\ & 0\le {\alpha }_n\le C,\text{ for }n=1,2,\dots ,N\end{array}$$

可以看出这是一个QP问题带有 $N$ 个变量和 $2N+1$ 个限制条件。

核软间隔支持向量机算法（Kernel Soft-Margin SVM Algorithm）的具体实现步骤为：

1. $q_{n,m}=y_n{y}_{m}K\left({\mathbf{x}}_n,{\mathbf{x}}_m\right);\mathbf{p}=-1_N;(\mathrm{A},\mathbf{c})$ for equ./bound constraints
2. $\alpha \leftarrow \mathrm{Q}\mathrm{P}\left({\mathrm{Q}}_{\mathrm{D}},\mathrm{p},\mathrm{A},\mathrm{c}\right)$
3. $b\leftarrow y_s-\sum _{\mathrm{S}\mathrm{V}\text{ indices }n}{\alpha }_n{y}_{n}K\left({\mathbf{x}}_n,{\mathbf{x}}_s\right)$
4. return SVs and their ${\alpha }_n$ as well as $b$ such that for new $\mathbf{x}$
   $$g_{\mathrm{s}\mathrm{v}\mathrm{m}}(\mathbf{x})=\mathrm{sign}\left(\sum _{\text{ SV indices }n}{\alpha }_n{y}_{n}K\left({\mathbf{x}}_n,\mathbf{x}\right)+b\right)$$

其中 $b$ 的获取是通过KKT条件中的第四条，${\alpha }_n\left(1-{\xi }_n-y_n\left({\mathbf{w}}^T{\mathbf{z}}_n+b\right)\right)=0,(C-{\alpha }_n){\xi }_n=0$ 当 $0<{\alpha }_n<C$ 时，${\xi }_n=0$，$b=y_n-{\mathbf{w}}^T{\mathbf{z}}_n$，在前文推导过，${\alpha }_n$ 不可能全为零，当然同理可以推导不可能全为 $C$，但是不能保证 ${\alpha }_n$ 只能为 零 或 $C$。所以如果不存在 ${\alpha }_s\in (0,C)$ ，那么需要对 $b$ 进行条件限制后求解，当然大部分情况下是存在的。

${\alpha }_n$ 的物理意义（Physical Meaning）

$\square$ 代表了 free SV $\left(0<{\alpha }_n<C\right)$ 即 ${\xi }_n=0，\Rightarrow$ on fat boundary, locates $b$。
$\Delta$ 代表了 bounded SV $\left({\alpha }_n=C\right)$ 即 ${\xi }_n=\text{violation amount}，\Rightarrow$ ‘violate’/on fat boundary
其他无符号的不是支持向量 $\left({\alpha }_n=0\right)$ 即 ${\xi }_n=0，\Rightarrow$ ‘away from’/on fat boundary

也就是说 $b$ 需要在有 free SV 的情况下才能求解。当然 ${\alpha }_n$ 也可以用于数据分析两种支持向量的数量。

模型选择（Model Selection）

交叉验证（Cross Validation）

$E_{\mathrm{c}\mathrm{v}}(C,\gamma )$ 是一种非平滑的函数，很难优化，所以 V折交叉验证（V-fold cross validation ）经常用于模型选择，方法是通过对 不同的 $(C,\gamma )$ 的网格值（grid values，不同数值组合）测试交叉验证误差 $E_{\text{cv}}$ 的大小，选取最优的模型。

交叉验证误差：对于软间隔 SVM 是非常流行的评价标准。

支持向量的个数（number of SV）

值得注意的是支持向量的个数（#SV）可用于表达 $E_{\text{loocv}}$ （Leave one out cross validation）的一种上限：

$$E_{\text{loocv }}\le \frac{\#\mathrm{S}\mathrm{V}}{N}$$
下面进行证明，在证明之前，先回顾一下 SVM 的求取过程，即非支持向量对于最佳模型是无影响的：
$$\begin{array}{l}\text{ for }\left({\mathbf{x}}_N,y_N\right):\text{ if optimal }{\alpha }_N=0\text{ (non-SV) }\\ ⟹\left({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_{N-1}\right)\text{ still optimal when leaving out }\left({\mathbf{x}}_N,y_N\right)\end{array}$$
并且每一个样本的误差均小于等于零，其非支持向量的误差为零，也就是说：
$$\begin{array}{rl}{e}_{\text{non-SV }}& =\mathrm{err}\left(g^{-},\text{non-SV }\right)\\ & =\mathrm{err}(g,\text{ non-SV })=0\\ e_{SV}& \le 1\end{array}$$
所以虽然只是上限，但是当交叉验证非常耗时时，支持向量的个数经常用于估计模型的安全性，支持向量的个数越多越容易过拟合。方法是通过对 不同的 $(C,\gamma )$ 的网格值（grid values，不同数值组合）测试支持向量（CV）的个数，选取最优的模型。

软间隔实用工具有：LIBLINEAR（线性的），LIBSVM（非线性的）