17、支持向量机（SVM）及其相关应用详解

支持向量机（SVM）及其相关应用详解

1. 支持向量机概述

支持向量机（SVM）由Vapnik提出，因其独特的特性和出色的性能而广受欢迎。与传统神经网络通过最小化实际输出和期望输出之间的均方误差来确定网络权重不同，SVM通过最小化分类误差来优化权重，这能消除远离决策边界的模式的影响。一般来说，SVM分类器将一组输入模式映射到高维空间，然后在该空间中找到最优的分隔超平面和分隔间隔，得到的超平面能够将模式分为两类，并最大化它们与超平面的距离。

2. 二元SVM分类

2.1 线性可分情况

SVM通常由一个类分隔得分函数或超平面 $f(x) = w^T x + b$ 定义，其目标是实现最大的分隔间隔。假设有一组标记样本 $D = {(x_i, y_i)}_{i = 1, \ldots, n}$，其中 $x_i$ 是第 $i$ 个样本的特征向量，$y_i \in {-1, +1}$ 是对应的标签。正超平面（$w^T x + b = +1$）和负超平面（$w^T x + b = -1$）之间的距离记为 $2d$，可以证明 $d = \frac{1}{|w|}$。SVM训练的目标是找到 $w$ 使得分隔间隔最大，即：
[
\max_d 2d = \max_w \frac{2}{|w|}
]
约束条件为：
[
w^T x_i + b \geq +1 \text{ 对于 } y_i = +1
]
[
w^T x_i + b \leq -1 \text{ 对于 } y_i = -1
]
上述问题等价于：
[
\min_w \frac{1}{2}