【向量机算法原理】支持向量机（Support Vector Machine，简称SVM）是一种广泛应用于分类和回归问题的监督学习算法。其核心思想是通过寻找一个最优的超平面，将不同类别的样本尽可能清晰地分开。SVM在处理高维数据、小样本数据以及非线性分类问题中表现出色，因此在机器学习领域具有重要地位。
一、基本概念
在二维空间中，一个线性可分的数据集可以通过一条直线将其分为两类；在三维空间中，则是一张平面；而在更高维度的空间中，这条“线”就被称为“超平面”。SVM的目标就是找到这样一个超平面，使得它能够将不同类别的样本尽可能地分开，并且最大化两类样本之间的边界距离。
这个边界距离被称作“间隔”（margin），而距离超平面最近的样本点则被称为“支持向量”（support vectors）。这些支持向量决定了超平面的位置和方向，因此SVM的核心在于如何找到这些关键点并构建最优的分类器。
二、线性可分情况下的SVM
对于线性可分的数据集，SVM的目标是找到一个超平面 $ w \cdot x + b = 0 $，使得所有正类样本满足 $ w \cdot x + b \geq 1 $，负类样本满足 $ w \cdot x + b \leq -1 $。这样可以保证两个类别之间的间隔为 $ \frac{2}{\|w\|} $，其中 $ \|w\| $ 是权重向量的模长。
为了最大化这个间隔，SVM转化为一个优化问题：
$$
\min_{w, b} \frac{1}{2} \|w\|^2
$$
$$
\text{s.t. } y_i (w \cdot x_i + b) \geq 1, \quad i = 1, 2, ..., n
$$
其中 $ y_i \in \{-1, 1\} $ 是样本的标签，$ x_i $ 是输入特征向量。
三、非线性可分情况与核方法
在实际应用中，很多数据并不满足线性可分的条件。此时，SVM引入了“核技巧”（kernel trick），通过将原始数据映射到高维特征空间，使得原本在低维空间中不可分的数据变得可分。
常用的核函数包括：
- 线性核：$ K(x, x') = x \cdot x' $
- 多项式核：$ K(x, x') = (x \cdot x' + c)^d $
- 径向基函数（RBF）核：$ K(x, x') = \exp(-\gamma \|x - x'\|^2) $
- Sigmoid核：$ K(x, x') = \tanh(\alpha x \cdot x' + b) $
使用核函数后，SVM可以在高维空间中构造非线性决策边界，从而提升分类性能。
四、软间隔与正则化
在现实数据中，可能存在噪声或异常点，导致某些样本无法被正确分类。为此，SVM引入了“软间隔”（soft margin）的概念，允许部分样本落在间隔内甚至误分类。
这通过引入松弛变量 $ \xi_i \geq 0 $ 来实现，优化目标变为：
$$
\min_{w, b, \xi} \frac{1}{2} \|w\|^2 + C \sum_{i=1}^n \xi_i
$$
$$
\text{s.t. } y_i (w \cdot x_i + b) \geq 1 - \xi_i, \quad \xi_i \geq 0
$$
其中 $ C $ 是正则化参数，控制模型对误差的容忍度。较大的 $ C $ 值表示更严格的分类要求，较小的 $ C $ 表示更强的泛化能力。
五、SVM的应用场景
SVM因其良好的分类性能和鲁棒性，在多个领域得到了广泛应用，包括：
- 文本分类与情感分析
- 图像识别与模式匹配
- 生物信息学中的基因分类
- 金融风险评估与信用评分
六、总结
支持向量机是一种基于统计学习理论的高效分类算法，其核心在于寻找最大间隔的超平面。通过引入核函数，SVM能够处理复杂的非线性问题，并通过软间隔机制提高模型的鲁棒性。尽管其计算复杂度较高，但在小样本、高维数据的场景下仍具有显著优势。理解SVM的基本原理，有助于我们在实际问题中更好地选择和应用这一强大的工具。
