在机器学习领域，LR和SVM应该算是hello world级别的分类器，简单总结下。
一、LR
LR分类器用于解决01分类问题，是一个线性的2分类器，能力较弱，但是速度较快。logistic函数用来表示样本为正样本(y=1)的概率，具体表达式如下：
logistic函数的导入如下：
样本被正确分类的概率可以表示为：
可以将这两个公式写在一起：
所有样本均被正确分类的概率的极大似然估计的对数形式，就是我们的目标函数：
可以使用梯度法求解最大值，公式对参数的每一个维度分别求偏导数，最终更新公式为：
二、SVM
理解LR分类器，直接从概率的角度理解就可以了，理解SVM分类器，则要从几何角度理解，SVM就是需求最佳分类面，使得正负样本之间的间隔最大。SVM的原理很简单，但是求解过程却很复杂。 分类面函数为
如果函数值大于0，则判定为正样本(y=1)，否则判定为负样本(y=-1)，这样有
因为f(x)可以表示的是函数距离，同时缩放系数，函数本质并不发生变化，所以需要加入限制条件。
最终目标函数变为：
这个目标函数不太好求解，可以进行等价变换：
这个目标函数可以通过引入拉格朗日对偶变换求解，最终转换为求解凸优化问题。