拉格朗日函数怎么构造的

，拉格朗日的定义就是，有多少个约束，每个约束乘以拉格朗日乘子再加上原目标，所以是累加。

其实构造这个公式的意义本身，是要求构造出的无约束问题L(w,b,alpha)与原问题等价。

Hard-marginSVM:



拉格朗日：



在求解L(w,b,alpha)过程中，我们首先将b，w固定，然后在该固定的b，w下，调整alpha，对alpha求导，



得到在该b，w下最大的L_max，那么在所有的L_max中选择一个最小的，其对应的b，w则是该拉格朗日问题的最优的b，w。并且与原Hard-marginSVM求得的b,w相同。该过程也就是



而这两个问题为什么等价，也就是为什么上述两种方法求得的b，w相同呢？下面给一个简单的说明。

假设由拉格朗日问题求得的b,w不满足原SVM的条件，即



又因为alpha>=0,因此



的最大值为正无穷。

2.假设求得的b,w满足原SVM的条件，即





则要想取得最大值，上式中，只需要alpha_n=0,得到的最大值为



即刚好与原问题等价。