1. 矩阵对角化，SVD剖析以及应用
2. 逆矩阵，伪逆矩阵
3. PCA原理与推导
4. 极大似然预计，误差的高斯漫衍与最小二乘预计的等价性
5. 最优化，无约束，有约束，拉格朗日乘子的意义，KKT条件
课程3 有约束最优化有约束，拉格朗日乘子的意义，KKT条件
经典拉格朗日乘子法是下面的优化问题（x是一个向量）：
min（z）f （x）
s.t.g(x) = 0
直观上明确 ，最优解x一定有这样的性子 ，以x是二维变量为例：
如上图所示，虚线即为f（x，y）的等高线，虚线所组成的椭圆越小体现值越小，既然我们的目的 是最小化，那么即图中所有的箭头即往内部的偏向。
可是 此时引入了约束 g(x,y) =c ，在约束的条件下纵然我们需要将箭头的偏向起劲 朝向等高线最小的偏向，可是 在约束条件即这条曲线的情形 下，以是 y必须在这条曲线上。因此可得箭头朝向的偏向必须是和某一等高线相切的情形 下才气获得最小。
这时我们可以引入拉格朗日函数：梯度f（x）= λ * 梯度g（x）； g（x） = 0
L（x， λ） = f（x） + λg（x）
上述是约束条件为等式的，下面为约束为不等式的条件：
实例为假设约束条件为g（x，y） = 0 可得下面的图像：
如上图所示，一个约束，若是 是一个等式的话在二维空间体现的话是一个曲线，若是 是一个不等式则是一个在二维空间的规模。在不等式约束的条件下尚有 保持最小，那么最优点对x的梯度应为互为相反。公式如下，梯度f（x*，y*） = λ * 梯度g（x*，y*）；λ * 梯度g（x*，y*）= 0 。
由此可得KKT条件。KKT条件的本质是区分哪些约束是起作用的，哪些约束是不起作用的。
再次引入拉格朗日函数可得：
L = f（x）- λg（x）
L/ x = 0 ； λg（x）= 0
min f（x）；gi（x）= 0 (i = 1,2,3,…,n)
最后各人可以去看下图的一个例题。
本次课程的内容就分享到这里。后续将继续更新课程. . . .