周末好啊列位同砚 ，我们又晤面了。
科幻名著《三体》里有句犀利的台词——降低维度用于攻击。不外，这个“降维”绝对不只是科幻界的专用名词。
在机械学习中，你同样得相识 它。
许多初学者往往会把降维（Dimensionality reduction），特征选择（feature selection），以及特征提取（feature extraction）混为一谈，由于 这三者都削减了进入模子 的变量个数。
但降维是一个更为宽泛的看法，它包罗了特征选择和特征提取。
虽然降维事后，最终使用的变量个数镌汰 了，但特征选择挑选的是特征子集，也就是说，保留下来的所有特征都在原来的特征集中可以找到；而特征提取所提取的是不再是特征子集，而是原来特征的线性（或者非线性）组合，我们经由 特征提取后的变量都是新的变量，它的本质是将原始高维空间向低维空间投影，我们所使用的特征不仅少了，而且不再是原来的特征。
距离是机械学习中的一个很主要 的看法。每个样本可以体现为一个向量，也就是高维空间的一个点，距离可以用来权衡样本之间的相似度。可是 在高维空间，距离的盘算会变得很是难题 ，而我们体贴的问题可能在低维空间就会获得很好的解决。但这不意味着低维空间只是对高维空间的近似，有些问题中，高维空间会增添 许多噪声，而在低维空间中会获得比高维空间更好的性能。
在上周《怎样 举行 特征选择（理论篇）》的学习中，信托 各人已经对特征选择有了足够的熟悉 ，以是 本文的“降维”特指特征提取。
对于降维有两种分类方式：其一，凭证 目的 值（target）的加入与否，分为有监视降维和无监视降维；其二，凭证 高维空间与低维空间的关系，分为线性降维和非线性降维。
我们对每种要领分举一例：
线性\监视
无监视
监视
线性
PCA
LDA
非线性
ISOMAP
KLDA
主因素 剖析 （PCA）
数学准备：
1.协方差矩阵：随机变量组成的向量，每组随机变量的协方差组成的一个对称矩阵，其对角元是每组随机变量的方差
2.矩阵的对角化：对于矩阵M，有可逆矩阵V，使得
成为对角矩阵，而M的特征值对应的特征向量组成了该可逆矩阵V。（换而言之，矩阵V的每一列对应着M的特征向量）
3.正交矩阵：转置矩阵即是其逆矩阵（
），组成矩阵的列向量相互正交。
4.数据中央 化：对每组随机变量减去均值，再除以尺度差。本质是将每组随机变量变为尺度的高斯漫衍。
PCA（Principal component analysis）是用投影的要领将高维空间压缩到低维。
想象一下，此时你站在路灯下面，你自己是三维的（此时现在除去了时间维度），你的影子却在一个二维平面上。
如图，我们将二维空间的点投影到一条直线上。
可是 ，我们有无数个投影的偏向，就像上图我们可以找出无数条直线来举行 投影，那么哪条直线，哪个偏向才是最好的呢？PCA的目的 就是，找一条直线，使得投影之后的点尽可能的远离相互，由于 点之间的相互远离而不是相互重叠，就意味着某些距离信息被保留了下来。
在高维空间（维数D）的所有的样本可以被体现为一个向量:
在投影之后的低维空间（维数d），样本也是一个向量：
向量的转变 可以通过一个矩阵联系起来，这个矩阵我们把它叫做投影矩阵，它的作用是将一个高维向量投影到低维空间得出一个低维向量：
此时，中央 化数据的优势就体现了出来，由于 经由 中央 化的数据，
，这就意味着数据的协方差矩阵就成了
，投影之后的协方差矩阵就成为了
,我们的目的 是使其方差最大，而协方差矩阵的对角元正是方差，以是 我们只需要对其求迹：
换而言之，我们需要找的投影矩阵W着实 是一个使
对角化的可逆矩阵，而它的转置即是它的逆
。以是 我们寻找W的历程，就是寻找
的特征向量的历程，而方差最大化的历程，也就是寻找
最大特征值的历程。
以是 ，我们只需要对
做特征值剖析，将其特征值排序，取到前面的d个特征向量，相互正交，组成了投影矩阵W，而它们所张成的低维空间，就是使得投影点方差最大的低维空间。
如图，这是对一个二元高斯漫衍用PCA举行 降维后的效果 ，这个平面就是由两个最大的特征值对应的特征向量所张成，可以看出，特征向量相互正交，且首先找到的是最大的特征值对应的特征向量，逐步寻找第二个，第三个.....若是 我们的目的 空间是n维，就会取到前n个。
线性判别剖析 （LDA）
数学准备：
1.均值向量：由多组随机变量组成的向量，对每一组随机变量取均值所组成的向量。
2.厄米矩阵（Hermitan ）：转置即是其自己的矩阵，
。
3.广义瑞利熵（Rayleigh quotient ）：若x为非零向量，则
为A,B的广义瑞利熵，它的最大值是
的最大特征值。
4.矩阵的奇异值剖析：任何实矩阵M都可以被剖析成为
这三个矩阵的乘积。U和V均为正交矩阵。U的列向量是
的特征向量，V的列向量是
的特征向量，同时奇异值的巨细
是的特征值的平方根。
LDA（Linear Discriminant Analysis）的基本头脑 也是将高维空间的样本投影到低维空间，使信息损失最少。
与PCA差异在于，PCA只针对样本矩阵，希望投影到低维空间之后，样本投影点的方差最大；但LDA不仅针对样本矩阵，还使用了种别 信息，它希望投影到低维空间后，相同样本的方差最小（相同样本的集中化），差异样本的距离最大（差异样本离散化）。
如图所示，将二维空间投影到一维空间，即一条直线上。图2相比图1，类间样本距离更大，类内样本方差更小。
以二分类问题为例，我们用
体现两类样本，用
体现两类样本的均值向量，用
来体现两类样本的协方差矩阵，与PCA一样，我们假设存在一个投影矩阵W，这些量会在低维空间酿成：
其中
划分为低维空间的样本，均值向量和协方差矩阵。在投影空间的相同样本的方差最小，意味着
最小；而差异样本的距离最大，意味着
最大。
我们界说原始空间的样本协方差矩阵之和为
,类内散度矩阵（whithin-class scatter matrix），用来描绘 原始空间上相同样本的方差：
同时界说类间散度矩阵（between-class scatter matrix）
,用来描绘 原始空间上差异样本的距离:
将以上的原则团结 起来，我们的目的就酿成了：
凭证 广义瑞利熵的形式，我们追求 最大值就酿成了对
举行 奇异值剖析，然后选取最大的奇异值和响应 的特征向量。这些特征向量所张成的低维空间，就是我们的目的 空间。
读芯君开扒
课堂TIPS
• 降维在体现论中属于低维体现，本质是将原本空间压缩到更小的空间，在这个历程中保证信息损失的最小化。与之相对的是希罕 体现，它是将原本的空间嵌入到更大的空间，在这历程中保证信息损失的最小化。
• PCA有多种明确 方式，除了在低维空间使得样本方差最大化，也可以明确 为最小重构均方误差，将问题转化为所选低维空间重构的数据与现实 数据的差。引入贝叶斯视角，还可以将PCA明确 为最小化高斯先验误差。若是 从流形的角度看，就是把数据看作一个拓扑空间的点集，在高斯概率空间内找到一个对应的线性流形。
• PCA和LDA的优化目的 均可以用拉格朗日乘子法解决。PCA同样也可以通过奇异值剖析来解决。奇异值剖析要领可以明确 为是特征值剖析的推广，由于 特征值剖析要求矩阵为一个方阵，但奇异值剖析并无此要求。
作者：唐僧不用海飞丝
如需转载，请后台留言，遵守转载规范