这周各人过得怎么样？酷暑来袭，赶忙来上堂课悄悄 心，降降火吧。
在上周的课程中，我们提到了降维的两种分类方式：凭证 凭证 目的 值（target）的加入与否，分为有监视降维和无监视降维；其二，凭证 高维空间与低维空间的关系，分为线性降维和非线性降维。而且还详细地讨论了两种线性降维要领：PCA和LDA。
线性\监视
无监视
监视
线性
PCA
LDA
非线性
ISOMAP
KLDA
在本周的课程中，我们将详细讨论非线性降维。
那么，什么是线性，什么是非线性呢？一样平常 而言，线性函数要知足 两个条件：
PCA和LDA都是高维空间对低维空间的线性变换，由于 在变换前后，高维空间和低维空间的向量都保持了同样的性子 ，对于空间的恣意 一个向量均有：
同时知足 了可加性和齐次性，这个关系也叫做叠加原理。当一个理论用了叠加原理时，着实 本质是使用 了线性关系。若是 我们仔细把叠加原理拆开，会发现它正对应着矩阵的乘法。事实上，矩阵的乘法就是凭证 线性映射的叠加原理来界说的。
在此基础上，投影就是典型的线性变换，由于 投影变换可以用矩阵来体现，而且它是对称矩阵，矩阵的某些对角元为零，零对角元对应着响应 维度的舍弃。
线性降维默认先举行 投影变换，然后在找一个是其目的 最大化的低维空间，这就意味着最佳的低维空间一定 是高维空间无数个线性变换出的空间中的一个。PCA希望在低维空间中保持样本的最大方差，LDA则希望类间散度大，类内散度小。若是 我们更希望直接寻找一个低维空间，使其保持高维空间的结构，这个寻找最类似结构的历程往往是原始空间的非线性变换。
MDS（多维缩放）和ISOMAP（等怀抱映射）
数学准备：
1.流形（manifold）：局部近似欧氏空间的拓扑空间，流形上的恣意 一点都有邻域近似为欧几里得空间。（举个例子，你将一张忽略厚度的纸卷成一个桶状，那么这张纸就酿成了一个三维空间的二维流形，且这张纸每一点和其邻域近似平整）
2.内蕴空间（intrinsic space）：流形内部结构的空间
3.测地线：黎曼流形上毗连 两点的局部最短的线，它于弯曲空间，类似于直线对于平直空间。
4.迹（trace）：矩阵对角元的和
MDS（Multiple Dimensional Scaling）的目的 是尽可能在低维空间保持高维空间的距离信息。样本之间的距离可以组成一个距离方阵,它的行数和列数均即是样本数，它的对角元所有 为零，由于 它的每一个矩阵元都是响应 样本的距离，即:
凭证 我们的目的 ，在低维空间的样本
有关系：
若是 我们界说低维空间的内积矩阵D,每个矩阵元代表着样本于样本之间的内积，
,在此基础上，
。假设低维空间的样本被中央 化：
,就有：
则M矩阵的矩阵元求和就有：
我们就可以消去
，就可以用矩阵M来体现内积矩阵D：
特征值剖析的数学本质，就是把矩阵对角化：
其中E为内积矩阵的对角化，V为对应特征向量组成的矩阵。将其特征值排序，取到响应 的特征向量，而它们所张成的低维空间，就是使得投影点方差最大的低维空间，但需要注重 ，我们是对内积矩阵做对角化，获得的对角矩阵仍然是关于内积，而不是坐标，以是 我们最后获得的样本体现为：
这就是MDS的数学原理，它输入了一个原始空间距离矩阵，并用原始空间的距离矩阵来体现低维空间的内积矩阵，最后输出低维空间的样本体现。但内里 有一点可能并不合理，由于 我们若要保持原始空间的距离，原始空间又是一个流形，盘算样本的欧几里得距离，相当于并没有使用 流形的内蕴空间。
如图，样本
的距离应该是红线，而不是蓝线。
ISOMAP（Isometric mapping）不再使用原始空间的欧氏距离，而是使用两点的测地线距离。测地线的距离盘算是凭证 流形局部具有欧氏空间的性子 ，对每一个点通过欧氏距离找到若干个邻近 点组成毗连 图，除了这几个邻近 点，其余的点的距离均设为无限 大。通过最短路径算法来获得两点距离（Dijkstra算法），由此获得样本的距离矩阵。
除了距离矩阵的界说差异，ISOMAP与MDS的原理一样，都是通过原始空间的距离矩阵求得低维空间的内积矩阵，最后通过特征值剖析（奇异值剖析）来求得低维空间的样本体现。
KLDA（核化的线性判别剖析 ）
数学准备：
1.kernel trick:将样本从低维空间映射到高维空间，可以将一个非线性问题转化为线性问题,且有核函数:
2.体现定理（Representer theorem）：正则化项单调递增的关于
的优化函数，它的解总可以写成
3.LDA:线性判别剖析
KLDA(Kernelized Linear Discriminant Analysis)就是使用了kernel trick的LDA。我们每一个样本做高维变换：
左图为输入空间，右图为举行 高维变换的空间，可以看到，经由 高维变换后，分类会变得很是简朴，一组容易脱离 的样本，PCA和LDA都市很是容易。
将
作为我们处置赏罚 的工具：照旧以二分类问题为例，样本酿成了
，样本的均值向量酿成了
，样本的协方差矩阵变为了
，与LDA一样，我们假设存在一个投影矩阵W，这些量会在低维空间酿成：
类内散度矩阵
，类间散度矩阵就变为
：
优化目的 就变为：
在盘算协方差矩阵进而盘算类间散度矩阵时，和盘算类内散度矩阵时，都市涉及到样本高维变换的乘积
，但我们可以用核函数来表达这个乘积，同时由于 每个样本都市做乘积，以是 可以写成矩阵的形式：
这里的
并不是样本的标志，我们界说指示变量
，它是一个向量，维数即是样本数。它可以按种别 挑出样本，由于 当样本属于
样本时，它对应位置的元素为1，否则为零。
凭证 体现定理，我们重新把优化函数项写成关于核矩阵的形式，就有：
其中，M是重写之后的类间散度矩阵，形式较量 简朴，但N是重写的类内散度矩阵，界说为：
这样的我们的优化目的 就酿成了：
继续转化为一个广义瑞利商问题，进而成为奇异值剖析的问题，就可求得投影以后的空间。
读芯君开扒
课堂TIPS
• ISOMAP属于流形学习，流形主要 特点就是局部结构对应于欧几里得空间，使得我们可以在低维空间保持流形的结构，而结构的要害属性就是样本间的距离，也正由于 云云 ，我们对测地线的盘算仍然需要对领域的样本举行 网络 ，现实 上往往得不到有用 知足 。也就是说，流形学习的优劣很洪流平上取决于数据自己。
• KLDA之以是 是非线性的，缘故原由 就在与对高维空间的变换，然后再举行 投影，投影是线性的，但变换却是非线性的。监视学习体现在谁人 指示变量，它乘以核矩阵，就可以将属于一类样本挑出来，由于 其他的为零。
• 其他常见的流形学习要领有，拉普拉斯特征映射，局部线性嵌入，和局部切空间对齐，t漫衍的随机邻近 嵌入等。
• kerneltrick是很是强盛 的一种工具，险些是机械学习的通用手艺 ，kernel trick 到底是什么，背后有着怎样的意义，请关注下一周的专栏课堂。
作者：唐僧不用海飞丝
如需转载，请后台留言，遵守转载规范