图片来自Unsplash上的Dave
0.本教程包罗以下内容
特征剖析
对称矩阵的特征剖析
奇异值剖析（The Singular Value Decomposition，SVD）
主因素 剖析 （Principal Component Analysis ，PCA）——特征提取
1.特征剖析
首先，我们简朴回首下特征值和特征向量的界说。在几何学中，矩阵A的特征向量是指一个经由 与矩阵A变换后偏向保持稳固 的向量（其中，假设特征值均为实数）。而特征值为在这个转变 中特征向量的比例因子。详细 可体现如下：
矩阵A与特征向量x的变换即是特征向量x与特征值λ的乘积
对于一个3×3维的矩阵A，我们可以将矩阵A与其特征向量x的变换明确 为将矩阵A与另一个矩阵x的乘积。这是由于 矩阵A与其特征向量x的变换等同于矩阵A的每一行与特征向量x的变换，从而矩阵之间的乘积可以体现为其特征值与特征向量的乘积。此时我们便能够疏散出矩阵的特征值和特征值向量，并将其放在两个矩阵之中。详细 历程如下：
通过上面等式，我们可以推出以下等式：
若是 一个n×n维矩阵的n个特征向量均是线性无关的，则这个矩阵能够被对角化
视察上式，我们能够看到一个n×n维的矩阵可以由三个自力 的矩阵组成，即一个由特征向量组成的n×n维的矩阵X和矩阵X的逆，以及一个由特征值组成的n×n维的对角矩阵Λ。而这个历程也被称为矩阵的特征剖析。
2.对称矩阵的特征剖析
对称矩阵有一个很是主要 的性子 ：它的特征向量是正交向量。为了证实 这个性子 ，我们首先假设有以下两个互不相等的特征值和特征向量，如下：
通过下面的等式，我们能够推出λ1(x1*x2)= λ2(x1*x2)：
凭证 前面步骤的效果 ，我们可以获得如下等式:
我们一最先 便假设特征值λ1与λ2并不相等。因此特征值λ1与λ2均不为0，从而x1*x2也不行能即是0——以是 这个特征向量是正交的。这展现 了一个主要 的结论：对称矩阵能够被剖析为两个正交特征向量组成的矩阵与对角矩阵的乘积。而且，对称矩阵的特征值均为实数。
对称矩阵的特征向量具有正交性
3.奇异值剖析（SVD）
特征剖析适用于n×n维的方形矩阵，而由于m×n维的矩形矩阵在变换历程中会改变矩阵原本的维数，从而对于矩形矩阵并没有对其特征值举行 过界说。
因此对于一个m×n维的矩形矩阵，我们能够使用下面的要领对其举行 特征剖析——即奇异值剖析：
其中，矩阵U和V是正交矩阵，Σ体现一个包罗有奇异值的对角阵。需要说明的是，V和U中的列向量划分作为矩阵A的行空间和列空间中的基向量。
接下来，我们将对其细节举行 深入先容 。着实 SVD的主要目的 就是为了找到三个参数：矩阵v，矩阵u和奇异值σ，其中矩阵v和u都是正交向量且知足 下面等式：
一个n维的列向量v经由 矩阵A的变换即是一个m维的行向量u经由 奇异值σ的缩放。
与之前在特征剖析部门的步骤相似，我们也可以将上面的方程用矩阵形式体现出来，从而可以获得矩阵A奇异值剖析的表达式。
可是 ，矩阵v，矩阵u和奇异值σ应该怎样 求取呢？我们可以通过矩阵乘积（AAᵀ和AᵀA）的方式从方程的双方 来划分消除V和U来获得，详细 要领如下：
这些步骤看起来是不是很熟悉…
简直，通过对对称矩阵AAᵀ和AᵀA举行 奇异值剖析，这个效果 看起来险些与对对称矩阵举行 特征剖析是相同的。因此，找到了矩阵U和矩阵V，那么矩阵AAᵀ和AᵀA的特征剖析就能很容易被执行了，而且响应 的矩阵Q也能够被找到。对于σ，他们即是矩阵AAᵀ也是矩阵AᵀA的均方根特征值，如下所示：
其中值得注重 的是，凭证 习惯奇异值σ在矩阵Σ中总是按递减的顺序举行 排列——即第一行放最大的奇异值，最小的奇异值放在最后一行。若是 需要与矩阵Σ中的σ逐一 对应，那么就需要对矩阵U和矩阵V中的枚举 行 重新排列。
现在，我们有了一件很是令人兴奋的事，我们获得了一种可以剖析任何矩阵的要领，而不仅仅局限于对方阵举行 特征剖析。我们现在可以将任何矩阵剖析成两个正交矩阵和一个对角矩阵，其中矩阵U的维度为m×r，对角阵Σ的维度为r×r和矩阵V的维度为r×n，其而且矩阵A的值为r。
4.主因素 剖析 法（PCA）——特征提取
PCA在机械学习中是一种常用的无监视学习算法，它通过构建一种被称为主因素 的变量，并将所用到的所有向量映射到由主因素 变量构建的空间上去，从而能够镌汰 数据的维度。
主因素 剖析 优点：
1. 镌汰 模子 的训练时间——使用了更少的数据集；
2. 数据更容易可视化——对于高维数据，通过人工的方式去实现可视化是较量 难题 的。
3. 一些情形 下能减小过拟合度——通过镌汰 变量来降低模子 的过拟合度。
对于实例，我们使用主因素 剖析 法对一个统计表举行 了剖析 。这里为了先容 理论基础，以一个小数据集作为例子举行 解说：
矩阵A有5行3列
我们测试了矩阵A的相关性，从中我们能够发现矩阵A的相关矩阵为一个对称阵：
矩阵A的相关性剖析
对矩阵A举行 SVD，能够获得矩阵U，Σ和V。需要特殊 说明的是：所有奇异值的平方和与数据集的总体方差相等。
对协方差矩阵A接纳下式举行 盘算：
1.矩阵A是经由 尺度化后的矩阵，它的均值为0；2.m是样本数目
从直观上可看出，总方差=协方差矩阵AᵀA的迹=矩阵AᵀA的特征值之和=奇异值平方之和。通过奇异值剖析获得的u即是n维空间中的主因素 ，第i个主因素 的主要 性可由下式盘算所得（通过盘算在方差中的比例来确定）：
奇异值越大=获得的方差越多=包罗的信息就越多
回首我们例子中的对角矩阵Σ：u1对应的最大奇异值为17.7631，占数据集中方差的比例为74%。因此，通过把5个样本向量映射到u1，在没有损失任何信息的情形 下，所需剖析 矩阵A的维度从3维下降到了1维。
作者：李爱(Li Ai)