奇异值是矩阵中的一个很是主要 的看法，一样平常 是通过奇异值剖析的要领来获得的，奇异值剖析是线性代数和矩阵论中一种主要 的矩阵剖析法，在统计学和信号处置赏罚 中很是的主要 。
在相识 奇异值之前，让我们先来看看特征值的看法。
相似矩阵在线性代数中，相似矩阵是指存在相似关系的矩阵。设A，B为n阶矩阵，若是 有n阶可逆矩阵P存在，使得P-1AP=B，则称矩阵A与B相似，记为A~B。
对角矩阵对角矩阵(diagonal matrix)是一个主对角线之外的元素皆为0的矩阵，常写为diag（a1，a2,…,an) 。对角矩阵可以以为 是矩阵中最简朴的一种，值得一提的是：对角线上的元素可以为 0 或其他值，对角线上元素相等的对角矩阵称为数目 矩阵；对角线上元素全为1的对角矩阵称为单元矩阵。对角矩阵的运算包罗和、差运算、数乘运算、同阶对角阵的乘积运算，且效果 仍为对角阵。
可对角化矩阵可对角化矩阵是线性代数和矩阵论中主要 的一类矩阵。若是 一个方块矩阵 A 相似于对角矩阵，也就是说，若是 存在一个可逆矩阵 P 使得 P −1AP 是对角矩阵，则它就被称为可对角化的。
特征值设A为n阶矩阵，若存在常数λ及n维非零向量x，使得Ax=λx，则称λ是矩阵A的特征值，x是A属于特征值λ的特征向量。
一个矩阵的一组特征向量是一组正交向量。
即特征向量被施以线性变换 A 只会使向量伸长或缩短而其偏向不被改变。
一个线性变换通常可以由其特征值和特征向量完全形貌 。特征空间是相同特征值的特征向量的荟萃。
特征剖析特征剖析（Eigendecomposition），又称谱剖析（Spectral decomposition）是将矩阵剖析为由其特征值和特征向量体现的矩阵之积的要领。需要注重 只有对可对角化矩阵才可以施以特征剖析。
令 A 是一个 N×N 的方阵，且有 N 个线性无关的特征向量 qi(i=1,…,N)。这样， A 可以被剖析为: A= QΛQ-1
其中 Q 是N×N方阵，且其第 i列为 A 的特征向量 。若是 A的所有特征向量用x1,x2 … xm来体现的话，那么Q可以体现为：
, 其中x是n维非零向量。
Λ 是对角矩阵，其对角线上的元素为对应的特征值，也即Λii=λi。 也就是
这里需要注重 只有可对角化矩阵才可以作特征剖析。好比
不能被对角化，也就不能特征剖析。
由于 A= QΛQ-1 ，可以看做A被剖析为三个矩阵，也就是三个映射。
若是 现在有一个向量x，我们可以得出下面的结论：
Q是正交矩阵，正交阵的逆矩阵即是其转置,以是
=
.
对x的变换是正交变换，它将x用新的坐标系来体现，这个坐标系就是A的所有正交的特征向量组成的坐标系。好比将x用A的所有特征向量体现为：
则通过第一个变换就可以把x体现为
。
然后，在新的坐标系体现下，由中央 谁人 对角矩阵对新的向量坐标换，其效果 就是将向量往各个轴偏向拉伸或压缩:
若是 A不是满秩的话，那么就是说对角阵的对角线上元素存在0，这时间 就会导致维度退化，这样就会使映射后的向量落入m维空间的子空间中。
最后一个变换就是Q对拉伸或压缩后的向量做变换，由于Q和
是互为逆矩阵，以是 Q变换是
变换的逆变换。
特征值的几何意义一个矩阵乘以一个列向量相当于矩阵的列向量的线性组合。一个行向量乘以矩阵，相当于矩阵的行向量的线性组合。
以是 向量乘以矩阵之后，相当于将这个向量举行 了几何变换。
之前讲了 Λ 是对角矩阵，其对角线上的元素为对应的特征值，也即Λii=λi。 也就是
这些特征值体现的是对向量做线性变换时间 ，各个变换偏向的变换幅度。
奇异值 Singular value若是 A是m * n阶矩阵，q=min(m,n)，A*A的q个非负特征值的算术平方根叫作A的奇异值。
奇异值剖析SVD特征值剖析可以利便 的提取矩阵的特征，可是 条件 是这个矩阵是一个方阵。若是 是非方阵的情形 下，就需要用到奇异值剖析了。先看下奇异值剖析的界说：
其中A是目的 要剖析的m * n的矩阵，U是一个 n * n的方阵，Σ 是一个n * m 的矩阵，其非对角线上的元素都是0。
是V的转置，也是一个n * n的矩阵。
奇异值跟特征值类似，在矩阵Σ中也是从大到小排列，而且奇异值的镌汰 特此外快，在许多情形 下，前10%甚至1%的奇异值的和就占了所有 的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似形貌 矩阵。r是一个远小于m、n的数，这样就可以举行 压缩矩阵。
通过奇异值剖析，我们可以通过越发少量的数据来近似替换 原矩阵。
本文已收录于 http://www.flydean.com/ai-math-01-singular-value/
最通俗的解读，最深刻的干货，最精练 的教程，众多你不知道的小技巧等你来发现！
接待关注我的民众号:「法式那些事」,懂手艺 ，更懂你！