特征剖析(Eigendecomposition),又称谱剖析(Spectral decomposition)是将矩阵剖析为由其特征值和特征向量体现的矩阵之积的要领。
需要注重 只有对可对角化矩阵才可以施以特征剖析。
令 A 是一个 N×N 的方阵,且有 N 个线性无关的特征向量
这样, A 可以被剖析为
其中Q是N×N方阵,且其第i列为A的特征向量。Λ是对角矩阵,其对角线上的元素为对应的特征值,也即
对特殊矩阵的特征剖析
对称矩阵: 恣意 的N×N实对称矩阵都有 N 个线性无关的特征向量。而且这些特征向量都可以正交单元化而获得一组正交且模为 1 的向量。故实对称矩阵 A 可被剖析成奇异值剖析(Singular Value Decomposition)是线性代数中一种主要 的矩阵剖析,在某些方面与对称矩阵或Hermite矩阵基于特征向量的对角化类似。然而这两种矩阵剖析只管 有其相关性,但照旧有显着 的差异。谱剖析 的基础是对称阵特征向量的剖析,而奇异值剖析则是谱剖析 理论在恣意 矩阵上的推广。
假设M是一个m×n阶矩阵,其中的元素全下属于域 K,也就是实数域或复数域。云云 则存在一个剖析使得
其中U是m×m阶酉矩阵;Σ是半正定m×n阶对角矩阵;而V*,即V的共轭转置,是n×n阶酉矩阵。这样的剖析就称作M的奇异值剖析。Σ对角线上的元素Σi,其中i即为M的奇异值。奇异值剖析可以被用来盘算矩阵的伪逆。若矩阵 M 的奇异值剖析为
那么 M 的伪逆为
其中
是
的伪逆,并将其主对角线上每个非零元素都求倒数之后再转置获得的。求伪逆通常可以用来求解 线性最小平方、最小二乘法问题。
矩阵的特征值剖析与奇异值剖析的几何意义
1、首先,矩阵可以以为 是一种线性变换:确定了界说域空间与目的 空间的两组基,就可以很自然地获得该线性变换的矩阵体现。即矩阵A可以通过Ax=b将一个向量x线性变换到另一个向量b,这个历程中,线性变换的作用包罗三类效应:旋转、缩放和投影。
2、奇异值剖析体现了对线性变换这三种效用的一个析构。
在
中,U的列向量组成了一组尺度正交基,V的列向量也是,这体现我们找到了U和V这两组基,A矩阵的作用是将一个向量从V这组正交基向量的空间旋转到U这组正交基向量空间,并对每个偏向做一定的缩放,缩放因子就是Σ中的各个奇异值,同时若是 V的维度比U大,那么这个历程还包罗了投影。
可见SVD将一个矩阵原本混淆在一起的三种作用效果给疏散了开来。
3、特征值剖析则是对旋转和缩放两种效应的合并。由于 特征值剖析中的A为方阵,显然是不存在投影效应的。
特征值和特征向量由
获得。即对于一个处于A的特征向量x偏向上的向量v而言,Av对v的线性变换作用则只体现在缩放上。或者说,我们找到了一组基(特征向量们),在这组基下,矩阵的作用效果仅仅是缩放。
当A为实对称矩阵时,特征向量之间是相互正交的,可以将上式写作
,这样看形式和SVD类似,即矩阵A将一个向量从x这组基的空间旋转到x这组基的空间上,并在每个偏向举行 了缩放,由于前后两组基都是x,即没有举行 旋转和投影。