1. 向量1.1 基本看法
【向量（vector）】：一个同时具有巨细和偏向的几何工具。
【行向量（row vector）】：一个1×n的矩阵，即矩阵由一个含有n个元素的行所组成：
【列向量（column vector）】：一个m × 1的矩阵，即矩阵由一个包罗m个元素的列组成：
行向量的转置是一个列向量，反之亦然。
【向量的模】：向量的长度叫做向量的模。假设向量 v = (v1, v2, …, vn), 则v的模。记作：
【单元向量】：模为1的向量就是单元向量。
【向量的基（也称为基底）】：给定一个向量空间 V。 V的一组基B，是指V内里 的可线性天生 V的一个线性无关子集。B的元素称为基向量。
1.2 常见运算
向量常见的运算有：加法，减法，标量乘向量以及向量之间的乘法（叉乘、点乘）。
在机械学习中，我们需要重点看加法，标量乘向量和点乘。
设：存在两个n维度向量a = (a1, a2, …, an) 和 b = (b1, b2, …, bn)
1.2.1 向量加法
a + b = (a1 + b1, a2 + b2, …, an + bn)
1.2.2 向量乘以标量
设标量为k, 则 ka = (ka1, ka2, …, kan)
1.2.3 向量点乘
1.3 向量性子
1.3.1 线性相关（linearly dependent）
假设V是在域K上的向量空间。V中的一组(m个)元素中，若有向量可用有限个其他向量的线性组合所体现，则称为线性相关，反之称为线性无关。
换言之，若是 v1, v2, ..., vn 是V的向量，若是 从域K 中有非全零的元素a1, a2, ..., an，适合 a1v1 + a2v2 + ... + anvn = 0, 则称它们为线性相关。
若是 K中不存在这样的元素，那么v1, v2, ..., vn是线性无关或线性自力 。
1.3.2 线性相关的几何意义
说向量组v1, v2, ... vm 线性相关，则：
当m = 1时，若v1 = 0， 则只含有v1一个元素的向量组线性相关，否则，线性无关。
当m = 2时，若是 a1v1 + a2v2 = 0,则v1和v2线性相关，也就是说v1和v2的分量对应成比例，在几何意义上，v1和v2共线。否则，二者线性无关。
当m =3时， v1,v2,v3线性相关的几何意义是三者共面。
1.3.3 正交
若内积空间中两向量的内积为0，则称它们是正交的。正交是垂直这一直寓目法的推广。
1.3.4 正交 vs 线性无关
正交的向量一定线性无关，线性无关的向量纷歧定正交。
2. 线性变换与线性函数2.1 线性变换
在两个向量空间之间的一种保持向量加法和标量乘法的特殊映射，称为线性变换（或线性映射）。
2.2 线性函数
设 V 和 W 是在相同域 K 上的向量空间。规则 f : V → W 被称为是线性映射，若是 对于 V 中任何两个向量 x 和 y 与 K 中任何标量 a，知足 下列两个条件:
(1) 可加性： f(x+y) = f(x) + f(y) (2) 齐次性： f(ax) = af(x)
即其维持向量加法与标量乘法。
上述等价于要求对于任何向量 x1, ..., xm 和标量 a1, ..., am，下面方程建设：
当上述的规则 f : V → W为函数时，就是线性函数。
较量 直观的明确 就是大部门一次函数，例如二维空间中的f(x)=ax+b，其中a,b为常数。
3. 矩阵3.1 m x n 矩阵
3.1.1 界说
将一些元素排列成若干行，每行放上相同数目 的元素，就是一个矩阵。
一个m×n的矩阵是一个由m行n列元素排列成的矩形阵列，矩阵里的元素可以是数字、符号或数学式。
3.1.2 矩阵的基本运算
最基本运算包罗矩阵加（减）法，数乘和转置运算。
【1】矩阵加法：m×n矩阵A和B的和（差）：A±B为一个m×n矩阵，其中每个元素是A和B响应 元素的和（差）: (A ± B)i,j = Ai,j ± Bi,j，其中1 ≤ i ≤ m , 1 ≤ j ≤ n.
【2】矩阵数乘：标量c与矩阵A的数乘：cA的每个元素是A的响应 元素与c的乘积，(cA)i,j = cAi,j
【3】矩阵转置：m×n矩阵A的转置是一个n×m的矩阵，记为AT（或A'），其中的第i个行向量是原矩阵A的第i个列向量；或者说，转置矩阵AT第i行第j列的元素是原矩阵A第j行第i列的元素， (AT)i,j = Aj,i
【4】矩阵的乘法：两个矩阵的乘法仅当第一个矩阵A的列数和另一个矩阵B的行数相等时才气界说。如A是m×n矩阵和B是n×p矩阵，它们的乘积AB是一个m×p矩阵，它的一个元素
其中1 ≤ i ≤ m, 1 ≤ j ≤ p
3.1.3 矩阵运算的纪律
[1] 矩阵的加法运算知足 交流律：
A + B = B + A。
[2] 矩阵的转置和数乘运算知足 分配律：
(A + B)T = AT + BT c(A + B) = cA + cB
并知足 类似于团结 律的纪律： c(AT) = (cA)T.
[3] 矩阵的乘法知足 团结 律和对矩阵加法的分配律（左分配律和右分配律）：
• 团结 律：(AB)C = A(BC), • 左分配律：(A + B)C = AC + BC, • 右分配律：C(A + B) = CA + CB.
[4] 矩阵的乘法与数乘运算之间也知足 类似团结 律的纪律:
c(AB) = (cA)B = A(cB)
[5] 矩阵的乘法与转置之间则知足 倒置的分配律：
(AB)T = BTAT
[6] 矩阵乘法*不*知足 交流律。
一样平常 来说，矩阵A及B的乘积AB存在，但BA纷歧定存在，纵然存在，大多数时间 AB ≠ BA。
3.1.4 矩阵与线性变换的关系
矩阵是线性变换的便利表达法。
以R^n体现所有长度为n的行向量的荟萃。每个m×n的矩阵A都代表了一个从R^n射到R^m的线性变换。
也就是说，对每个线性变换f: R^n - R^m，都存在唯一m×n矩阵A使得对所有R^n中的元素x，f(x) = Ax。
3.1.5 相关基本看法
【矩阵的秩】： 用初等行变换将矩阵A化为蹊径 形矩阵, 则矩阵中非零行的个数就界说为这个矩阵的秩。
【列秩】：一个矩阵A的列秩是A的线性自力 的纵列的最大数目。
【行秩】：一个矩阵A的行秩是A的线性自力 的横行的最大数目。
行秩和列秩的关系：矩阵的列秩和行秩总是相等的。因此它们可以简朴地称作矩阵A的秩。通常体现为r(A)，rk(A)或rank A。
【满秩矩阵（non-singular matrix）】:若矩阵秩即是行数，称为行满秩；若矩阵秩即是列数，称为列满秩。既是行满秩又是列满秩则为n阶矩阵即n阶方阵。
【子式】：设A为一个 m×n 的矩阵，k为一个介于1和m之间的整数，而且k≤n。A的一个k阶子式是在A中选取k行k列之后所发生的k2个交点组成的方块矩阵的行列式。
【余子式】：A的一个k阶余子式是A去掉了k行与k列之后获得的(m-k)×(n-k)矩阵的行列式。
NOTE: 在m=/=n的情形 下，这样的行列式怎样 盘算是没有界说的，仅仅在看法上存在。
【零矩阵】：即所有元素皆为0的矩阵。
NOTE：对称矩阵，对角矩阵，矩阵的对角化等都有针对mxn矩阵的一样平常 界说，可是 在应用的层面，我们不必举行 这些一样平常 性的讨论，而只需要关注其针对nxn阶方阵的情形即可，因此，大多数情形 下，对于矩阵的性子 和运算，我们集中关注方阵这一特例。
3.2 n x n方阵
方阵具备一些一样平常 m x n矩阵(m =/= n) 所不具备的特征和属性，使得它们特殊 有用。而一些运算，如对角化等在方阵中比一样平常 矩阵中多见而且更容易，因此，许多问题我们集中在方阵里讨论。
3.2.1 基本看法
【方阵】：在所有矩阵中，行和列相等的那类称为方阵。
【行列式】：将一个nxn的方阵A映射到一个标量，记作|A|或det(A)。虽然记作|A|，但着实 一个矩阵的行列式有可能是负数，这里要注重 和绝对值区别。
• 1阶矩阵的行列式：就是它自己。
• 2阶矩阵的行列式：
• 3阶矩阵的行列式：
【主子式】：设A是一个n阶方阵，I和J是荟萃{1,...,n}的一个k元子集，那么[A]I,J体现A的k阶子式。其中抽取的k行的行标是I中所有元素，k列的列标是J中所有元素。
若是 I=J，那么称[A]I,J是A的主子式。
若是 I=J={1,...,k}（所取的是左起前k列和上起前k行），那么响应 的主子式被称为顺序主子式。一个n×n的方块矩阵有n个顺序主子式。
【余子式】：设A为一个 n阶方阵， A关于一个k阶子式的余子式，是A去掉了这个k阶子式所在的行与列之后获得的(n-k)×(n-k)矩阵的行列式，简称为A的k阶余子式。
A关于第i行第j列的余子式Mij是指A中去掉第i行第j列后获得的n−1阶子矩阵的行列式。有时可以简称为A的（i，j）余子式。记作Mij。
【余子矩阵】: n阶方阵A的余子矩阵是指将A的(i, j)代数余子式摆在第i行第j列所获得的矩阵，记为C。
Cij = (−1)^(i + j) Mij
【陪同矩阵】：上述余子矩阵C的转置矩阵，称为n阶方阵A的陪同矩阵。记作A*。
【单元矩阵】：单元矩阵（记作I）的对角线全是1而其他位置全是0。
【置换矩阵】：是一种系数只由0和1组成的方块矩阵。置换矩阵的每一行和每一列都恰恰 有一个1，其余的系数都是0。
3.2.2 逆矩阵，可逆矩阵，（非）奇异矩阵及可逆与其他看法的关系
【逆矩阵】：给定一个n阶方阵A，若存在一n 阶方阵B， 使得AB=BA=I，其中I 为n 阶单元矩阵，则称A 是可逆的，且B 是A 的逆阵，记作 A^(-1)。
【可逆矩阵】：若n 阶方阵A 的逆阵存在，则称A 为非奇异方阵或可逆方阵。
可逆和满秩的关系：对n阶方阵而言，满秩等价于可逆。
可逆和陪同的关系：若是 n阶方阵A可逆，那么它的逆矩阵和它的陪同矩阵之间只差一个系数。
然而，陪同矩阵对不行逆的矩阵也有界说，而且不需要用到除法。
【奇异方阵】：若方块矩阵A知足 条件|A|=0，则称A为奇异方阵，否则称为非奇异方阵。
可逆和非奇异方阵的关系：对于n阶方阵而言，非奇异等价于可逆矩阵。
3.2.3 对称矩阵、对角矩阵、可对角化和对角化
【对称矩阵】：对称矩阵是一个n阶方阵，其转置矩阵和自身相等：
对称矩阵中的右上至左下偏向元素以主对角线（左上至右下）为轴对称。若将其写作A=（aij），则：aij = aji
方阵与对称的关系：对于任何方阵A，A + AT 都是对称矩阵。
【对角矩阵】: 是一个主对角线之外的元素皆为0的n阶方阵。对角线上的元素可以为0或其他值。
对角与对称的关系：对角矩阵都是对称矩阵。
【可对角化】：若是 一个方块矩阵 A 相似于对角矩阵，也就是说，若是 存在一个可逆矩阵 P 使得 P −1AP 是对角矩阵，则它就被称为可对角化的。
方阵可对角化充要条件：n x n方阵可举行 对角化的充实须要条件是：
(1) n阶方阵存在n个线性无关的特征向量。
(2) 若是 n阶方阵存在重复的特征值，每个特征值的线性无关的特征向量的个数恰恰 即是该特征值的重复次数
【对角化】：将可对角化的方阵A通过与转换矩阵P的运算，转换为对角矩阵的历程叫做对角化。
3.2.4 相似矩阵和相似变换
【相似矩阵】：两个系数域为K的n阶方阵A与B为域L上的相似矩阵当且仅当存在一个系数域为L的n×n的可逆矩阵P，使得:
这时，称矩阵A与B“相似”。
【相似变换】： 相似变换是矩阵之间的一种等价关系。也就是说知足 ：
反身性：恣意 矩阵都与其自身相似。对称性：若是 A和B相似，那么B也和A相似。转达 性：若是 A和B相似，B和C相似，那么A也和C相似。3.2.5 正交矩阵和正交变换
【正交矩阵】：一个n阶方阵Q，其元素为实数，而且行（列）向量为两两正交的单元向量，使得该矩阵的转置矩阵为其逆矩阵。
其中，I为单元矩阵。正交矩阵的行列式值一定 为+1或-1
【正交变换】：Q为正交矩阵，而v为向量，则Qv称作正交变换。正交变换不改变向量的长度。
3.2.6 用正交阵对对称阵举行 条约变换
对于n阶对称阵A，必存在正交阵P，使得：
其中 Λ 为以A的n个特征值为对角元的对角阵。这种变换叫做条约变换。A和 Λ 互为条约矩阵。
3.3 实对称矩阵
3.3.1 界说
实对称矩阵是一个n阶方阵，其元素都为实数，且转置矩阵和自身相等：
3.3.2 实对称矩阵的性子
（1）实对称阵的特征值为实数，其特征向量可以取实向量。
（2）实对称矩阵都能对角化，且可用正交矩阵对其举行 对角化。
（3） 恣意 的 nxn 实对称矩阵都有 n 个线性无关的特征向量。而且这些特征向量都可以正交单元化而获得一组正交且模为 1 的向量。
故实对称矩阵 A 可被剖析成:
其中 Q 为 正交矩阵， Λ 为实对角矩阵。
（4）实对称矩阵差异特征值的特征向量正交。
3.3.3 正定、半正定、负定、半负定
对于一个n×n的实对称矩阵M, 当且仅当它对于所有非零实系数向量z都有：
其中zT体现z的转置。
NOTE: 对于复数对称阵，也有同样看法，但此处不思量 。
4. 特征值和特征向量4.1 界说
对于n x n方阵A，若标量λ和n维非0列向量v知足 ：
那么称λ为A的特征值，v称为对应于特征值λ的特征向量。
4.2 几何意义
λ反映的是：特征向量v的长度在线性变换A下缩放的比例。
若是 特征值为正，则体现v在经由 线性变换的作用后偏向也稳固 ；若是 特征值为负，说明偏向会反转；若是 特征值为0，则是体现缩回零点。但无论怎样，仍在统一 条直线上。
4.3 相关看法
【特征空间】：n阶方阵A所有具有相同的特征值λ的特征向量和零向量一起，组成了一个向量空间，称为A的一个特征空间。
【几何重数】：这个特征空间若是 是有限维的，那么它的维数叫做λ的几何重数。
【主特征向量】： 模最大的特征值对应的特征向量是A的主特征向量。
【谱】：在有限维向量空间上，一个方阵A的其所有特征值的荟萃就是A的谱。
【尺度正交基】：是元素两两正交的基。称基中的元素为基向量。
4.4 特征向量与系数方程
特征向量也可以看作是关于系数λ的方程：T(x) = λx 的非零解。
4.5 特征值的性子
n阶方阵A=（aij）有n个特征值（其中可能包罗重复值）λ1， λ2， … λn，则有
（1）这n个特征值的和为A对角线上各个数的和： λ1 + λ2 + … + λn = a11 + a22 + … + ann
（2）这n个特征值的乘积为A的行列式：λ1λ2…λn = |A|
（3）不相等的特征值所对应的特征向量线性无关。
（4） 若是 一个n阶方阵有n个差异的特征值，那么矩阵一定存在相似矩阵。
鸣宇淳
沙发