在上篇梯度下降算法中，提到了矩阵的"迹"，思索颇多，小白以为 其背后定有巧妙 之处。本篇聚焦于矩阵，总结下克日 小白对矩阵的臆想。
第二十七篇 矩阵臆想道生"1"数学科普书中常有形貌 ，人们的自然劳动中，如结绳记事，意识到了自然数，后有 "0"，负数，整数，分数，这些有理数。接着，意识到无理数，实数。人们在生涯 的"道"中，发生了"1"，这个一维的数轴。
人们最先 通过"1"形貌 天下 。
形貌 工具自己。
形貌 工具是什么，即其特征。长，宽和高，通过"线段"体现。这个线段可通过一个实数怀抱，这个怀抱在数轴上体现为实数点到原点的距离，也可以看成这个工具在一维空间中占有 了从原点到这个实数点的这块空间。
形貌 位置
形貌 工具在哪儿，即其坐标。一维空间，原点即坐标系，基本怀抱线段为1（工具伸缩特征的怀抱粒度），工具可参考作为工具的坐标。
形貌 运动
位置的变换，发生运动，运动发生距离。运动形式化为算术符号，加减乘除。引申一下，相对于原点，坐标的转变 发生运动。那么，原点的转变 也会引起坐标的转变 ，这也是运动。风吹树叶，风动，树叶动，照旧心动，都是对等的，运动的本体一样，只是参考点差异。
再引申一下，工具运动的另一种情形 为自身的运动。好比，工具自己是非的转变 。这个转变 可明确 为工具自己的膨胀（或伸缩），好比，气球膨胀了，体重增添 了；也可以是，坐标系（怀抱系）的转变 。好比：资产是100000的美元，等同于700000人民币的资产。
因此，对于表达式"70 0000 = 7 * 10 0000"，我们可以明确 成，一个工具由10 0000扩张了7倍，也可以明确 为坐标系膨胀了（美元坐标酿成人民币坐标），数值（标量）转变 了，形态转变 了，但资产（本体）没变。
总之，在一维中，只有实数，实数体现工具，实数怀抱距离，实数通过算术符号发生转变 。小白明确 ，"这个一位数轴就是线性本体，是标量",小白下面章节的文字重复在说明这句话。
从"1"到多（矩阵）一维中，没有偏向，用正负即可体现。实数是一维坐标系（数轴）上的点。二维以上的点用"向量"体现。在多维中，实数酿成了标量（怀抱，没有偏向），多个标量的组合，顺序，结构形成了向量，矩阵，内积，外积，行列式，范数，迹等形式或特征。
在多维中形貌 天下 如下：
形貌 工具自己
多维空间一个工具是超面（二维平面，或三维立体，或多维的超面）。好比二维空间，二维向量（如[1，2]）体现一个点；两个二维向量（如[[1，2]，[2，1]]）组成二维矩阵，体现工具（类似于一维下的线段，矩阵两个向量决议 了一块区间）。矩阵的特征可以用来体现和怀抱工具的特征，如：矩阵特征值，特征偏向，行列式，矩阵的迹，等。
形貌 位置
向量可用来形貌 位置，即坐标。
形貌 运动
多维空间下，工具的运动，本质和一维空间是一样的。如适才一维的情形 下，"70 0000 = 7 * 10 0000"。实数"10 0000"体现工具，是对工具"资产的怀抱"，实数"7"体现工具的转变 ，即资产从10 0000膨胀到70 0000；实数"7"还可明确 为一位空间的膨胀，膨胀前的坐标系可以为 是1（美元系统 ），而膨胀后的坐标系是7（人民币系统 ）。这样，从10 0000到70 0000，资产的数值转变 了，着实 资产本体没变，只是坐标系变了。而这个坐标系转变 的历程是通过运算"乘积"完成的。
因此，多维空间下的工具是矩阵。可以想象，矩阵可以看作是工具，也可以看作是运动或转变 。矩阵作为工具，可以通过矩阵的特征值，特征向量，行列式，等体现工具的特征；虽然，矩阵可看做线性转变 ，矩阵包罗的多个向量可以看作空间的"基"，通过乘积来体现工具的转变 和运动。
积的本质是"生"这个"生"意为生产，天生 ，新生。何以见得？好比，英文中"积"翻译为"product",product常译作产物，生产之意，小白以为 并非无中生有，定有依据。
照旧这个表达式"70 0000 = 7 * 10 0000"。这里的7是坐标系，是一个怀抱空间（人民币），美元在这个怀抱空间中，就天生 了70 0000。而在原始的美元空间里就是10 0000。而这里的10 0000和70 0000只是一种形式，是新产物（美元，人民币）标量的怀抱。其本体没变，是财富的怀抱标量。若是 这70 0000被购置为一套屋子，那么，财富本体在屋子的怀抱空间里就酿成了1（一套屋子）。因此，从10 0000转变 为70 0000，从70 0000转变 1。外在形式上标量的转变 ，缘故原由 是参考怀抱空间（坐标系）的转变 ，而其本体并无转变 ，依然是财富。而这每一次外在形式的转变 ，都是通过乘积体现，天生 对应怀抱空间下工具的外在。
线性变换10 0000到70 0000，再到1的转变 就是线性转变 。线性转变 ，本体稳固 ，只是视角变了。
既然是视角，他和被视察工具自己没有关系，通过一次视察（乘积）作用，形成一个新的对被视察本体的一个"象"，即新的工具。因此，线性转变 具有一次性（一次乘积作用）。
既然是视角，那么被视察工具的本体稳固 ，本体是什么我们视察不到，我们一旦视察，一定带有某一个视角。因此，我们通过形貌 视角的特征来形貌 "稳固 的寄义"（通过形貌 视角的特征来剖析 被视察本体的稳固 性）。视角纵然多维坐标空间，其由基本数轴变换而来。对于数轴我们知道，一个工具在数轴上只会两种变换，一个是长度转变 （伸缩），正负的转变 （偏向转变 ）。因此，视角的转变 ，会引起，工具的伸缩。因此，本体稳固 ，意味着，线性转变 下的工具只会存在伸缩和旋转（偏向的转变 ）
向量积在多维向量空间下，有内积和外积。小白以为，内积是用来还原天生 对本体的怀抱，外积用来天生 对外在的怀抱。
线性代数中有如下形貌 ：一，向量的内积，是向量范数和向量夹角余弦（cos）的乘积；二，向量的外机，是向量范数和向量夹角正弦（sin）的乘积；
内积
一维空间的两个工具，我们也可以凭证 二维空间的方式，表达为（2，0）。同时，这里我们以为 数轴上的基本坐标基是（1，0）
我们如上图，工具（2，0）本线性变换成了（2，4）和（2，1）。我们把他们划分和变换前的基本坐标基（1，0）举行 内积，获得2和2，这里的2是（2，0）的伸缩特征，是一维的。因此，小白体会，从线性变换的角度看，向量内积是对被内积向量的伸缩特征的天生 ，这个同时体现了对本体一维的回归。虽然是伸缩特征是相对的，好比，（2，4）和（2，1）举行 内积，那么获得的是基于（2，4）的伸缩特征对（2，1）的怀抱，也同样是基于（2，1）对（2，4）的怀抱。
外积
外积是两个向量所形成矩阵的行列式 ，或明确 为，两个向量组成的闭空间的面积。
小白体会，两个向量的相助形成了矩阵，外积是矩阵的行列式。因此，外积是对相助效果 （矩阵）伸缩特征的怀抱。
体会
在线性空间里，对本体的第一次视察，即通过视角（坐标基（1，0））发生数轴。这个数轴是对本体的一个形式化的表达。
向量内积是线性变换；是对多维空间工具内部组成部门对本体（数轴）的一次映射，发生一个实数；这个实数是多维工具（矩阵）的内部向量的本体伸缩特征的一次怀抱，是一维的；是"单"个向量的本体伸缩特征的怀抱，"单"却不独，这个怀抱离不开矩阵内部的其他向量，他们互为参考，由相同的本体伸缩特征而生。
向量的外积也是线性变换；是对多维空间工具自己对本体（数轴）的一次映射，发生一个实数；这个实数是多维工具（矩阵）自己伸缩特征的一次怀抱，是一维的；是工具整体的怀抱，这个怀抱有内部向量整体组成，向量之间相互夹角支持 ，形成工具多维空间本体的伸缩特征。
矩阵的积矩阵是多维空间的一个工具，这个工具自己也是一个空间（矩阵内部向量可看作空间的基）。矩阵特征的怀抱，可以看作在多维空间中对矩阵自己的怀抱，也可以看作以矩阵为空间对其他工具（矩阵）的线性变换的怀抱，这个线性变换的历程就是矩阵的积。
A和B是两个矩阵，为什么A*B和B*A差异呢？
A*B可明确 为：A对B施加线性变换，或A对B以A的旋转伸缩特征举行 旋转和伸缩了，或者以A为视角看到的B的样子，或者是B在A的加工加工下获得了新生（product）。
因此，A*B的效果 是A和B线性本体乘积后在A空间下视察的效果 ；而B*A是A和B线性本体乘积后再B空间下视察的效果 。因此，统一 个本体在差异的坐标下视察，泛起就差异了。
那小白有一个疑问，A*B的线性本体是什么呢？在下面讨论迹章节在探讨 这个问题。
矩阵的特征值和特征向量从线性变换的角度看，矩阵有伸缩和旋转。因此，就有伸缩特征和旋转特征。因此，我们就有了两个看法，一，矩阵的特征值在于对矩阵伸缩特征的怀抱；二，特征向量在于对旋转特征的怀抱；
前面我们提到矩阵的行列式是矩阵伸缩特征的怀抱，因此，行列式和矩阵的特征值必有关联。我们知道线性代数中有形貌 ，行列式为特征值的积。
特征向量和特征值对应，特征值为在对应的特征偏向上伸缩特征的怀抱，如下图：可诠释 为，矩阵A对向量V做线性变换（旋转和伸缩），发现向量V没有旋转，仅伸缩了。对伸缩的怀抱为矩阵A对应当前向量的特征值。因此，矩阵的线性变换特征体现为在多个偏向（特征向量）的伸缩特征（特征值）。
矩阵的迹迹和内积
在上面"矩阵的积"小节最后，小白有一个疑问，A*B两个矩阵的线性本体的积是什么呢？我们来思索下。
在上面向量的"内积"小节中，小白有一句体会"从线性变换的角度看，向量内积是对被内积向量的伸缩特征的天生 ，这个同时体现了对本体一维的回归。"那么，A和B两个矩阵的内积是否也可以获得对本体特征的回归呢？
如上两个矩阵内积为15，小白可以明确 为15为A和B本体线性特征的怀抱，是一维的。再看如下，矩阵A和矩阵B的积（外积）。
我们发现，外积所形成矩阵的对角线和就是内积。我们知道这就是A*B的迹（tr）。
如上图可体会到：一，A，B都由统一 线性本体（基坐标系）线性转变 转变 而来；二，迹是对线性工具本体的怀抱，即回归溯源本体；三，迹类似于线性变换的"足迹"，纪录着线性变换的历程；四，A*B和B*A的迹相同，说明他们线性本体的怀抱相同。线性代数中称他们是相似的。
迹和相似矩阵
线代有云，若是 AP=PB，则称A，B为相似矩阵，相似矩阵的迹相同。亦有云，矩阵A和自己对角化后的特征对角阵C相似，如下公式：
如上A和C相似，那么，A和C的迹相同。也就是说，"A的迹为自身特征值之和"。此外，前面章节提到"迹是自身线性本体特征的怀抱"。我们知道，特征值体现了线性工具的伸缩特征，那就是说，"A的迹为自身线性本体伸缩特征的怀抱"。
小白此时有所疑问，我们知道知道矩阵的行列式也是矩阵自身伸缩特征的怀抱，其和迹有何差异呢？小白明确 ，矩阵A的行列式是A的特征值的积，体现为体积或面积，因此，相对于线性本体丢失的一次性的性子 （迹为标量，标量的线性转变 没有旋转，只有伸缩，即只有加减）。因此，得出体会，"A的迹为自身线性本体伸缩特征的线性怀抱"，而行列式也是自身线性本体伸缩特征的怀抱，但其为非线性的。
对迹求导
先思索 一个问题，对迹求导，变量的形态是什么，导数的形态是什么。在前面的章节中得知，迹的转变 是线性转变 导致的，因此变量是线性转变 ，即矩阵或向量（向量也是矩阵）。那么虽然，导数的形态也是矩阵。这是由于 ，线性转变 的工具是矩阵。我们再往返 首下Andrew Ng CS229 Letrues notes课本中对梯度下降算法的矩阵推导公式，如下：
J为损失函数。
把m个h的样本看作m维的向量X，m个y看作m为的向量Y。那么，着实 J本质上就是两个向量的内积。再一个向量也是矩阵（1*m维的矩阵），因此，J本质上也是两个向量外积（矩阵积）的迹。
虽然，当前例子，内积着实 就是迹。内积是标量，而我们知道标量的迹是标量自己。因此，是自洽的。
如上第三步，引入迹。其本质是借助迹的性子 做推演。获得的效果 导数是一个向量。然后取导数为0,有
因此，获得