在翻译sklearn文档 2.无监视学习 部门历程中，发现协方差矩阵险些贯串整个章节，但sklearn指导手册把协方差部门放在了这一章节偏后的部门，作为机械学习一个基础看法，在这篇文章中，想把协方差矩阵的相关知识以及主要应用。
统计学中常用平均值，方差，尺度差等形貌 数据。平均值形貌 了样本荟萃的中央 点；方差总是一个非负数，当随机变量的可能值集中在数学期望的周围 时，方差较小; 反之, 则方差较大。以是 , 由方差的巨细可以推断随机变量漫衍的疏散水平, 方差能反映随机变量的一切可能值在数学期望周围的疏散水平。尺度差形貌 了各个样本点到均值的距离的平均值。但这些统计量都是针对一维数据的盘算，在处置赏罚 高维数据时，便可以接纳协方差来审查 数据集中的一些纪律。协方差来怀抱两个随机变量关系的统计量，它形貌 的意义是：若是 效果 为正值，则说明两者是正相关的，否则是负相关的。需要注重 的是，协方差是盘算差异特征之间的统计量，不是差异样本之间的统计量。
协方差基本知识：协方差公式：
设n个随机向量：
从公式上看，协方差是两个变量与自身期望做差再相乘, 然后对乘积取期望。也就是说，当其中一个变量的取值大于自身期望，另一个变量的取值也大于自身期望时，即两个变量的转变 趋势相同, 此时，两个变量之间的协方差取正值。反之，即其中一个变量大于自身期望时，另外一个变量小于自身期望，那么这两个变量之间的协方差取负值。下面凭证 举一个例子来对协方差形象的诠释 ：
协方差矩阵是实对称矩阵，实对称矩阵的性子 ：
实对称矩阵的差异特征值对应的特征向量时正交的实对称矩阵的特征值是实数，特征向量是实向量实对称矩阵必可对角化，且其相似对角矩阵的对角线元素为n个特征值协方差矩阵中的对角线元素体现方差, 非对角线元素体现随机向量 X 的差异分量之 问的协方差. 协方差一定水平上体现了相关性, 因而可作为描绘 差异分 量之间相关性的一个评判量。若差异分量之问的相关性越小，则 非对角线元素的值就越小。特殊 地, 若差异分量相互不相关, 那么 C 就酿成了一个对角阵。注重 , 我们并不能获得协方差矩阵 $C(X)$ 的真实值, 只能凭证 所提供的 X 的样本数据对其举行 近似预计。因此, 这样盘算获得的协方差矩阵是依赖于样本数据的, 通常提供的样本数目越多 , 样本在总体中的笼罩面就越广。
明确 协方差矩阵的要害就在于切记 它盘算的是差异维度之间的协方差，而不是差异样本之间，拿到一个样本矩阵，我们最先要明确的就是一行是一个样本照旧一个维度，心中明确这个整个盘算历程就会顺流而下，这么一来就不会渺茫 了。着实 尚有 一个更简朴的容易记还不容易堕落的要领：协方差矩阵一定是一个对称的方阵，
履历 协方差有时间 由于种种缘故原由 ，并不使用所有 的样本数据盘算协方差矩阵，而是使用 部门样本数据盘算，这时间 就要思量 使用 部门样本盘算获得的协方差矩阵是否和真实的协方差矩阵相同或者近似。
当提供的样本数目相对于特征数足够多时，使用 最大似然预计（或者称为履历 协方差）盘算的效果 ，可以以为 是协方差矩阵的几个近似效果 。这种情形 下，会假设数据的漫衍切合一个多元正太漫衍，数据的概率密度函数中是包罗协方差矩阵的，使用 最大似然函数，对其举行 预计。
缩短 协方差在矩阵的求逆历程中， 最大似然预计不是协方差矩阵的特征值的一个很好的预计， 以是 从反演获得的精度矩阵是禁绝确的。 有时，甚至泛因由 矩阵元素地特征 ,履历 协方差矩阵不能求逆。 为了阻止 这样的反演问题，引入了履历 协方差矩阵的一种变换方式，缩短 协方差。
协方差矩阵——PCA实现的要害PCA的本质着实 就是对角化协方差矩阵。PCA的目的就是“降噪”和“去冗余”。“降噪”的目的就是使保留下来的维度间的相关性尽可能小，而“去冗余”的目的就是使保留下来的维度含有的“能量”即方差尽可能大。那首先的首先，我们得需要知道各维度间的相关性以及个维度上的方差啊！那有什么数据结构能同时体现差异维度间的相关性以及各个维度上的方差呢？自然是非协方差矩阵莫属。协方差矩阵怀抱的是维度与维度之间的关系，而非样本与样本之间。协方差矩阵的主对角线上的元素是各个维度上的方差(即能量)，其他元素是两两维度间的协方差(即相关性)。我们需要的工具，协方差矩阵都有了。
（1）获取更多优质内容及精彩资讯，可前往：https://www.cda.cn/?seo
（2）相识 更多数据领域的优质课程：