你有没有想过卷积有什么特殊 之处？ 在这篇文章中，我从第一原理中推导出卷积，并叙述 了它的平移对称性。
某些事物实质上是对其本质的一种支持。 (Claude Adrien Helvetius)
在本科学习时代 ，我在以色列的Technion加入了电气工程，令人感应震惊的一个主要 的看法是，卷积[1]的突如其来。就像一粒沙子落入眼睛里，它扰乱了信号处置赏罚 天下 原本漂亮 的画面。 让卷积从第一原则中发生，将会何等优美 ！ 正如我将在这篇文章中所展示的，这里的第一原则即平移稳固 性或对称性。
首先，从基本信号处置赏罚 课程中教授的公式最先 ，界说两个n维向量x和w：的离散卷积[2]：
为了利便 起见，假设所有的索引从零到n−1，而且是n模，自然而然地想到在圆上界说的向量，把上面的公式写成矩阵向量乘法，获得了一个很是特殊的矩阵，称之为循环（circulant）矩阵：
循环矩阵具有多对角结构，每个对角线上的元素具有相同的值。 它可以通过将向量w的移位(模n)叠加在一起来天生 [3]；因此，用C(W)来体现，指的是由向量w形成的循环矩阵。由于任何卷积x∗w都可以等价地体现为循环矩阵C(W)x的乘法，以是 将交替使用这两个术语。
在线性代数中学习的第一件事是矩阵乘法不知足 交流率，也就是说，一样平常 情形 下，AB≠BA。 然而，循环矩阵是很是特殊的破例 ：
循环矩阵知足 交流律，即：C(w)C(u)=C(u)C(w)。 对于任何循环矩阵，或u和w的任何选择，这都是准确 的。同样，可以说卷积是一个知足 交流率的运算，x∗w=w∗x。
选择特定的w=[0,1,0…,0]天生 一个特殊的循环矩阵，将向量向右移动一位。 这个矩阵叫做（右）移位算子 [4]，用S体现。右移位算子的转置是左移位算子。 显然，左移后右移（或反之）不起任何作用，这意味着S是正交矩阵：
循环矩阵知足 交流率，它足以批注 移位的交流性（在[5]中引理3.1）：
当且仅当它移位知足 交流率时，称矩阵是循环的。
首先，“当且仅当”是指一种很是主要 的性子 ，即平移或移位等差[6]：卷积与移位的交流性意味着无论我们是先移动向量，然后卷积向量，照旧先卷积然后移位，效果 都是相同的。
其次，可以将卷积界说为移位等变线性运算：为了使移位切合交流率，矩阵必须具有循环结构。 这正是我们所期望的，从平移对称[7]的第一原理中导出卷积。 而不是给出卷积的公式并证实 其移位等差性子 ，这通常是在信号处置赏罚 书籍中来推导的，我们可以从移位等差的要求最先 ，得出卷积的公式，作为知足 它的唯一可能的线性运算。
信号处置赏罚 课程中教授的另一个主要 事实是卷积和傅里叶变换[8]之间的联系。 在这里，傅里叶变换从天而降，之后是它对角化卷积操作，在频域中执行两个向量的卷积，作为它们的傅里叶变换的元素乘积。 从来没有人诠释 过这些正弦和余弦来自那里 ，以及它们有什么特殊 之处。
为了弄清真相，追念一下线性代数中的一个事实：
交流矩阵是团结 对角的。
换句话说，知足 AB=BA的两个矩阵将具有相同的特征向量（但可能是差异的特征值）[9]。 由于所有循环矩阵都知足 交流率，可以选择其中一个并盘算其特征向量-上述定理保证了这些矩阵的特征向量也将是所有循环矩阵的特征向量。
由于S是正交矩阵，以是 我们期望它的特征向量也是正交的[10]。 一个简朴的盘算(见[5]第4.1节)得出了这样的结论
移位算子通过傅里叶变换对角化。
在这一点上，可以有今天的第二个“啊哈”时刻：这即是sines和cosines的泉源 ！ 它们是移位算子的特征向量；我将它们体现为矩阵Φ的列。 注重 特征向量是重大 的，以是 在转置Φ时需要接纳复共轭。和Φ*举行 的乘法（从左）称为傅里叶变换，并通过Φ实现傅里叶逆变换。
由于所有循环矩阵都是对角的，以是 它们也由傅里叶变换[11]对角化，只在特征值上有所差异。 最后还要熟悉 到这一点
其中C(w)的特征值为w的傅里叶变换。
现在可以把图中的所有部门导出卷积定理：卷积x∗w可以通过盘算原始坐标系统中x（有时称为“空间域”卷积）的循环矩阵C(W)来实现，也可以通过傅里叶（在频域）变换来实现：首先盘算Φ*x的傅里叶变换，再将其和w [12]的傅里叶变换相乘之后，盘算傅里叶逆变换。
由于Φ具有特殊的冗余结构，Φ*x和Φx的乘积可以用快速傅里叶变换(FFT)算法的重大 度 (n log n)盘算。
为什么要这样来界说卷积？在这里我将重复Helvetius的名言：“对某些原则的相识 很容易填补 对某些事实的缺乏”。对于卷积而言，它从第一原则的推导越发容易推广到其他领域。