矩阵乘法

矩阵相乘最重要的方法是一般矩阵乘积。它只有在第一个矩阵的列数（column，台湾作行数）和第二个矩阵的行数（row，台湾作列数）相同时才有定义。一般单指矩阵乘积时，指的便是一般矩阵乘积。若${\displaystyle A}$ 为${\displaystyle m\times n}$ 矩阵，${\displaystyle B}$ 为${\displaystyle n\times p}$ 矩阵，则他们的乘积${\displaystyle AB}$ (有时记做${\displaystyle A\cdot B}$ ）会是一个${\displaystyle m\times p}$ 矩阵。其乘积矩阵的元素如下面式子得出：

${\displaystyle (AB)_{ij}=\sum _{r=1}^{n}a_{ir}b_{rj}=a_{i1}b_{1j}+a_{i2}b_{2j}+\cdots +a_{in}b_{nj}}$ 

以上是用矩阵单元的代数系统来说明这类乘法的抽象性质。本节以下各种运算法都是这个公式的不同角度理解，运算结果相等：

由定义直接计算

左边的图表示出要如何计算${\displaystyle AB}$ 的${\displaystyle (1,2)}$ 和${\displaystyle (3,3)}$ 元素，当${\displaystyle A}$ 是个${\displaystyle 4\times 2}$ 矩阵和B是个${\displaystyle 2\times 3}$ 矩阵时。分别来自两个矩阵的元素都依箭头方向而两两配对，把每一对中的两个元素相乘，再把这些乘积加总起来，最后得到的值即为箭头相交位置的值。

${\displaystyle (AB)_{1,2}=\sum _{r=1}^{2}a_{1,r}b_{r,2}=a_{1,1}b_{1,2}+a_{1,2}b_{2,2}}$ 

${\displaystyle (AB)_{3,3}=\sum _{r=1}^{2}a_{3,r}b_{r,3}=a_{3,1}b_{1,3}+a_{3,2}b_{2,3}}$ 

向量方法

这种矩阵乘积亦可由稍微不同的观点来思考：把向量和各系数相乘后相加起来。设${\displaystyle \mathbf {A} }$ 和${\displaystyle \mathbf {B} }$ 是两个给定如下的矩阵：

${\displaystyle \mathbf {A} ={\begin{bmatrix}a_{1,1}&a_{1,2}&\dots \\a_{2,1}&a_{2,2}&\dots \\\vdots &\vdots &\ddots \end{bmatrix}}}$  ${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1,1}&b_{1,2}&\dots \\b_{2,1}&b_{2,2}&\dots \\\vdots &\vdots &\ddots \end{bmatrix}}}$ 

则

${\displaystyle \mathbf {AB} ={\begin{bmatrix}a_{1,1}{\begin{bmatrix}b_{1,1}&b_{1,2}&\dots \end{bmatrix}}+a_{1,2}{\begin{bmatrix}b_{2,1}&b_{2,2}&\dots \end{bmatrix}}+\cdots \\\\a_{2,1}{\begin{bmatrix}b_{1,1}&b_{1,2}&\dots \end{bmatrix}}+a_{2,2}{\begin{bmatrix}b_{2,1}&b_{2,2}&\dots \end{bmatrix}}+\cdots \\\vdots \end{bmatrix}}}$ 

举个例子来说：

${\displaystyle {\begin{bmatrix}1&0&2\\-1&3&1\end{bmatrix}}\cdot {\begin{bmatrix}3&1\\2&1\\1&0\end{bmatrix}}={\begin{bmatrix}1{\begin{bmatrix}3&1\end{bmatrix}}+0{\begin{bmatrix}2&1\end{bmatrix}}+2{\begin{bmatrix}1&0\end{bmatrix}}\\-1{\begin{bmatrix}3&1\end{bmatrix}}+3{\begin{bmatrix}2&1\end{bmatrix}}+1{\begin{bmatrix}1&0\end{bmatrix}}\end{bmatrix}}={\begin{bmatrix}{\begin{bmatrix}3&1\end{bmatrix}}+{\begin{bmatrix}0&0\end{bmatrix}}+{\begin{bmatrix}2&0\end{bmatrix}}\\{\begin{bmatrix}-3&-1\end{bmatrix}}+{\begin{bmatrix}6&3\end{bmatrix}}+{\begin{bmatrix}1&0\end{bmatrix}}\end{bmatrix}}}$ 

${\displaystyle ={\begin{bmatrix}5&1\\4&2\end{bmatrix}}}$ 

左面矩阵的列为为系数表，右边矩阵为向量表。例如，第一行是[1 0 2]，因此将1乘上第一个向量，0乘上第二个向量，2则乘上第三个向量。

向量表方法

一般矩阵乘积也可以想为是行向量和列向量的内积。若${\displaystyle \mathbf {A} }$ 和${\displaystyle \mathbf {B} }$ 为给定如下的矩阵：

${\displaystyle \mathbf {A} ={\begin{bmatrix}a_{1,1}&a_{1,2}&a_{1,3}&\dots \\a_{2,1}&a_{2,2}&a_{2,3}&\dots \\a_{3,1}&a_{3,2}&a_{3,3}&\dots \\\vdots &\vdots &\vdots &\ddots \end{bmatrix}}={\begin{bmatrix}A_{1}\\A_{2}\\A_{3}\\\vdots \end{bmatrix}}}$ 且${\displaystyle \mathbf {B} ={\begin{bmatrix}b_{1,1}&b_{1,2}&b_{1,3}&\dots \\b_{2,1}&b_{2,2}&b_{2,3}&\dots \\b_{3,1}&b_{3,2}&b_{3,3}&\dots \\\vdots &\vdots &\vdots &\ddots \end{bmatrix}}={\begin{bmatrix}B_{1}&B_{2}&B_{3}&\dots \end{bmatrix}}}$ 

其中

${\displaystyle A_{1}}$ 是由所有${\displaystyle a_{1,x}}$ 元素所组成的向量，${\displaystyle A_{2}}$ 是由所有${\displaystyle a_{2,x}}$ 元素所组成的向量，以此类推。

${\displaystyle B_{1}}$ 是由所有${\displaystyle b_{x,1}}$ 元素所组成的向量，${\displaystyle B_{2}}$ 是由所有${\displaystyle b_{x,2}}$ 元素所组成的向量，以此类推。

则

${\displaystyle \mathbf {AB} ={\begin{bmatrix}A_{1}\\A_{2}\\A_{3}\\\vdots \end{bmatrix}}\times {\begin{bmatrix}B_{1}&B_{2}&B_{3}&\dots \end{bmatrix}}={\begin{bmatrix}(A_{1}\cdot B_{1})&(A_{1}\cdot B_{2})&(A_{1}\cdot B_{3})&\dots \\(A_{2}\cdot B_{1})&(A_{2}\cdot B_{2})&(A_{2}\cdot B_{3})&\dots \\(A_{3}\cdot B_{1})&(A_{3}\cdot B_{2})&(A_{3}\cdot B_{3})&\dots \\\vdots &\vdots &\vdots &\ddots \end{bmatrix}}}$ 

性质

矩阵乘法是不可交换的（即${\displaystyle AB\neq BA}$ ），除了一些较特别的情况。很清楚可以知道，不可能预期说在改变向量的部分后还能得到相同的结果，而且第一个矩阵的列数必须要和第二个矩阵的行数相同，也可以看出为什么矩阵相乘的顺序会影响其结果。

虽然矩阵乘法是不可交换的，但${\displaystyle AB}$ 和${\displaystyle BA}$ 的行列式总会是一样的（当${\displaystyle A}$ 、${\displaystyle B}$ 是同样大小的方阵时）。其解释在行列式条目内。

当${\displaystyle A}$ 、${\displaystyle B}$ 可以被解释为线性算子，其矩阵乘积${\displaystyle AB}$ 会对应为两个线性算子的复合函数，其中B先作用。

在试算表中做矩阵乘法

${\displaystyle {\begin{bmatrix}1&0&2\\-1&3&1\end{bmatrix}}\cdot {\begin{bmatrix}3&1\\2&1\\1&0\end{bmatrix}}={\begin{bmatrix}5&1\\4&2\end{bmatrix}}}$ 

以 Google Sheet 为例，选取储存格范围或者使用阵列，在储存格输入

=MMULT({1,0,2;-1,3,1},{3,1;2,1;1,0})

在某些试算表软件中必须必须按Ctrl+⇧ Shift+↵ Enter 将储存格内的变量变换为阵列

矩阵${\displaystyle A=(a_{ij})}$ 和标量${\displaystyle r}$ 的标量乘积${\displaystyle rA}$ 的矩阵大小和${\displaystyle A}$ 一样，${\displaystyle rA}$ 的各元素定义如下：

${\displaystyle (rA)_{ij}=r\cdot a_{ij}\ }$ 

若我们考虑于一个环的矩阵时，上述的乘积有时会称做左乘积，而右乘积的则定义为

${\displaystyle (Ar)_{ij}=a_{ij}\cdot r\ }$ 

当环是可交换时，例如实数域或复数域，这两个乘积是相同的。但无论如何，若环是不可交换的话，如四元数，他们可能会是不同的。例如，

${\displaystyle i{\begin{bmatrix}i&0\\0&j\\\end{bmatrix}}={\begin{bmatrix}-1&0\\0&k\\\end{bmatrix}}\neq {\begin{bmatrix}-1&0\\0&-k\\\end{bmatrix}}={\begin{bmatrix}i&0\\0&j\\\end{bmatrix}}i}$ 

给定两个相同维度的矩阵，我们有阿达马乘积（Hadamard product），或称做逐项乘积、分素乘积（element-wise product, entrywise product）。两个${\displaystyle m\times n}$ 矩阵${\displaystyle A}$ 、${\displaystyle B}$ 的阿达马乘积标记为${\displaystyle A\circ B}$ ，定义为 ${\displaystyle (A\circ B)_{ij}=a_{ij}b_{ij}}$ 的${\displaystyle m\times n}$ 矩阵。例如，

${\displaystyle {\begin{bmatrix}1&3&2\\1&0&0\\1&2&2\end{bmatrix}}\circ {\begin{bmatrix}0&0&2\\7&5&0\\2&1&1\end{bmatrix}}={\begin{bmatrix}1\cdot 0&3\cdot 0&2\cdot 2\\1\cdot 7&0\cdot 5&0\cdot 0\\1\cdot 2&2\cdot 1&2\cdot 1\end{bmatrix}}={\begin{bmatrix}0&0&4\\7&0&0\\2&2&2\end{bmatrix}}}$ 

需注意的是，阿达马乘积是克罗内克乘积的子矩阵。

给定任两个矩阵${\displaystyle A}$ 和${\displaystyle B}$ ，我们可以得到两个矩阵的直积，或称为克罗内克乘积${\displaystyle A\otimes B}$ ，其定义如下

${\displaystyle {\begin{bmatrix}a_{11}B&a_{12}B&\cdots &a_{1n}B\\\vdots &\vdots &\ddots &\vdots \\a_{m1}B&a_{m2}B&\cdots &a_{mn}B\end{bmatrix}}}$ 

当${\displaystyle A}$ 是一${\displaystyle m\times n}$ 矩阵和${\displaystyle B}$ 是一${\displaystyle p\times r}$ 矩阵时，${\displaystyle A\otimes B}$ 会是一${\displaystyle mp\times nr}$ 矩阵，而且此一乘积也是不可交换的。

举个例子，

${\displaystyle {\begin{bmatrix}1&2\\3&1\\\end{bmatrix}}\otimes {\begin{bmatrix}0&3\\2&1\\\end{bmatrix}}={\begin{bmatrix}1\cdot 0&1\cdot 3&2\cdot 0&2\cdot 3\\1\cdot 2&1\cdot 1&2\cdot 2&2\cdot 1\\3\cdot 0&3\cdot 3&1\cdot 0&1\cdot 3\\3\cdot 2&3\cdot 1&1\cdot 2&1\cdot 1\\\end{bmatrix}}={\begin{bmatrix}0&3&0&6\\2&1&4&2\\0&9&0&3\\6&3&2&1\end{bmatrix}}}$ 

若${\displaystyle A}$ 和${\displaystyle B}$ 分别表示两个线性算子${\displaystyle V_{1}\to W_{1}}$ 和${\displaystyle V_{2}\to W_{2}}$ ，${\displaystyle A\otimes B}$ 便为其映射的张量乘积，${\displaystyle V_{1}\otimes V_{2}\to W_{1}\otimes W_{2}}$ 

上述三种乘积都符合结合律：

${\displaystyle A(BC)=(AB)C}$ 

以及分配律：

${\displaystyle A(B+C)=AB+AC}$ 

${\displaystyle (A+B)C=AC+BC}$ 

而且和标量乘积相容：

${\displaystyle c(AB)=(cA)B}$ 

${\displaystyle (Ac)B=A(cB)}$ 

${\displaystyle (AB)c=A(Bc)}$ 

注意上述三个分开的表示式只有在标量体的乘法及加法是可交换（即标量体为一可交换环）时会相同。

• Strassen算法（1969）
• Winograd算法（1980）
• Coppersmith–Winograd算法（1990）
• 逻辑矩阵
• 矩阵链乘积
• 逆矩阵
• 关系复合
• BLAS
• 矩阵加法

• WIMS Online Matrix Multiplier （页面存档备份，存于互联网档案馆）
• Animated Matrix Multiplication Examples (purplemath) （页面存档备份，存于互联网档案馆）

• Matrix Multipication in Javascript （页面存档备份，存于互联网档案馆）（works in Firefox）

其它参考文献包括：

• Strassen, Volker, Gaussian Elimination is not Optimal, Numer. Math. 13, p. 354-356, 1969.
• Coppersmith, D., Winograd S., Matrix multiplication via arithmetic progressions, J. Symbolic Comput. 9, p. 251-280, 1990.
• Horn, Roger; Johnson, Charles: "Topics in Matrix Analysis", Cambridge, 1994.
• Robinson, Sara, Toward an Optimal Algorithm for Matrix Multiplication, SIAM News 38(9), November 2005.