目录

P1 两个列向量：线性组合填满一个平面 Preface p. v–vi: vectors and linear combinations

这一节回答一个看似简单的问题：两个三维向量，经过「伸缩」再「相加」，能到达空间中的哪些点？答案是：一个穿过原点、向四面八方无限延伸的平面。这个问题虽小，却是整门线性代数的第一块基石——后面的列空间、$A=CR$、四个子空间，全都从这里长出来。

向量、零向量与两种基本运算 Column vectors a₁, a₂ and the zero vector

从两个列向量(column vector) $a_1$、$a_2$ 出发。它们各有 3 个分量(component)，所以各自对应三维空间中的一个点——也可以画成从原点出发、指向这个点的箭头。画图时需要一个中心点来标出零向量(zero vector)：

向量画在二维的纸面上，但我们都有想象三维图形的经验。序言的第一张图画出了 $a_1$、$a_2$、$2a_1$ 和向量和 $a_1+a_2$，还有更远处的 $2a_1+a_2$。这张图演示了向量的两种基本运算 p. v–vi：

两种运算合起来，就得到原书图中最远的那个点 $2a_1+a_2$。原书只标了名字，没写坐标，我们算一下：$2a_1+a_2=(4,6,2)+(1,4,2)=(5,10,4)$。下面的三维演示默认视角就是原书那张图：虚线勾出了两个相邻的平行四边形 $0,\ a_1,\ a_1+a_2,\ a_2$ 与 $a_1,\ 2a_1,\ 2a_1+a_2,\ a_1+a_2$。

无论 $c$、$d$ 取什么数，绿点都离不开那张浅色的平面；「侧着看」时，平面连同上面所有的点一起缩成一条直线——这正是「所有组合都在同一个平面上」的直观证据。取 $c=d=0$ 得到原点，所以这个平面一定经过原点。

线性组合：c 和 d 可以取任何数 Linear combinations ca₁ + da₂

序言特别强调了两件事：

• $c$、$d$ 可以是负数。这时 $ca_1$、$da_2$ 掉转方向——原书说它们「从右往左走」。例如 $-a_1=(-2,-3,-1)$ 恰好指向 $a_1$ 的正对面。
• 同样非常重要：$c$、$d$ 可以是分数（进而是任何小数）。例如 $-a_1+\tfrac12a_2=(-2,-3,-1)+(0.5,\,2,\,1)=(-1.5,\,-1,\,0)$。

序言的第二张图画了更多的组合：$c$ 取 $-1,0,1,2$，$d$ 取 $-1,-\tfrac12,0,\tfrac12,1$，形成一张由平行四边形拼成的网格 p. vi。Strang 说：我们最终想要的是所有的向量 $ca_1+da_2$。

整数系数只给出网格的交点；½ 的倍数添上了中间的点（原书图就画到这一步）；再细下去点越来越密，最后连成一片——平面上每一个位置都对应一对 $(c,d)$。原书这张图是「斜着看」平面画出来的，所以格子是平行四边形，而不是正方形。

关键：所有组合填满一个平面 The combinations fill a whole plane

P2 矩阵与列空间 Preface p. vi–vii: a matrix and its column space

把几个列向量并排放在一起，就得到线性代数里最核心的对象——矩阵(matrix)。这一节回答：一个矩阵的各列能组合出哪些向量？这个集合有个自然的名字：列空间。然后我们照 Strang 的做法再加两列，看列空间怎样从一个平面「长」成整个三维空间。

3×2 矩阵：m 行、n 列 A 3 by 2 matrix

矩阵 $A$ 装着 $n$ 个列向量 $a_1,a_2,\dots,a_n$。目前我们的矩阵只有两列 $a_1$ 和 $a_2$，它们都是三维空间里的向量，所以这个矩阵有 3 行 2 列 p. vi：

列空间 = 所有列的组合 The column space of A

这两列的组合在三维空间里产生了一个平面（P1）。这个平面有个自然的名字——它就是这个矩阵的列空间。

于是 P1 的全部故事可以换成矩阵的语言再说一遍：「$a_1,a_2$ 的组合填满一个平面」＝「3×2 矩阵 $A$ 的列空间是 $\mathbb R^3$ 中的一个平面」。

到这里，序言已经引入了四个想法，Strang 说「你会在第 1 章看到它们全部」p. vi：

再加两列：列空间变成整个三维空间 Now we include 2 more columns in A

现在给 $A$ 再加两列。这 4 个列向量仍然都在三维空间里 p. vii：

「线性代数的目标是理解每一个列空间。」Strang 拿这一个试试，一列一列地看：

1. 第 1、2 列产生和以前一样的平面（同样的 $a_1$、$a_2$）。
2. 第 3 列没有贡献任何新东西，因为 $a_3=(3,7,3)$ 就在那个平面上：$a_3=a_1+a_2$。
3. 第 4 列不在平面上：加上 $c_4a_4$ 会把平面整体抬高或压低。
4. 所以这个矩阵 $A$ 的列空间是整个三维空间：所有的点！

$a_3$ 的箭头恰好躺在平面里（它是 $a_1+a_2$，平行四边形的对角线），所以加入 $a_3$ 后列空间不变。$a_4=(0,0,-1)$ 伸出平面：$c_4$ 取不同的值，平面就被平移到不同的「高度」，这些平面一层层叠起来充满整个空间。若把第 4 列换成平面上的向量，无论 $c_4$ 取多少，平移后的平面都与原平面重合——列空间仍然只是那个平面。

这就是 Strang 说的「一次看一列，从左到右」：每一列要么与前面的列独立(independent)——带来一个新方向；要么是前面各列的组合(combination)——什么新东西也不带来。要产生三维空间中的每一个点，需要三个独立的列 p. vii。

P3 矩阵乘法 A = CR Matrix Multiplication A = CR

「线性组合」和「独立的列」这两个词，已经把那个 3×4 矩阵 $A$ 描述得很清楚了。这一节用一次矩阵乘法 $A=CR$ 把这些信息一口气写下来：哪几列是独立的、其余各列又是怎样由它们组合出来的。Strang 说：「我们离第 1 章的一个关键想法太近了，我不得不继续讲下去。」p. vii

独立的列与相关的列 Independent columns

在 3×4 的 $A$ 中，第 3 列是一个线性组合：第 1 列 + 第 2 列；第 1、2、4 列是独立的 p. vii。「独立」有一个干净利落的判别法：

对比一下第 1、2、3 列：它们不独立，因为有一组不全为 0 的系数让组合回到原点：

用矩阵乘法写下我们知道的一切 A equals C times R

「矩阵乘法是写下我们所知道的东西的完美方式。」从 $A$ 的 4 列中挑出独立的列 $a_1,a_2,a_4$，放进列矩阵 $C$。$R$ 的每一列告诉我们：用 $C$ 中的 $a_1,a_2,a_4$ 怎样组合，才能得到 $A$ 的一列。于是 $A$ 等于 $C$ 乘 $R$ p. vii：

$A$ 的第 3 列依赖于第 1、2 列，而 $R$ 的第 3 列 $(1,1,0)$ 恰好说明了怎样依赖：把 $C$ 中独立的第 1、2 列相加（第 3 列 $a_4$ 用 0 份），就得到 $A$ 的第 3 列 $a_3=a_1+a_2=(3,7,3)$。

下面的步骤播放器按 Strang 的「从左到右，一次一列」重演这个构造过程：

矩阵乘法不止一种好算法 More than one good way to multiply

序言接着说：正文 1.3 节讲矩阵乘向量（两种方式），1.4 节讲矩阵乘矩阵。这是线性代数的关键运算；「有不止一种好方法来做这个乘法」这一点很重要 p. vii。以 $C$ 乘 $R$ 的第 3 列为例，先预览两种方式：

这两种视角在后面各有大用：「按列」引出列空间，「按行」引出 P4 的零空间（与每一行都垂直的向量）。

每遇到一个独立列，$C$ 就多一列、$R$ 就多一行；遇到组合列，只在 $R$ 里多写一列配方。扫完之后，$C$ 的列数就是独立列的个数 $r$，而 $R$ 在独立列的位置上正好是单位矩阵的各列。试试「第一列是零向量」：零向量永远不独立（它是「0 份任何东西」）。

A = CR 告诉了我们什么 What the factorization shows

• 形状：$C$ 是 $m\times r$，$R$ 是 $r\times n$，其中 $r$ 是独立列的个数。原书例子是 $(3\times4)=(3\times3)(3\times4)$，$r=3$。
• 列空间：$A$ 的每一列都是 $C$ 的列的组合，所以 $A$ 的列空间就是 $C$ 的 $r$ 个独立列的全部组合。
• 配方：$R$ 在独立列的位置上是单位矩阵的各列（「用自己 1 份」），在其余位置记录依赖关系。
• $r$ 的地位：下一节 P4 会看到，四个基本子空间的维数全部由 $m$、$n$ 和这个 $r$ 决定。

讲到这里，Strang 停下了：序言的本意是介绍全景。接下来的两页给出组织这门学科的两种方式——四个基本子空间（P4）与五大矩阵分解（P5）——尤其是前七章，它们已经足够（甚至超出）大多数线性代数课程的容量；之后是选修章节，一直通向当今应用中最活跃的方向：深度学习（P6）p. vii。

P4 四个基本子空间 The Four Fundamental Subspaces

列空间只是故事的四分之一。这一节回答：每一个矩阵还自带哪三个「空间」？它们住在哪里、有多大（维数）、彼此是什么关系？答案就是 Strang 最著名的那幅图——大图（The Big Picture）。

行空间：所有行的组合 The row space

「当我们取 $n$ 列的所有组合、$m$ 行的所有组合——这些组合就填满了向量的『空间』。」例如 3×2 矩阵 $A=[a_1\ a_2]$ 的三行 $(2,1)$、$(3,4)$、$(1,2)$ 都是二维向量，前两行方向不同，所以它的行空间是整个平面 $\mathbb R^2$；而它的列空间是 $\mathbb R^3$ 中的一个平面。两个空间不在同一个地方，却都是「二维」的——这不是巧合，见下文的「惊人事实」。

零空间：与所有行垂直 The nullspace

另外两个子空间把图补完整。设行空间是三维空间里的一个平面，那么 3D 图中就有一个特殊的方向——与行空间垂直的方向。这条垂直的直线就是矩阵的零空间(nullspace) p. viii。

原书封面上画的正是这种几何：任何向量 $x$ 都能拆成行空间里的 $y$ 加上零空间里的 $z$，即 $x=y+z$；因为 $Az=\mathbf 0$，所以 $Ax=Ay=b$。下面用刚才的 2×3 矩阵把封面图做成可以转动的 3D 模型。

$z$ 总落在零空间那条直线上，所以 $Az=0$；于是 $Ax=Ay+Az=Ay$——$x$ 和它在行空间里的那一部分 $y$ 被 $A$ 送到同一个 $b$。「侧着看」时，行空间缩成一条线，与零空间那条线正好垂直；「顺着零空间看」时，零空间缩成一个点，$x$ 与 $y$ 的影子重合。

Aᵀ 的零空间：与所有列垂直 The nullspace of Aᵀ

「如果与所有行垂直的向量很重要，那么与所有列垂直的向量也同样重要。」p. viii 把 $A$ 转置(transpose)——行变成列——得到 $A^{\mathsf T}$；与 $A$ 的所有列都垂直的向量正是 $A^{\mathsf T}y=\mathbf 0$ 的解，所以这个空间叫做 $A^{\mathsf T}$ 的零空间(nullspace of Aᵀ)。它和列空间一起住在 $\mathbb R^m$ 里。

例：3×2 矩阵 $A=[a_1\ a_2]$ 的列空间是 P1 的平面，与两列都垂直的方向又是 $(2,-3,5)$。所以 $A^{\mathsf T}$ 的零空间是 $\mathbb R^3$ 中方向为 $(2,-3,5)$ 的那条直线。难怪和上一个例子答案相同——上面那个 2×3 矩阵其实就是这个 $A$ 的转置 $A^{\mathsf T}$。

大图：四个子空间和它们的维数 The Big Picture

下面是序言中的「四个基本子空间」图的互动版。Strang 的原图画的是：左边 $n$ 维空间里，行空间（维数 $r$，「各行的组合」）与零空间（维数 $n-r$，「与各行垂直」）成直角；右边 $m$ 维空间里，列空间（维数 $r$，「各列的组合」）与 $A^{\mathsf T}$ 的零空间（维数 $m-r$，「与各列垂直」）成直角。图题：一个有 $r$ 个独立列的 $m\times n$ 矩阵的四个基本子空间 p. viii。

左边两块的维数加起来总是 $n$，右边两块加起来总是 $m$；行空间与列空间的维数永远相同（都是 $r$）。当 $r=n$ 时零空间缩成一个点（只有零向量，各列独立）；当 $r=m$ 时 $A^{\mathsf T}$ 的零空间缩成一个点，列空间就是整个 $\mathbb R^m$。

应用这个事实：原书的 3×4 矩阵只有 3 行，所以最多 3 个独立行，也就最多 3 个独立列——4 列之中必然有一列是组合（P2 的误区一）。

P5 矩阵的五大分解 Five Factorizations of a Matrix

这一节讲的是全书的组织原则：把一个矩阵拆成几个更简单的矩阵相乘。「当矩阵有某种特殊性质时，这些分解会把它显示出来。一章接一章，它们用直接而有用的方式表达每一章的核心思想。」p. ix 你可以把五大分解当成全书的五个「路标」。

序言列出了分别出自第 1、2、4、6、7 章的五个分解 p. ix，封底又给每个因子写了一句说明：

逐个用大白话说一遍：

• $A=CR$（第 1 章）：P3 已经见过——「独立的列 × 配方」。它揭示的是列空间与秩。
• $A=LU$（第 2 章）：消元法解 $Ax=b$ 的记账方式。$L$（lower）记录消元时每一步减去了几倍的哪一行，$U$（upper）是消元后得到的上三角矩阵。
• $A=QR$（第 4 章）：把 $A$ 的列「扶正」成互相垂直的单位向量（$Q$），$R$ 记录怎样把它们组合回原来的列。
• $S=Q\Lambda Q^{\mathsf T}$（第 6 章）：字母 $S$ 代表对称矩阵(symmetric matrix)，即 $S^{\mathsf T}=S$。它的特征向量(eigenvectors)可以选成互相垂直的单位向量（放进 $Q$），特征值(eigenvalues)都是实数（放进对角矩阵 $\Lambda$）。封底的等价写法 $SQ=Q\Lambda$ 按列读就是 $Sq_k=\lambda_kq_k$：$S$ 作用在特征向量上只是把它伸缩 $\lambda_k$ 倍。
• $A=U\Sigma V^{\mathsf T}$（第 7 章）：奇异值分解。封底的等价写法 $AV=U\Sigma$ 按列读就是 $Av_k=\sigma_ku_k$：$A$ 把一组互相垂直的输入方向 $v_k$ 送到一组互相垂直的输出方向 $u_k$，并伸缩 $\sigma_k$ 倍。

正交矩阵：完美 Orthogonal matrices are the winners

「越往下，分解越有用。正交矩阵最终是赢家，因为它们的列是互相垂直的单位向量。那就是完美。」p. ix

请特别注意最后一个：SVD The Singular Value Decomposition

「请允许我提请你注意最后一个。它是奇异值分解(Singular Value Decomposition, SVD)。」p. ix 序言对它的描述可以归纳为四句：

1. 它适用于每一个矩阵 $A$——方的、长方的、可逆的、奇异的都行。
2. 因子 $U$ 和 $V$ 的列互相垂直、长度都是 1（正交矩阵）。
3. 任何向量乘以 $U$ 或 $V$，长度都不变——计算不会爆炸，也不会塌缩。
4. $\Sigma$ 是由正的「奇异值(singular values)」组成的对角矩阵。

Strang 的恳请：如果你在第 6 章学了特征值和特征向量，请再往后翻几页，读到 7.1 节的奇异值。

$L$、$U$、$R$ 的三角形「空白」一目了然；$\Lambda$、$\Sigma$ 只有对角线有数。对称正定的 [[2, 1], [1, 2]] 的 SVD 与 $Q\Lambda Q^{\mathsf T}$ 完全相同；旋转矩阵的 $QR$ 中 $R=I$、SVD 中 $\Sigma=I$——它本身已经「完美」。秩 1 矩阵的列不独立，$QR$ 做不下去，但 $CR$ 和 SVD 照样成立；左上角为 0 的矩阵不交换行就无法做 $LU$。

第 ① 步和第 ③ 步是正交矩阵：圆转来转去仍是同一个圆，两根标记向量的长度始终是 1 或保持不变；只有第 ② 步 $\Sigma$ 改变长度，伸缩倍数就是奇异值 $\sigma_1,\sigma_2$，也就是最终椭圆的两个半轴长。选「旋转 Q(θ)」时 $\sigma_1=\sigma_2=1$：整个过程只有旋转，圆始终是单位圆。

P6 深度学习 Deep Learning

「要呈现线性代数的真实面貌，就必须把应用包括进来。完整是完全不可能的。」p. ix 而此刻应用数学的主导方向有一个特殊的要求：它不能完全是线性的！这一节看看这个方向——深度学习——想解决什么问题，以及它为什么偏爱「分段线性」的函数。

从数据中学习 Learning from data

这个方向的一个名字就是「深度学习」(deep learning)。它是解决一个基本科学问题的极其成功的方法：从数据中学习。很多时候数据以矩阵的形式出现，我们的目标是看进矩阵内部，找出变量之间的联系。过去我们解矩阵方程或微分方程，它们表达的是已知的输入-输出规则；而现在，这些规则本身需要我们去找 p. ix。

为什么不能是线性的：分段线性 F is piecewise linear

深度学习的成功部分来自学习函数 $F$ 的形式——它能容纳海量的数据。序言的结论很干脆：归根结底，线性函数 $F$ 完全不够用；最受青睐的选择是分段线性(piecewise linear)函数，它把简单与通用结合在了一起 p. ix。

最简单的分段线性「积木」叫 ReLU(rectified linear unit)：$\mathrm{ReLU}(t)=\max(0,t)$——左边是 0，右边是斜率为 1 的直线，只在 $t=0$ 处折一次。把几块平移、缩放后的 ReLU 加起来，就能在指定的位置折弯：

每个系数 $c_k$ 恰好是函数在折点 $b_k$ 处斜率的改变量；所有在这些折点处拐弯的折线都能这样写出来。下面的演示用这些 ReLU 积木去拟合一组弯曲的数据——这就是「学习权重」的一个最小模型。正文第 10 章「Learning from Data」的 10.1 节就叫「分段线性学习函数」，第 9 章则讲怎样计算这些权重（优化、反向传播与随机梯度下降）。

K = 0 时 $F$ 是线性函数，怎么放都穿不过弯曲的数据——序言说的「线性完全不够用」。加上几个折点后，$F$ 贴住了训练数据，而且在空心的测试点上误差也很小：这正是「换成没见过的数据，$F$ 仍然接近正确」。紫色细线是一块块 ReLU 积木（已乘上各自的权重），把它们与直线部分加起来就是蓝色的 $F$。

P7 书中与网站上的应用 Applications in the Book and on the Website

Strang 希望这本书在线性代数课结束很久以后仍然对你有用——让这成为可能的，正是线性代数的各种应用。矩阵承载数据，另一些矩阵对这些数据进行运算。目标是通过理解矩阵的特征值与特征向量、奇异值与奇异向量，来「看进矩阵内部」p. x。每类应用都有自己的特殊矩阵，序言举了四个例子：

马尔可夫：只要 $p$、$q$ 不同时为 0、也不同时为 1，分布就趋向同一个稳定状态（它满足 $Mu=u$，是特征值为 1 的特征向量）；$p=q=1$ 时会来回振荡。关联矩阵：每行恰好一个 $-1$、一个 $+1$，所以每行之和为 0，全 1 向量 $(1,1,1,1)$ 在零空间里——应用中的矩阵同样有四个子空间。傅里叶：尖峰恰好出现在 $f_1$、$f_2$ 处，高度就是两个波的振幅。协方差：$\rho>0$ 时点云向右上倾斜、协方差为正；$\rho<0$ 时向右下倾斜；$\rho=0$ 时协方差约为 0。

优化：线性代数遇见微积分 Optimization: linear algebra meets calculus

深度学习中最关键的计算是求出矩阵形式的权重，为此正文第 9 章介绍优化(optimization)的思想。Strang 说，这是线性代数与微积分相遇的地方：因为 $F(x)$ 有很多个变量，「导数 = 0」在最小值点处就变成了一个矩阵方程 p. x。

网站上的内容 On the website

第 5 版的若干主题让出了位置，但并没有失去重要性——它们只是搬到了网上。第 6 版的网站（原书写作 math.mit.edu/linearalgebra）提供新版的样章与所有习题集的解答，并保存了第 5 版的这些章节 p. x：

正式开课前的三个小问题 Three questions before this course gets serious

序言最后留下了「一点小小的线性代数」——在课程正式开始之前的三个问题 p. x：

1. 在纸上画三条线段，长度分别为 $r$、$s$、$t$。这三个长度满足什么条件，才能把这些线段拼成一个三角形？（在这个问题里，三条线的方向可以自己选。）
2. 现在三条直线的方向 $u,v,w$ 是固定的，并且互不相同。但你可以把它们伸缩成 $au,bv,cw$，其中 $a,b,c$ 是任意的数。能否总是用这三个向量 $au,bv,cw$ 拼成一个封闭的三角形？
3. 线性代数不会停留在平面上！设三维空间中有四条方向各不相同的直线 $u,v,w,z$。能否总是选出数 $a,b,c,d$（不允许为零），使 $au+bv+cw+dz=\mathbf 0$？

先别急着看答案，用下面的演示自己试一试。完整的分析在本章末尾的习题 P.1–P.3 里。

问题 1 的关键是「最长的一条必须短于另外两条之和」。问题 2 中允许负数（反向伸缩）时总能闭合，而且 $(a,b,c)$ 可以整体乘同一个非零数；若只许用正数，「三个方向都在上半平面」就闭合不了。问题 3 在一般位置时四个系数都不为 0；但若 $u,v,w$ 共面而 $z$ 伸出平面，$z$ 的系数 $d$ 被迫为 0——答案是「不一定」。

P8 全书路线图 Contents

目录就是一张地图。这一节把序言里的每个想法「钉」到正文的章节上——以后读英文原书时，你会知道每个想法在哪里正式登场 p. iii–iv。序言说：前七章已经足够（甚至超出）大多数线性代数课程；之后是选修章节，一直通向深度学习 p. vii。

五大分解分布在第 1、2、4、6、7 章，四个子空间的故事贯穿第 3、4、7 章，而第 7 章（SVD）是两条主线的交汇点。第 8–10 章是选修，第 9、10 章把线性代数带到优化与深度学习。

本章小结

自测

各小节中已有 8 道题；这里再来 5 道综合题。

习题

原书序言没有习题，只有末尾的三个思考题。P.1–P.3 就是这三个问题的完整分析，P.4–P.9 为本导读自拟，覆盖序言的其他想法。

§1 消元的产物：rref(A) 与 A = CR Abstract & 1. Elimination and A = CR

这一节要回答：消元到底产出了什么？消元把 $A$ 化成一个简单得多的矩阵 $Z$。Strang 在算法结束的那一刻「按下暂停键」，追问 $Z$ 与 $A$ 的关系，并把答案写成一个矩阵分解：$A=CR$。

摘要：这篇短文要回答的问题 Abstract

如果矩阵 $A$ 的秩是 $r$，那么它的行阶梯形（消元的结果）在 $A$ 的前 $r$ 个独立列的位置上含有一个单位矩阵。问题是：剩下那些列里出现的矩阵 $F$ 该怎样解释？ AbstractStrang 的回答只有三句：

1. $F$ 乘以 $A$ 的前 $r$ 个独立列，就得到 $A$ 其余的 $n-r$ 个依赖列；
2. 于是 $F$ 揭示了原矩阵 $A$ 的行空间和零空间的基；
3. $F$ 是列-行分解 $A=CR$ 的关键。

预备：消元与简化行阶梯形 Elimination and the reduced row echelon form

消元(elimination)大概是线性代数里最古老的算法：通过系统地制造 0，把 $m$ 个方程 $Ax=b$ 化简 §1。它只用三种「行变换」（§3 细讲：把一行的倍数从另一行减去、交换两行、把一行除以它的第一个非零数），一直做到矩阵不能再化简为止。最终的形态有一个专门的名字：

原文的例子：第 1 行 + 第 2 行 = 第 3 行 A 3 by 4 example of rank 2

Strang 的例子是一个 3×4 矩阵，它的第 1 行加第 2 行恰好等于第 3 行：$(1,2,11,17)+(3,7,37,57)=(4,9,48,74)$。所以第 3 行没有带来任何新信息，消元必然把它消成全 0，秩 $r=2$ §1：

马上验证 $F$ 的「配方」含义：$F$ 的第 1 列是 $(3,4)$，第 2 列是 $(5,6)$，而

在 $Z$ 里一眼就能读出的关系（$Z$ 的第 3 列 $=3\times$第 1 列 $+\,4\times$第 2 列），在 $A$ 里同样成立，只不过藏在一堆大数字后面。消元的作用，就是把这些关系「晒」出来。

Z 与 A 是什么关系？How is Z related to A?

Strang 在这里暂停算法，提出本文的第一个问题：$Z$ 与 $A$ 有什么关系？一种回答来自与 $A$ 相关的基本子空间 §1：

这正是我们做消元的初衷：「化简矩阵 $A$，而不丢失它包含的信息。」对方程右边的 $b$ 做同样的步骤，就得到 $Zx=d$——解 $x$ 完全相同，矩阵却简单得多 §1。

消元把 A 分解成 C 乘 R Elimination factors A into C times R

这篇短文的目标，是换一种方式表达消元的结果。Strang 说：这个分解不可能是新的，但值得重新强调 §1。

乘积 $CR$ 既可以按列读，也可以按行读——两种读法恰好分别解释了上表的答案 2) 和答案 1)。下面的演示让你逐列、逐行地点一点：

按列读时，$A$ 的每一列都是 $C$ 的 $r$ 列的组合——所以 $C$ 的列是列空间的基；按行读时，$A$ 的每一行都是 $R$ 的 $r$ 行的组合——所以 $R$ 的行是行空间的基。同一个 $r$ 同时数出了独立列与独立行，这就是下面的「列秩 = 行秩」。例 1 中按行读第 3 行：系数 $(4,9)$ 正是 $C$ 的第 3 行。

§2 与算法无关的描述：A = C [I F] P 2. C and R independent of the algorithm

§1 里的 $C$ 和 $R$ 是「消元算出来的」。这一节换个角度：先不管用什么算法，$C$ 和 $R$ 本来就由 $A$ 唯一确定 §2。行变换只是找到它们的一种手段（§3）。弄清这一点，rref 里每一块的意义就一目了然。

前 r 个独立列 The first r independent columns

从左到右扫描 $A$ 的列：如果这一列不是它前面各列的组合，就把它留下（独立列）；否则跳过（依赖列）。最后留下的 $r$ 列，就是「前 $r$ 个独立列」，它们组成 $C$。这个定义只看 $A$ 本身，与任何算法无关。注意两个小情形：第 1 列只要不是零向量就一定被留下；零向量列永远被跳过（它是「0 份前面的列」）。

把 (1) 读成一句话：$A$ 的列 = 独立列 + 依赖列，依赖列 = 独立列 × 配方，最后按原来的顺序排好。各块的形状如下：

置换矩阵 P 做了什么 The permutation matrix P

写成 $\begin{bmatrix}C & CF\end{bmatrix}$ 时，独立列被排到了最前面。如果 $A$ 的 $r$ 个独立列本来就在最前面，置换矩阵就是 $P=I$；否则需要 $P$ 把 $C$ 和 $CF$ 的 $n$ 列放回它们在 $A$ 中的正确位置 §2。

原文例 (2)：P 交换第 2、3 列 An example in which P exchanges columns 2 and 3

例 2 从左到右扫描：第 1 列 $(1,1)$ 留下；第 2 列 $(2,2)=2\times$第 1 列，跳过；第 3 列 $(3,4)$ 不是 $(1,1)$ 的倍数，留下；第 4 列 $(4,5)=(1,1)+(3,4)$，跳过。所以独立列是第 1、3 列，$F$ 的两列分别是第 2 列和第 4 列的配方 $(2,0)$ 与 $(1,1)$ (2)：

这里 $\begin{bmatrix}I & F\end{bmatrix}=\begin{bmatrix}1 & 0 & 2 & 1\\ 0 & 1 & 0 & 1\end{bmatrix}$ 是「排好队」的配方表，右乘

就把它的第 2、3 列互换，得到 $R=\begin{bmatrix}1 & 2 & 0 & 1\\ 0 & 0 & 1 & 1\end{bmatrix}$——正好是 $\mathrm{rref}(A)$。验证一列：$C$ 乘 $R$ 的第 4 列 $(1,1)$，得 $(1,1)+(3,4)=(4,5)$ ✓。

rref 里的本质信息 The essential information in rref(A)

$Z=\mathrm{rref}(A)$ 里真正的信息只有两样 §2：

1. 一张列号表：$A$ 的 $r$ 个独立列是哪几列（决定 $P$ 和 $C$）；
2. 矩阵 $F$（$r\times(n-r)$）：怎样把这些独立列组合成 $n-r$ 个依赖列 $CF$。

这两样东西都只由 $A$ 决定，而它们唯一地确定了 $Z$（§3 的式 (3)）。所以不管行变换按什么顺序做，最后的 rref 都是同一个——这就是「与算法无关」的含义。

排队时，配方一起移动：独立列的配方是单位向量，排在前面拼成 $I$；依赖列的配方排在后面拼成 $F$。所以 $\begin{bmatrix}C & CF\end{bmatrix}=C\begin{bmatrix}I & F\end{bmatrix}$ 只是「提出公因子 $C$」。$P$ 不改变任何数，只改变列的位置。「随机拼一个」时，消元找回的 $C$、$F$、$P$ 与拼装用的完全相同——这正是「$C$ 与 $R$ 由 $A$ 唯一确定」。

§3 用行变换求出 C 与 F 3. Row operations and rref(A)

§2 确认了分解 $A=CR$ 一定存在。可是怎样算出前 $r$ 个独立列（进入 $C$）、以及其余 $n-r$ 列的依赖关系 $CF$？Strang 说：这正是对 $A$ 做行变换的时刻 §3。

三种行变换 Three row operations

为了把 $A$ 化成简化行阶梯形 $Z=\mathrm{rref}(A)$，只允许三种操作 §3：

Strang 打趣说：所有线性代数老师，以及「一个正的比例」的学生，都熟悉这些步骤和它们的结果 $\mathrm{rref}(A)$ §3。三种操作都可以撤销（可逆）——这一点至关重要：可逆意味着不丢信息。

rref 的结构：式 (3) Elimination reduces A to Z = rref(A)

做完行变换，$\mathrm{rref}(A)$ 里含有一个 $r\times r$ 的单位矩阵 $I$（每个主元 1 的前面只能是 0）。$I$ 所在的位置，揭示了 $A$ 的前 $r$ 个独立列；而式 (1) 揭示了 $F$ 的意义：它告诉我们 $A$ 的 $n-r$ 个依赖列 $CF$ 怎样由 $C$ 中的独立列组合出来。$A$ 剩下的 $m-r$ 个「依赖的行」必定变成 $Z$ 中的零行 §3：

对照式 (1) 的 $A=C\begin{bmatrix}I & F\end{bmatrix}P$：同一个 $F$、同一个 $P$。也就是说，$Z$ 的上半部分就是 $R$，下半部分是 $m-r$ 行 0。

为什么 rref 能读出 A 的配方 Why the relations among columns survive

关键在于：行变换对每一列做的是同一件事。每一步行变换都等于左乘一个可逆矩阵，做完全部步骤，$Z=MA$，其中 $M$ 可逆。于是 $Z$ 的第 $j$ 列 $=M\times$（$A$ 的第 $j$ 列）。

• 如果 $A$ 中 $a_3=3a_1+4a_2$，两边左乘 $M$ 就得到 $z_3=3z_1+4z_2$；反过来，$M$ 可逆，左乘 $M^{-1}$ 又能退回去。所以列之间的线性关系在 $A$ 与 $Z$ 中完全相同：独立列在相同的位置，依赖列的配方也相同。
• 在 $Z$ 里，主元列是单位向量 $(1,0,0)$、$(0,1,0)$……，于是任何一列的配方直接就是这一列的数：$z_3=(3,4,0)=3(1,0,0)+4(0,1,0)$。这就是为什么 $F$ 可以从 $Z$ 里「抄」出来。

自拟矩阵 $A=\begin{bmatrix}1 & 1 & 7 & 11\\ 2 & -1 & 2 & 4\\ 3 & 0 & 9 & 15\end{bmatrix}$ 与例 1 有相同的 $F$（第 3 列 $=3a_1+4a_2$，第 4 列 $=5a_1+6a_2$），也有「第 3 行 = 第 1 行 + 第 2 行」，只是各列方向更分散，看得更清楚；例 1 的前两列夹角只有约 2°。一开始，$A$ 的列都落在平面 $z=x+y$ 上（因为第 3 行 = 第 1 行 + 第 2 行，每一列的第 3 个分量都等于前两个之和）；消元结束时，$Z$ 的列都落在平面 $z=0$ 上——列空间变了。可是在每一个中间时刻，依赖列都恰好是 $3\times$第 1 列 $+\,4\times$第 2 列：配方 $(3,4)$ 从头到尾没有变，到了 $Z$ 里它直接写在第 3 列上。这就是 $F$ 能从 rref 里「抄」出来的原因。

原文强调：行变换 (a)(b)(c) 都可逆。在主元行的上方和下方都做消元，就是 Gauss–Jordan 消元(Gauss-Jordan elimination)。不过，把 $A$ 化成阶梯形的那个矩阵 $M$ 并不重要，重要的是它揭示出来的分解 $A=CR$ §3。

Gauss–Jordan 的每个主元最后都变成 1，而且它所在的列上下都被消成 0；结束时主元列拼成 $I$，其余列（琥珀色）就是 $F$。在「需要交换行」的例子里，第 2 列在主元行下方全是 0——它没有主元，是依赖列，直接跳过。切换到 Gauss：只向下消元，停在上三角（阶梯形）$U$，用到的行变换更少——这就是 §5 末尾说的「只解方程时，停在 $U$ 更快」。

§4 逐列构造 rref：新列加入 I 还是 F 4. Column-by-column construction of rref(A)

在用 $A=CR$ 解 $Ax=0$（§5）之前，Strang 先给出一种逐列——从左到右、一次一列——由 $A$ 构造 $\mathrm{rref}(A)$ 的办法 §4。它把 §2 的「从左到右扫描」与 §3 的行变换合二为一：每处理一列，只需回答一个问题。

处理完前 k 列时的样子 After elimination on k columns

对前 $k$ 列做完消元后，矩阵的这一部分已经是它自己的 rref。现在轮到第 $k+1$ 列。把这一新列分成两段：上段 $u$ 位于已经有主元的那些行，下段 $\ell$ 位于其余各行 (4)：

下标 $k$ 表示「处理完前 $k$ 列」；$I_k$ 的大小等于这 $k$ 列中独立列的个数，$F_k$ 是已处理的依赖列的配方，$P_k$ 记录这些列在 $A$ 中的位置。

关键问题：加入 I 还是 F？Does column k + 1 join with I_k or F_k?

Strang 称之为「大问题」：新的第 $k+1$ 列是并入 $I_k$，还是并入 $F_k$？答案只取决于 $\ell$ §4：

扫描结束：一张「最理想的列号表」A most desirable list of column numbers

消元结束时，我们得到一张最理想的列号表：它列出了 $A$ 的前 $r$ 个独立列。这些列就是 $C$ 的各列，它们在 $A=CR$ 的行因子 $R$ 中产生了 $r\times r$ 单位矩阵 $I_r$ §4。下面的演示把这个过程一列一列地放慢：

在例 1 中，第 3、4 列来到时 $\ell$ 都已经是 0：它们的 $u$ 分别是 $(3,4)$ 与 $(5,6)$——正是 $F$ 的两列。注意右图始终保持式 (4) 的形状：左上是单位矩阵，下方是 0。在「选最大主元」的例子里勾选复选框：第 1 列会选 6 而不是 2 作主元，中间的分数完全不同，但最后的列号表和 $F$ 一模一样。

例 1 的逐列记录 The column-by-column record for example 1

把演示里例 1 的四步整理成一张表（「处理前」指处理这一列之前，矩阵中这一列的样子）：

注意第 3、4 列的 $u$：它们在处理第 1、2 列时被「顺带」算好了（Strang 说主元那一步「预计会改变后面的各列」），轮到它们时只需看一眼 $\ell$。这也说明了为什么逐列构造与 §3 一次性做完的 Gauss–Jordan 得到同一个结果——它们是同一串行变换，只是记账方式不同。

§5 F 给出零空间的基 5. The nullspace from F

把 $A$ 化成 $\mathrm{rref}(A)$ 究竟换来了什么？Strang 的回答是：行空间没有变！于是它的正交补——$A$ 的零空间——也没有变。$CF$ 的每一列说明 $A$ 的一个依赖列怎样由 $C$ 中的独立列组合出来；换个角度看，$F$ 的各列其实告诉了我们 $Ax=0$ 的 $n-r$ 个解 §5。这一节把这句话讲透。

原文的例子：2 个方程，4 个未知数 Solving Ax = 0 for the 3 by 4 example

例 1 的 $Ax=0$ 化简后只剩两个方程（第 3 个方程是前两个之和，自动成立，原文也只写了前两个）§5：

主元列对应的 $x_1,x_2$ 叫主元变量，其余的 $x_3,x_4$ 叫自由变量：自由变量可以随便取，主元变量随之确定——$x_1=-3x_3-5x_4$，$x_2=-4x_3-6x_4$。

• 取 $x_3=1,\ x_4=0$：$x=(-3,-4,1,0)$。注意 3 和 4 来自 $F$（$F$ 的第 1 列，带负号）。
• 取 $x_3=0,\ x_4=1$：$x=(-5,-6,0,1)$。5 和 6 是 $F$ 的第 2 列。

这两个解就是 $AX=0$ 中矩阵 $X$ 的两列（这个例子 $P=I$）§5：

F 同时给出行空间的基：RX = 0 Row space and nullspace from the same F

摘要说 $F$ 揭示了行空间和零空间的基。行空间的基就是 $R=\begin{bmatrix}I & F\end{bmatrix}P$ 的 $r$ 行（§1）；零空间的基是 $X=P^{\mathsf T}\begin{bmatrix}-F\\ I\end{bmatrix}$ 的 $n-r$ 列。两者用的是同一个 $F$，而且

$RX=0$ 的每一个元素都是「$R$ 的一行」与「$X$ 的一列」的点积，所以行空间的每个基向量都与零空间的每个基向量垂直——这正是 §1 中「零空间与行空间正交」的具体样子。例 1 中：$(1,0,3,5)\cdot(-3,-4,1,0)=-3+3=0$，$(0,1,4,6)\cdot(-3,-4,1,0)=-4+4=0$，$(1,0,3,5)\cdot(-5,-6,0,1)=-5+5=0$，$(0,1,4,6)\cdot(-5,-6,0,1)=-6+6=0$。维数也对得上：$r+(n-r)=n$，两个空间合起来正好填满 $\mathbb R^n$（第 1 章 P4 的「大图」）。

有置换时：例 2 When P is not I

例 2 的独立列是第 1、3 列，$F=\begin{bmatrix}2 & 1\\ 0 & 1\end{bmatrix}$。先按「独立列在前」的顺序 $(x_1,x_3,x_2,x_4)$ 写出 $\begin{bmatrix}-F\\ I\end{bmatrix}$，再用 $P^{\mathsf T}$ 把行放回 $(x_1,x_2,x_3,x_4)$ 的顺序（交换第 2、3 行）：

检验：$-2(1,1)+1\cdot(2,2)=(0,0)$，即第 2 列 = 2×第 1 列；$-(1,1)-(3,4)+(4,5)=(0,0)$，即第 4 列 = 第 1 列 + 第 3 列 ✓。$P^{\mathsf T}$ 的作用只是把「先排独立列」的变量顺序还原。

（自拟例子 $A=\begin{bmatrix}2 & 0 & 2 & -1\\ 0 & 1 & 3 & 2\end{bmatrix}$ 的第 3、4 列是 $a_3=a_1+3a_2$、$a_4=-\tfrac12a_1+2a_2$；原文两个例子的各列几乎同向，折线会很「扁」。）只要 $x$ 由 $X$ 的列组合而来（扰动 δ = 0），无论 $s,t$ 取什么，折线都回到原点：$Ax=0$。零空间是一个 $n-r=2$ 维的「系数空间」，自由变量就是它的两个坐标。一旦扰动主元变量，终点就偏离原点（红色箭头），偏离量恰好是 δ 乘以那个独立列——独立列无法被别的列「抵消」。

只想解方程？停在 U 更快 Gauss versus Gauss-Jordan

原文第 5 段最后提醒了效率问题：通向 $A=CR$ 的 Gauss–Jordan 消元，不如直接解 $Ax=b$ 的 Gauss 消元高效。Gauss 消元停在三角形方程组 $Ux=c$，再用回代(back substitution)求出 $x$；Gauss–Jordan 多出了「向上消元」的代价。如果只想解方程，停在三角分解更快 §5。

多出来的工作有多少？与其背公式，不如亲手数一数：

Gauss 中第 $i$ 行第 $j$ 列的数被改写 $\min(i,j)-1$ 次——越靠右下越多，主元上方的数很早就「定型」了。Gauss–Jordan 中第 $j$ 列的每个数都被改写 $j-1$ 次，主元上方也不例外：多出来的正是右上三角那片「向上消元」的工作。总次数分别是 $\tfrac{(n-1)n(2n-1)}{6}\approx\tfrac{n^3}{3}$ 与 $\tfrac{n^2(n-1)}{2}\approx\tfrac{n^3}{2}$，比值随 $n$ 增大趋近 $\tfrac32$——这就是数值线性代数里「Gauss–Jordan 多花约一半」的来历。

§6 分块消元：F = W⁻¹H 6. Block elimination

行变换一次只造出一个 0。站高一点、整块整块地看：rref 里那个 $r\times r$ 的单位矩阵 $I$ 告诉我们——某个 $r\times r$ 矩阵已经被求逆了。顺着这条线索走下去，就得到对消元的一种「矩阵式的理解」§6。

W 可逆时：消元的全部指令都来自 W Elimination takes all its instructions from W

设 $A$ 的前 $r$ 行与前 $r$ 列交叉处的矩阵 $W$ 可逆。那么消元的全部指令都来自 $W$！不论是一次消一个元素，还是用「分块消元」一次完成，$W$ 都会变成 $I$。也就是说，$A$ 的前 $r$ 行会变成 $I$ 和 $F$——这就确定了 $F=W^{-1}H$；而后 $m-r$ 行会变成零行 §6：

为什么后 $m-r$ 行一定变成 0？Strang 说这「只是在表达线性代数的事实」：如果 $A$ 的前 $r$ 行独立、而秩是 $r$，那么其余 $m-r$ 行都是这前 $r$ 行的组合 §6：

这里 $JW^{-1}$ 就是「行的配方」：它的每一行说明 $A$ 的一个下方行由上方 $r$ 行怎样组合。消元时，正是减去这些组合，这 $m-r$ 行才变成零行。

一般情形：用置换把 W 挪到左上角 Row and column permutations P_r and P_c

一般来说，左上角那个 $r\times r$ 块不一定可逆。但消元会找到 $W$：用行置换 $P_r$ 和列置换 $P_c$ 把它挪到左上角，于是分块消元到简化行阶梯形的完整表达式是 (7)

消元找到的 $W$，就是「主元最终所在的行」与「主元列」的交叉。以例 2 为例：主元列是第 1、3 列，$P_c$ 交换第 2、3 列，$W=\begin{bmatrix}1 & 3\\ 1 & 4\end{bmatrix}$，$W^{-1}=\begin{bmatrix}4 & -3\\ -1 & 1\end{bmatrix}$，$H=\begin{bmatrix}2 & 4\\ 2 & 5\end{bmatrix}$，于是 $W^{-1}H=\begin{bmatrix}2 & 1\\ 0 & 1\end{bmatrix}=F$ ✓（这里 $m=r$，没有 $J$、$K$）。

只用两步「块运算」就到达 rref：$W\to I$ 的同时 $H\to W^{-1}H=F$；$J\to 0$ 的同时 $K\to K-JW^{-1}H=0$。换一组上方的行（只要它们独立）：$W$、$W^{-1}$、$JW^{-1}$ 都变了，但 $W^{-1}H$ 始终等于同一个 $F$——因为 $F$ 是「列的配方」，与用哪几行去求它无关。若选的行不独立，$W$ 不可逆，分块消元就卡住了（§7 会说明：独立的行配独立的列，交叉处一定可逆）。

§7 交叉子矩阵 W 必可逆 7. The r by r intersection W is invertible

§6 引出了一个有趣的问题 §7。$A$ 的秩是 $r$，所以它有 $r$ 个独立的行，也有 $r$ 个独立的列。把这些行组成子矩阵 $B$（$r\times n$），这些列组成子矩阵 $C$（$m\times r$）。它们的 $r\times r$「交叉」$W$——既在所选行、又在所选列上的那些数——一定可逆吗？

大家都同意：$A$ 的某个地方一定藏着一个 $r\times r$ 的可逆子矩阵。问题是，$B$ 与 $C$ 的交叉 $B\cap C$ 能不能保证就是这样一个子矩阵？$W$ 会不会自动满秩？

「大家都同意」的那一半很容易看出：先任取 $r$ 个独立行组成 $B$；由列秩 = 行秩，$B$ 的列秩也是 $r$，所以 $B$ 中能挑出 $r$ 个独立的列，它们组成的 $r\times r$ 方阵可逆。可这样挑出的列是为 $B$ 量身定做的。§7 要问的是更强的结论：先独立地挑好 $r$ 个独立列（比如消元给出的主元列），再随便配上任意 $r$ 个独立行——交叉还可逆吗？

证明：只有四句话 Proof

Strang 的证明只有四句。下面的步骤播放器一句一句地配图解释，右下方用 4×5 例子的具体数字跟着走一遍（行取第 1、3 行，列取第 3、5 列）：

两个不能省的条件 Both conditions matter

这个定理也解释了 §6：消元找到的 $W$（主元行 × 主元列）只是众多可逆交叉中的一个。任何一组独立行配任何一组独立列都行——下面的实验可以让你亲手验证。

只要挑的是 $r$ 个独立行和 $r$ 个独立列，$\det W$ 永远不是 0——500 次实验 500 次可逆。随意挑时，一旦碰上「第 1、2 行」或「第 1、2 列」这样的相关组，$W$ 就不可逆（4×5 例子中约四分之一的挑法如此）。切到「k < r 的反例」，只选第 1 行和第 2 列：两者各自都独立，交叉处却是 0。

本章小结

常见疑问 FAQ

符号速查 Notation

这些想法在正文哪里展开 Where the book develops these ideas

根据第 6 版的目录，这篇短文的每个想法在正文里都有对应的小节（页码为原书页码）：

综合例题：一个 4×5 矩阵走完全章 One matrix through all seven sections

把 §1–§7 串起来用一遍。矩阵用 §6、§7 演示里的 4×5 矩阵（秩 2；第 2 行 = 2×第 1 行，第 4 行 = 2×第 1 行 + 第 3 行）：

对照原文：十二句关键话 Key sentences of the paper

以后读英文原文时，抓住这几句就抓住了全文（左列是原文，右列是本章的说法）：

自测

先用一个随机练习热身：它每次生成一个新矩阵，你自己找独立列、读出 $F$，演示会逐列告诉你对错和原因。然后是 4 道综合选择题（前面各节已经穿插了 14 道）。

判断独立列只需要「从左到右」：第 1 列只要不是 0 就独立；之后每一列，看它能否由前面已选出的独立列组合出来。填 $F$ 时，每个依赖列的配方只用到它左边的独立列，右边独立列对应的位置一定是 0。

习题

原文没有习题；下面 11 道题按 §1–§7 的顺序自拟，每题附提示与完整解答。建议先动手算，再对照演示检查。