向量空间

1. 向量空间

$a.$ 定义

向量空间的定义如下：一个向量空间是一个由“向量”组成的集合，在这个集合中，我们进行如下运算：

1. 向量加法：空间内的任意两个向量相加，结果仍然在这个空间内。
2. 标量乘法：空间内的任意一个向量乘以一个实数（标量），结果仍然在这个空间内。

这里的 “结果仍然在这个空间内” 被称为封闭性。

这里的“向量”是一个广义的概念。任何满足向量空间运算规则的对象都可以被称为向量。

一个检验某个东西是否为向量空间的简便方法是看它包不包含零向量。因为当标量乘法的标量为 0 时返回的就是零向量。

$b.$ 子空间

一个向量空间 $S$ 如果位于另一个更大的向量空间 $V$ 内部，那么 $S$ 就被称为 $V$ 的一个子空间。子空间本身也必须是一个完整的向量空间。

2. 列空间与行空间

$a.$ 生成子空间

对于一个取自向量空间 $V$ 的向量集合 $S$，$S$ 的张成空间是由 $S$ 中向量的所有有限线性组合构成的集合：

$$\operatorname{span}(S)=\left\{\sum_{k=1}^m \alpha_k s_k:\; m\in\mathbb{N},\; s_k\in S,\; \alpha_k\in\mathbb{R}\right\}.$$

容易证明列空间是一个子空间。

$b.$ 矩阵的列空间

一个矩阵 $A$ 的列空间是由 $A$ 的所有列向量的线性组合构成的集合，记作 $C(A)$：

$$C(A)=\operatorname{span}\{a_1,\dots,a_n\}=\{A w:\; w\in\mathbb{R}^n\}.$$

这与解线性方程组 $Ax=b$ 的形式是一样的，于是解 $Ax=b$ 的问题转化成了 $b$ 是否落在列空间中，有：

$$Ax=b \text{ has a solution } \Leftrightarrow \,\, b\in C(A).$$

$c.$ 矩阵的行空间

同样地，一个矩阵的行空间是由它的所有行向量生成的子空间。

一个巧妙的转换是 $R(A)=C(A^T)$，这样我们就可以将对行空间的分析转换为对列空间的分析。

3. 零空间

$a.$ 定义

矩阵 $A$ 的零空间 $N(A)$ 是所有满足方程 $Ax = 0$ 的解向量 $x$ 所构成的集合：

$$N(A)=\{\,x\in\mathbb{R}^n:\;A x=0\,\}.$$

容易证明零空间也是一个子空间。

注意：零空间和列空间的位置是不一样的，对于 $m \times n$ 矩阵：

• 解向量 $x$ 有 $n$ 个分量，零空间 $N(A)$ 是 $\mathbb{R}^n$ 的一个子空间。
• 列向量有 $m$ 个分量，列空间 $C(A)$ 是 $\mathbb{R}^m$ 的一个子空间。

$b.$ 零空间的描述方法

描述零空间的方法是找出零空间的基向量，我们称之为特殊解（Special Solutions）。零空间中的任何一个解，都可以表示为这些特殊解的线性组合。例如下面的方程：

$$A=\begin{bmatrix}1&2&3\end{bmatrix},\quad Ax=0\Leftrightarrow x+2y+3z=0.$$

的解可以写成下面的形式：

$$s_1=\begin{bmatrix}-2\\[4pt]1\\[4pt]0\end{bmatrix},\qquad s_2=\begin{bmatrix}-3\\[4pt]0\\[4pt]1\end{bmatrix},$$

从而 $A$ 的零空间为：

$$N(A)=\operatorname{span}\{s_1,s_2\},$$

$c.$ 特殊解计算的详细步骤

特殊解的计算步骤如下：

1. 对矩阵 $A$ 进行消元，得到它的行简化阶梯形矩阵（Reduced Row Echelon Form, RREF）$R$。
2. 在 $R$ 中，找到主元列和自由列。对应的变量就是主元变量和自由变量。
3. 有几个自由列，就有几个特殊解。每次将一个自由变量设为 1，其他自由变量设为 0，然后解出所有主元变量即可。

我们以下面的矩阵为例，详细讲讲怎么计算矩阵的特殊解。给定矩阵

$$A=\begin{bmatrix} 1 & 2 & 3 & 5\\[4pt] 2 & 4 & 8 & 12\\[4pt] 3 & 6 & 7 & 13 \end{bmatrix}.$$

首先进行消元如下：

$$\begin{aligned} A &= \begin{bmatrix} 1 & 2 & 3 & 5\\[4pt] 0 & 0 & 2 & 2\\[4pt] 0 & 0 & -2 & -2 \end{bmatrix} \quad\longrightarrow\quad \mathrm{REF}=\begin{bmatrix} 1 & 2 & 3 & 5\\[4pt] 0 & 0 & 2 & 2\\[4pt] 0 & 0 & 0 & 0 \end{bmatrix}\\[6pt] &\quad\longrightarrow\quad \operatorname{RREF}(A)=\begin{bmatrix} 1 & 2 & 0 & 2\\[4pt] 0 & 0 & 1 & 1\\[4pt] 0 & 0 & 0 & 0 \end{bmatrix}. \end{aligned}$$

然后找出 $R$ 的主元。主元位于第 1 列与第 3 列，因此：

• 主元变量为 $x_1$、$x_3$
• 自由变量为 $x_2$、$x_4$

我们为每个自由变量构造一个特殊解。对 $Rx=0$ 对应的方程组：

$$\begin{cases} x_1 + 2x_2 + 0\cdot x_3 + 2x_4 = 0,\\[4pt] 0\cdot x_1 + 0\cdot x_2 + x_3 + x_4 = 0. \end{cases}$$

设 $x_2=1,\;x_4=0$，得到第一个特殊解：

$$s_1=\begin{bmatrix}-2\\[4pt]1\\[4pt]0\\[4pt]0\end{bmatrix}.$$

设 $x_4=1,\;x_2=0$，得到第二个特殊解：

$$s_2=\begin{bmatrix}-2\\[4pt]0\\[4pt]-1\\[4pt]1\end{bmatrix}.$$

于是 $A$ 的零空间就可以由这两个特殊解张成：

$$N(A)=\operatorname{span}\{s_1,s_2\} =\left\{c_1\begin{bmatrix}-2\\[4pt]1\\[4pt]0\\[4pt]0\end{bmatrix} +c_2\begin{bmatrix}-2\\[4pt]0\\[4pt]-1\\[4pt]1\end{bmatrix}:\;c_1,c_2\in\mathbb{R}\right\}.$$

$d.$ 对 RREF 的进一步探讨

我们可以将 RREF 矩阵 $R$ 写成如下分块形式：

$$R=\begin{bmatrix}I_r & F\\[4pt]0 & 0\end{bmatrix},$$

其中 $I_r$ 是主元列所在的 $r\times r$ 单位矩阵，$F$ 是对应的 $r\times (n−r)$ 矩阵，下方若有零行则为零。

更准确地说，应该按列把矩阵分成“主元列集合”和“自由列集合”，写成列并排的形式：

$$R=[\;C_{\text{piv}}\;\mid\;C_{\text{free}}\;],$$

然后我们可以用如下的方法快速构造特殊解向量：若 $x=(x_{\text{piv}},x_{\text{free}})^T$，由 $Rx=0$ 有：

$$x_{\text{piv}} + F\,x_{\text{free}}=0\Rightarrow x_{\text{piv}} = -F\,x_{\text{free}}.$$

只需取 $-F$ 的列填入主元行，自己在自由位取 $1$。

例如对下面的矩阵：

$$R=\begin{bmatrix}1&0&4&8\\[4pt]0&1&-1&-1\end{bmatrix},$$

$F=\begin{bmatrix}4&8\\-1&-1\end{bmatrix}$。主元行为 1、2，则特殊解为：

$$s_1=\begin{bmatrix}-4\\[4pt]1\\[4pt]1\\[4pt]0\end{bmatrix},\qquad s_2=\begin{bmatrix}-8\\[4pt]1\\[4pt]0\\[4pt]1\end{bmatrix},$$

4. 矩阵的秩

$a.$ 定义与性质

矩阵的大小由它的行数 $m$ 和列数 $n$ 决定，但这并不代表一个线性系统的“真实大小”。例如，一个 0=0 的方程是无效信息，一个重复的方程也应该被去掉。由此，我们引出秩的概念。

一个矩阵 $A$ 的秩 $r$（Rank）是 $A$ 在经过行消元后，主元（pivot）的数量。等价的描述还有：

• RREF中非零行的数量
• 主元列的数量

例如下面的矩阵的秩为 2：

$$A=\begin{bmatrix}1&1&2&4\\[4pt]1&2&2&5\\[4pt]1&3&2&6\end{bmatrix} \rightarrow R=\operatorname{RREF}(A)=\begin{bmatrix}1&0&2&3\\[4pt]0&1&0&1\\[4pt]0&0&0&0\end{bmatrix}.$$

秩告诉我们矩阵中真正独立的信息量。

秩与自由列、特殊解有如下特殊关系：

• 若矩阵 $A$ 有 $n$ 列且秩为 $r$，则其自由列的数量与特殊解的数量均为 $n-r$。

$b.$ 秩一矩阵

秩为 1 的矩阵结构非常特殊和简单：它只有一个主元。消元后，只有第一行是非零行，其他所有行都会变成全零。这意味着每一行都是主元行的倍数。同时，每一列也都是主元列的倍数。

因此，任意一个秩一矩阵都可以被写成下面的形式：

$$A = uv^T,$$

其中 $u$、$v$ 为列向量。

例如：

$$A=\begin{bmatrix}1&3&10\\[4pt]2&6&20\\[4pt]3&9&30\end{bmatrix} =\begin{bmatrix}1\\[4pt]2\\[4pt]3\end{bmatrix} \begin{bmatrix}1&3&10\end{bmatrix}=uv^T.$$

由外积的几何定义，可以从几何角度理解如上表达式：

• $A$ 的列空间 $C(A)$ 是一条直线，方向为 $u$；
• $A$ 的行空间是一条直线，方向为 $v$；
• $A$ 的零空间 $N(A)= \lbrace x:\;v^T x=0 \rbrace$ 是与 $v$ 正交的超平面。

$c.$ 对消元过程的进一步理解

根据秩中引入的“矩阵有效信息”概念，我们可以将对矩阵的高斯消元与高斯——若尔当消元理解成对矩阵列/行是否带来新信息的判断：

• 关于列：第 $j$ 列是否为之前列的线性组合？
  • 若该列在消元后出现主元，则“不是”，该列是主元列（提供了新的信息）。
  • 若无主元，则“是”，该列为自由列（冗余，没有提供新的信息）。
• 关于行：第 $i$ 行是否为之前行的线性组合？
  • 若该行在消元后非零（含主元），则它提供新信息；若变为全零，则该行是其他行的线性组合。

从 $A\to U$（高斯消元）的操作让我们能够识别哪些列是主元列、哪些是自由列；而从 $U\to R$（高斯—若尔当消元）则把这种关系量化：$R$ 明确给出每个自由列相对于主元列的线性组合系数。

5. 线性无关

$a.$ 定义

线性无关有两个角度的定义：

• 从矩阵和方程解的角度：当方程 $Ax = 0$ 的唯一解是 $x = 0$ 时，矩阵 $A$ 的列向量是线性无关的。

• 从向量线性组合的角度：当 $\sum _{i=1} ^n x_iv_i=0$ 这个等式成立的唯一条件是 $x_1, x_2, ..., x_n$ 时，我们称向量 $v_1, ..., v_n$ 是线性无关的。

$b.$ 判定方法

判断向量线性无关的方法和判断零空间解的存在性类似。

• $n > m$ 方法：如果向量的个数 $n$ 大于它们所在空间的维度 $m$，那么这组向量必然是线性相关的。
• 秩方法：我们将 $n$ 个向量作为矩阵 $A$ 的列，计算矩阵的秩 $r$。如果 $r < n$，则这组向量是线性相关的。

6. 基

$a.$ 定义

一个向量空间的基 (Basis) 是一组向量，它同时满足以下两个条件：

1. 这组向量是线性无关的 (没有冗余)。
2. 这组向量生成整个空间 (足够覆盖所有角落)。

对于空间中的任何一个向量 $v$，都可以被一组基 $v_1, ..., v_n$ 表示，并且表示的方式是唯一的。

$b.$ 一些例子

• 标准基 ：$n \times n$ 单位矩阵 $I$ 的列向量构成了 $R^n$ 的标准基。

• 任何一个 $n \times n$ 的可逆矩阵，其所有列向量必然构成 $R^n$ 的一组基。这是因为：
  1. 因为矩阵可逆，所以 $Ax=0$ 只有 $x=0$ 这一个解，这正是列向量线性无关的定义。
  2. 因为矩阵可逆，所以对于任何向量 $b$，方程 $Ax=b$ 总是有唯一解 $x = A^{-1}b$，这意味着任何 $b$ 都可以表示为 $A$ 的列的线性组合，所以列向量生成整个 $R^n$。

$c.$ 基的求解

对 $A$ 做消元得到 $R$，则：

• 找到主元列的列索引，则 $A$ 中索引对应的列向量构成列空间的基。

• 所有非零行构成行空间的基。

下面我们证明一下列空间的基的正确性。线性无关性是显然的，这是由消元操作决定的。

然后我们讨论第二个条件。对于原有的主元列，显然可以表示（就是基向量自己）。对于其他自由列，由消元过程有：

$$r_j = \sum _{i=1}^kc_kr_{jk}, \,\, \forall j$$

然后我们使用变换 $EA=R$ 的逆变换 $E^{-1}$，两边同乘 $E^{-1}$，即得：

$$a_j = \sum _{i=1}^kc_ka_{jk},\,\, \forall j$$

因此 $A$ 所有的列向量都可以用这些选定的列来表示。

对于行向量，由于消元操作并不会修改行，因此直接选取 $R$ 的非零行即可。

下面举一个具体的例子。给定

$$A=\begin{bmatrix}1&2&3\\[4pt]2&4&6\end{bmatrix},$$

RREF 为

$$R=\begin{bmatrix}1&2&3\\[4pt]0&0&0\end{bmatrix}.$$

• 主元列索引为 1，因此列空间基可取原矩阵的第 1 列：

$$\{[1,2]^T \}$$

• 行空间基取 $R$ 的非零行：

$$\{[1,2,3]\}$$

7. 维度

$a.$ 定义

一个向量空间的维度 (Dimension)，就是这个空间的任意一组基中所包含的向量的数量。

维度精确地衡量了一个空间的“大小”或“自由度”。

下面我们证明对于我们选取的不同基向量，它们的个数是相同的。假设我们有两组基 $V= \{v_1,\dots,v_m\}$，$W=\{w_1,\dots,w_n\}$，并且 $n > m$。

由 $V$ 为基，$V$ 可以张成整个空间，因此 $W$ 中的所有向量都可以用 $V$ 的向量线性表示，我们将这些表示写成矩阵形式：

$$W=VA$$

其中

• $W$ 为以 $w_1,\dots,w_n$ 为列的矩阵（大小与其向量空间相对应）；
• $V$ 为以 $v_1,\dots,v_m$ 为列的矩阵；
• $A$ 为一个 $m\times n$ 的系数矩阵，第 $j$ 列即为表示 $w_j$ 在 $V$ 基下的系数。

因为 $n > m$，$n$ 为“矮胖型”矩阵，方程

$$Ax=0$$

有非零解。设为 $x_0$，则有

$$Wx_0=VAx_0=0$$

于是 $x_0$ 为方程

$$\sum _{i=0} ^{n} w_ix_i = 0$$

的非零解，这说明 $W$ 内向量线性相关。矛盾！

$b.$ 基本子空间的维度

• $\dim(C(A)) = r$：列空间的基是由主元列构成的，主元的数量就是秩 $r$。
• $\dim(N(A)) = n - r$：零空间的基是由特解构成的，而特解的数量等于自由变量的数量 $n - r$。