7.4 奇异值分解

5.3节和7.1节的对角化定理在许多应用中均很重要，然而，如我们所知，不是所有矩阵都有分解式 $A=PD{P}^{-1}$ ，且 $D$ 是对角的。但分解 $A=QD{P}^{-1}$ 对任意 $m\times n$ 矩阵 $A$ 都有可能！这类特殊分解称为奇异值分解，是线性代数应用中最有用的矩阵分解。

奇异值分解基于一般的矩阵对角化性质，可以被长方形矩阵模仿：一个对称矩阵 $A$ 的特征值的绝对值表示度量 $A$ 拉长或压缩一个向量（特征向量）的程度。如果 $Ax=\lambda x$ ，且 $\Vert x\Vert =1$ ，那么

$$\Vert A\mathbf{x}\Vert =\Vert \lambda \mathbf{x}\Vert =|\lambda |\Vert \mathbf{x}\Vert =|\lambda |\text{\hspace{1em}(1)}$$

如果 ${\lambda }_1$ 是具有最大数值的特征值，那么对应的单位特征向量 $v_1$ 确定一个由 $A$ 的拉长影响最大的方向，也就是说，（1）式表示当 $x=v_1$ 时， $Ax$ 的长度最大化，且 $\Vert A{v}_1\Vert =|{\lambda }_1|$ 。这个对 $v_1$ 和 $|{\lambda }_1|$ 的描述对于长方形的矩阵来说也是类似的，这将导致奇异值分解。

例 1

如果 $A=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]$ ，那么线性变换 $x\mapsto Ax$ 将 $R^3$ 中的单位球 $\{x:\Vert x\Vert =1\}$ 映上到 $R^2$ 中的椭圆，见图 7-13. 找出使得长度 $\Vert Ax\Vert$ 最大的一个单位向量 $x$，且计算这个最大长度.

图7-13 从 ${\mathbb{R}}^3$ 到 ${\mathbb{R}}^2$ 的一个变换

解

使 $\Vert Ax{\Vert }^2$ 的值最大化的 $x$ 同样使 $\Vert Ax\Vert$ 的值最大化，但 $\Vert Ax{\Vert }^2$ 更容易计算。注意到

$${\Vert A\mathbf{x}\Vert }^2=(A\mathbf{x}{)}^{\mathrm{T}}(A\mathbf{x})={\mathbf{x}}^{\mathrm{T}}{A}^{\mathrm{T}}A\mathbf{x}={\mathbf{x}}^{\mathrm{T}}(A^{\mathrm{T}}A)\mathbf{x}$$

由于 $(A^{\mathrm{T}}A{)}^{\mathrm{T}}=A^{\mathrm{T}}{A}^{\mathrm{TT}}=A^{\mathrm{T}}A$ ，故 $A^{\mathrm{T}}A$ 也是一个对称矩阵．所以，现在的问题转化为在条件 $\Vert x\Vert =1$ 的限制下二次型 $x^{\mathrm{T}}(A^{\mathrm{T}}A)x$ 的最大化．利用7.3节的定理6，最大值就是矩阵 $A^{\mathrm{T}}A$ 的最大特征值 ${\lambda }_1$ ，同样，最大值可以在 $A^{\mathrm{T}}A$ 的特征值 ${\lambda }_1$ 对应的单位特征向量处获得.

对本例中的矩阵 $A$，

$$A^{\mathrm{T}}A=\left[\begin{array}{ll}4& 8\\ 11& 7\\ 14& -2\end{array}\right]\left[\begin{array}{lll}4& 11& 14\\ 8& 7& -2\end{array}\right]=\left[\begin{array}{lll}80& 100& 40\\ 100& 170& 140\\ 40& 140& 200\end{array}\right]$$

矩阵 $A^{T}A$ 的特征值是 ${\lambda }_1=360$ ， ${\lambda }_2=90$ 和 ${\lambda }_3=0$ ，对应的单位特征向量分别是

$${\nu }_1=\left[\begin{array}{l}1/3\\ 2/3\\ 2/3\end{array}\right],{\nu }_2=\left[\begin{array}{l}-2/3\\ -1/3\\ 2/3\end{array}\right],{\nu }_3=\left[\begin{array}{l}2/3\\ -2/3\\ 1/3\end{array}\right]$$

$\Vert Ax{\Vert }^2$ 的最大值是360，且在 $x$ 为单位向量 $v_1$ 处获得．向量 $A{v}_1$ 是图 7-13中椭圆上离原点最远的点，即

$$A{v}_1=\left[\begin{array}{lll}4& 11& 14\\ 8& 7-2& \end{array}\right]\left[\begin{array}{l}1/3\\ 2/3\\ 2/3\end{array}\right]=\left[\begin{array}{l}18\\ 6\end{array}\right]$$

对 $\Vert x\Vert =1$ ， $\Vert Ax\Vert$ 的最大值是 $\Vert A{v}_1\Vert =\sqrt{360}=6\sqrt{10}$

例1 说明，$A$ 对 $R^3$ 中单位球面的影响与二次型 ${\mathbf{x}}^{\mathrm{T}}({\mathbf{A}}^{\mathrm{T}}\mathbf{A})\mathbf{x}$ 有关。事实上，变换 $x\to Ax$ 的全部几何特性都可用二次型来说明，下面我们将说明这个问题。

一个 $m\times n$ 矩阵的奇异值

令 $A$ 是 $m\times n$ 矩阵，那么 $A^{T}A$ 是对称矩阵且可以正交对角化。令 $\{v_1,\cdots ,v_n\}$ 是 $R^n$ 的单位正交基且构成 $A^{T}A$ 的特征向量， ${\lambda }_1,\cdots ,{\lambda }_n$ 是 $A^{T}A$ 对应的特征值，那么对 $1⩽i⩽n$ ，

$$\begin{array}{rlr}{\Vert A{v}_i\Vert }^2=(A{v}_i{)}^{\mathrm{T}}A{v}_i=v_i^{\mathrm{T}}{A}^{\mathrm{T}}A{v}_i& & \\ & =v_i^{\mathrm{T}}({\lambda }_i{v}_i)& \text{由于}{v}_i\text{是}{A}^{\mathrm{T}}A\text{的特征向量}\\ & ={\lambda }_i& \text{由于}{v}_i\text{是单位向量}\end{array}\text{\hspace{1em}(2)}$$

所以， $A^{\mathrm{T}}A$ 的所有特征值都非负．如果必要，通过重新编号，可以假设特征值的重新排列满足

$${\lambda }_1⩾{\lambda }_2⩾\cdots ⩾{\lambda }_n⩾0$$

$A$ 的奇异值是 $A^{T}A$ 的特征值的平方根，记为 ${\sigma }_1,\cdots ,{\sigma }_n$ ，且它们用递减顺序排列，也就是对 $1⩽i⩽n,{\sigma }_i=\sqrt{{\lambda }_i}$ ．由（2）可知，$A$ 的奇异值是向量 $A{v}_1,\cdots ,A{v}_n$ 的长度.

例 2

令 $A$ 是例1中的矩阵，由于 $A^{\mathrm{T}}A$ 的特征值是360，90和0，故 $A$ 的奇异值是

$${\sigma }_1=\sqrt{360}=6\sqrt{10},{\sigma }_2=\sqrt{90}=3\sqrt{10},{\sigma }_3=0$$

从例1可知， $A$ 的第一个奇异值是 $\Vert Ax\Vert$ 处获得.7.3节的定理7表明， $v_1$ 处获得.7.3节的定理7表明， $A$ 的第二个奇异值是 $\Vert Ax\Vert$ 处获得（习题22）．对例1中的 $v_1$ 正交的单位向量上的最大值，且这个最大值可以在第二个单位特征向量 $v_2$ 处获得（习题22）．对例1中的 $v_2$ ，

$$A{v}_2=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]\left[\begin{array}{c}-2/3\\ -1/3\\ 2/3\end{array}\right]=\left[\begin{array}{c}3\\ -9\end{array}\right]$$

这个点在图 7 在长轴上一样（见图 7-14）。矩阵 $A{v}_1$ 在长轴上一样（见图 7-14）。矩阵 $A$ 的前两个奇异值是椭圆长半轴和短半轴的长度。

图 7-14

事实上，像下面定理所说，图 7-14中的 $A{v}_1$ 和 $A{v}_2$ 正交不是偶然.

定理 9

假若 $\{v_1,\cdots ,v_n\}$ 是包含 $A^{T}A$ 的特征向量的 $R^n$ 上的单位正交基，重新整理使得对应的 $A^{T}A$ 的特征值满足 ${\lambda }_1⩾\cdots ⩾{\lambda }_n$ . 假若 $A$ 有 $r$ 个非零奇异值，那么 $\{A{v}_1,\cdots ,A{v}_r\}$ 是 ColA 的一个正交基，且 rank A=r.

证明

由于当 $i\ne j$ 时， $v_i$ 和 ${\lambda }_j{v}_j$ 正交，所以

$${\left(A{\mathbf{v}}_i\right)}^{\mathrm{T}}\left(A{\mathbf{v}}_j\right)={\mathbf{v}}_i^{\mathrm{T}}{A}^{\mathrm{T}}A{\mathbf{v}}_j={\mathbf{v}}_i^{\mathrm{T}}\left({\lambda }_j{\mathbf{v}}_j\right)=0$$

从而 $\{A{v}_1,\cdots ,A{v}_n\}$ 是一个正交基. 更进一步，由于向量 $A{v}_1,\cdots ,A{v}_n$ 的长度是 $A$ 的奇异值，且因为有 $r$ 个非零奇异值，因此 $A{v}_i\ne 0$ 的充分必要条件是 $1⩽i⩽r$ . 所以 $A{v}_1,\cdots ,A{v}_r$ 是线性无关向量，且属于 ColA. 最后，对任意属于 ColA 的 $y$，比如 y=Ax，我们可以写出 $x=c_1{v}_1+\cdots +c_n{v}_n$ ，且

$$\begin{array}{rl}\mathbf{y}& =A\mathbf{x}=c_{1}A{\mathbf{v}}_1+\cdots +c_{r}A{\mathbf{v}}_r+c_{r+1}A{\mathbf{v}}_{r+1}+\cdots +c_{n}A{\mathbf{v}}_n\\ & =c_{1}A{\mathbf{v}}_1+\cdots +c_{r}A{\mathbf{v}}_r+0+\cdots +0\end{array}$$

这样，$y$ 在 Span $\{A{v}_1,\cdots ,A{v}_r\}$ 中，这说明 $\{A{v}_1,\cdots ,A{v}_r\}$ 是 Col A 的一个（正交）基。因此 rank A = -dim Col A = r。

数值计算的注解 在一些情形下，$A$ 的秩对 $A$ 中元素的微小变化很敏感。如果用计算机对矩阵 $A$ 作行化简，那么很明显矩阵 $A$ 的主元列数目的计算方法效果不好，舍入误差常导致满秩的阶梯矩阵。

实际上，估计大矩阵 $A$ 的秩时，最可靠的方法是计算非零奇异值的个数。在这种情形下，特别小的非零奇异值在实际计算中常假定为零，矩阵 $A$ 的有效秩是剩余非零奇异值的数目。 ^①

奇异值分解

矩阵 $A$ 的分解涉及一个 $m\times n$ “对角” 矩阵 $\Sigma$ ，其形式是

$$\Sigma =\left[\begin{array}{ll}D& 0\\ 0& 0\end{array}\right]\leftarrow m-r\text{行}{\uparrow }_{n-r\text{行}}\text{\hspace{1em}(3)}$$

其中，$D$ 是一个 $r\times r$ 对角矩阵，且 $r$ 不超过 $m$ 和 $n$ 中较小的那个（如果 $r$ 等于 $m$ 或 $n$，或都相等，

则 $M$ 中不会出现零矩阵）.

定理 10 奇异值分解

设 $A$ 是秩为 $r$ 的 $m\times n$ 矩阵，那么存在一个类似（3）中的 $m\times n$ 矩阵 $\Sigma$ ，其中 $D$ 的对角线元素是 $A$ 的前 $r$ 个奇异值， ${\sigma }_1⩾{\sigma }_2⩾\cdots ⩾{\sigma }_r>0$ ，并且存在一个 $m\times m$ 正交矩阵 $U$ 和一个 $n\times n$ 正交矩阵 $V$ 使得 $A=U\Sigma V^T$ .

任何分解 $A=U\Sigma V^{\mathrm{T}}$ 称为 $A$ 的一个奇异值分解（或SVD），其中 $U$ 和 $V$ 是正交矩阵， $\Sigma$ 形如（3）式， $D$ 具有正的对角线元素。矩阵 $U$ 和 $V$ 不是由 $A$ 惟一确定的，但 $\Sigma$ 的对角线元素必须是 $A$ 的奇异值，见习题19。这样的一个分解中 $U$ 的列称为 $A$ 的左奇异向量，而 $V$ 的列称为 $A$ 的右奇异向量。

证明

假设 ${\lambda }_i$ 和 $v_i$ 如定理9，使得 $\{A{v}_1,\cdots ,A{v}_r\}$ 是 Col A 的正交基。将每一个 $A{v}_i$ 单位化得到一个单位正交基 $\{u_1,\cdots ,u_r\}$ ，其中

$${\mathbf{u}}_i=\frac{1}{\Vert A{\mathbf{v}}_i\Vert }A{\mathbf{v}}_i=\frac{1}{{\sigma }_i}A{\mathbf{v}}_i$$

而且

$$A{v}_i={\sigma }_i{u}_i(1⩽i⩽r)\text{\hspace{1em}(4)}$$

现在将 $\{u_1,\cdots ,u_r\}$ 扩充为 $R^m$ 的单位正交基 $\{u_1,\cdots ,u_m\}$ ，并且取

$$U=[u_1{u}_2\dots u_m]\text{和}V=[v_1{v}_2\dots v_n]$$

由构造可知，$U$和$V$是正交矩阵，同样由（4）

$$AV=\left[A{\mathbf{v}}_1\dots A{\mathbf{v}}_{r}0\dots 0\right]=\left[{\sigma }_1{\mathbf{u}}_1\dots {\sigma }_r{\mathbf{u}}_{r}0\dots 0\right]$$

设 $D$ 是对角线元素为 ${\sigma }_1,\cdots ,{\sigma }_r$ 的对角矩阵， $\Sigma$ 是上面（3）中的形式，那么

$$\begin{array}{rl}U\Sigma & =[{\mathbf{u}}_1{\mathbf{u}}_2\dots {\mathbf{u}}_m]\left[\begin{array}{ccccc}{\sigma }_1& & & 0& \\ & {\sigma }_2& & & 0\\ & & \ddots & & \\ 0& & & {\sigma }_r& \\ & 0& & & 0\end{array}\right]\\ & =[{\sigma }_1{\mathbf{u}}_1\dots {\sigma }_r{\mathbf{u}}_{r}0\dots 0]\\ & =AV\end{array}$$

由于 $V$ 是一个正交矩阵，因此 $U\Sigma V^T=AV{V}^T=A$ .

下面的两个例子侧重于讨论奇异值分解的内部结构。一个有效而数值稳定的分解算法会使用另外一种方法。参见本节末尾处的“数值计算的注解”。

例 3

使用例1和例2中的结果求 $A=\left[\begin{array}{ccc}4& 11& 14\\ 8& 7& -2\end{array}\right]$ 的一个奇异值分解.

解

一个奇异值分解可分三步进行.

第一步. 将矩阵 $A^{\mathrm{T}}A$ 正交对角化. 即求矩阵 $A^{\mathrm{T}}A$ 的特征值及其对应的特征向量的单位正交集. 如果 $A$ 只有两列, 则其计算可以手算完成. 对规模较大的矩阵通常需要使用矩阵程序.

而对此处的矩阵 $A$，在例1 中已经给出了 $A^{T}A$ 的特征值及其相应的特征向量.

第二步. 算出 $V$ 和 $\Sigma$ . 将 $A^{\mathrm{T}}A$ 的特征值按降序排列. 在例1 中, 特征值已经按降序排列: 360, 90, 0. 它们对应的单位特征向量 $v_1,v_2,v_3$ 的右奇异向量. 使用例1 的结果, 构造$A$ 的右奇异向量. 使用例 1 的结果, 构造

$$V=\left[\begin{array}{lll}{\mathbf{v}}_1& {\mathbf{v}}_2& {\mathbf{v}}_3\end{array}\right]=\left[\begin{array}{ccc}1/3& -2/3& 2/3\\ 2/3& -1/3& -2/3\\ 2/3& 2/3& 1/3\end{array}\right]$$

特征值的平方根就是奇异值： ${\sigma }_1=\sqrt{360}=6\sqrt{10},{\sigma }_2=\sqrt{90}=3\sqrt{10},{\sigma }_3=0$ ，其中的非零奇异值是矩阵 $D$ 的对角线元素.矩阵 $\Sigma$ 与矩阵 $A$ 的行列数相同，以矩阵 $D$ 为其左上角，其他元素为0.

$$D=\left[\begin{array}{cc}6\sqrt{10}& 0\\ 0& 3\sqrt{10}\end{array}\right],\Sigma =[D0]=\left[\begin{array}{ccc}6\sqrt{10}& 0& 0\\ 0& 3\sqrt{10}& 0\end{array}\right]$$

第三步. 构造 $U$ . 当矩阵 $A$ 的秩为 $r$ 时, 矩阵 $U$ 的前 $r$ 列是从 $A{\mathbf{v}}_1\cdots A{\mathbf{v}}_r$ 计算得到的单位向量. 此例中, $A$ 有两个非零奇异值, 因此 $\mathrm{rank}A=2$ . 根据例2 之前的内容和方程 (2), 有 $\Vert A{\mathbf{v}}_1\Vert ={\sigma }_1$ , $\Vert A{\mathbf{v}}_2\Vert ={\sigma }_2$ , 于是

$${\mathbf{u}}_1=\frac{1}{{\sigma }_1}A{\mathbf{v}}_1=\frac{1}{6\sqrt{10}}\left[\begin{array}{l}18\\ 6\end{array}\right]=\left[\begin{array}{l}3/\sqrt{10}\\ 1/\sqrt{10}\end{array}\right]$$$${\mathbf{u}}_2=\frac{1}{{\sigma }_2}A{\mathbf{v}}_2=\frac{1}{3\sqrt{10}}\left[\begin{array}{l}3\\ -9\end{array}\right]=\left[\begin{array}{l}1/\sqrt{10}\\ -3/\sqrt{10}\end{array}\right]$$

留意到 $\{u_1,u_2\}$ 已是 ${\mathbb{R}}^2$ 的一个基，因此构造 $U$ 不需另外的向量， $U=[u_1-u_2]$ . $A$ 的奇异值分解是

$$A=\left[\begin{array}{cc}3/\sqrt{10}& 1/\sqrt{10}\\ 1/\sqrt{10}& -3/\sqrt{10}\end{array}\right]\left[\begin{array}{ccc}6\sqrt{10}& 0& 0\\ 0& 3\sqrt{10}& 0\end{array}\right]\left[\begin{array}{ccc}1/3& 2/3& 2/3\\ -2/3& -1/3& 2/3\\ 2/3& -2/3& 1/3\end{array}\right]$$

例 4

求 $A=\left[\begin{array}{cc}1& -1\\ -2& 2\\ 2& -2\end{array}\right]$ 的一个奇异值分解.

解

首先，计算 $A^{T}A=\left[\begin{array}{cc}9& -9\\ -9& 9\end{array}\right]$ . $A^{T}A$ 的特征值是 18 和 0，相应的单位特征向量是

$$v_1=\left[\begin{array}{c}1/\sqrt{2}\\ -1/\sqrt{2}\end{array}\right],v_2=\left[\begin{array}{c}1/\sqrt{2}\\ 1/\sqrt{2}\end{array}\right]$$

这两个单位向量构成 $V$ 的列：

$$V=\left[\begin{array}{ll}{\mathbf{v}}_1& {\mathbf{v}}_2\end{array}\right]=\left[\begin{array}{cc}1/\sqrt{2}& 1/\sqrt{2}\\ -1/\sqrt{2}& 1/\sqrt{2}\end{array}\right]$$

矩阵的奇异值为 ${\sigma }_1=\sqrt{18}=3\sqrt{2},{\sigma }_2=0$ 。因为只有一个非零的奇异值，所以“矩阵”D可写成单个数值，即 $D=3\sqrt{2}$ 。矩阵Σ与矩阵$A$的行列数相同，以矩阵$D$为其左上角：

$$\Sigma =\left[\begin{array}{ll}D& 0\\ 0& 0\\ 0& 0\end{array}\right]=\left[\begin{array}{ll}3\sqrt{2}& 0\\ 0& 0\\ 0& 0\end{array}\right]$$

为构造 $U$，首先构造 $A{v}_1$ 和 $A{v}_2$ ：

$$A{v}_1=\left[\begin{array}{c}2/\sqrt{2}\\ -4/\sqrt{2}\\ 4/\sqrt{2}\end{array}\right],A{v}_2=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]$$

为检查计算，验证 $\Vert A{v}_1\Vert ={\sigma }_1=\sqrt{18}=3\sqrt{2}$ 。当然， $A{v}_2=0$ ，因为 $\Vert A{v}_2\Vert ={\sigma }_2=0$ 。目前只找到 $U$ 的一列是

$${\mathbf{u}}_1=\frac{1}{3\sqrt{2}}A{\mathbf{v}}_1=\left[\begin{array}{c}1/3\\ -2/3\\ 2/3\end{array}\right]$$

$U$ 的其他列是将集合 $\{u_1\}$ 扩充为 ${\mathbb{R}}^3$ 的单位正交基而得到的. 此时, 我们需要两个单位正交向量 $u_2$ 和 $u_3$ 且都与 $u_1$ 正交. (见图 7-15.)每个向量必须满足 $u_1^{\mathrm{T}}x=0$ , 这等价于方程 $x_1-2x_2+2x_3=0$ , 该方程的解集构成的基是

$${\mathbf{w}}_1=\left[\begin{array}{l}2\\ 1\\ 0\end{array}\right],{\mathbf{w}}_2=\left[\begin{array}{c}-2\\ 0\\ 1\end{array}\right]$$

（经检验 $w_1$ 和 $w_2$ 都与 $u_1$ 正交.）应用格拉姆-施密特方法（和标准化）于 $\{w_1,w_2\}$ ，可以得到

$${\mathbf{u}}_2=\left[\begin{array}{c}2/\sqrt{5}\\ 1/\sqrt{5}\\ 0\end{array}\right],{\mathbf{u}}_3=\left[\begin{array}{c}-2/\sqrt{45}\\ 4/\sqrt{45}\\ 5/\sqrt{45}\end{array}\right]$$

最后，令 $U=[u_1{u}_2{u}_3]$ ，以及由上所得的 $V^{\mathrm{T}}$ 和 $\Sigma$ ，有

$$A=\left[\begin{array}{cc}1& -1\\ -2& 2\\ 2& -2\end{array}\right]=\left[\begin{array}{ccc}1/3& 2/\sqrt{5}& -2/\sqrt{45}\\ -2/3& 1/\sqrt{5}& 4/\sqrt{45}\\ 2/3& 0& 5/\sqrt{45}\end{array}\right]\left[\begin{array}{cc}3\sqrt{2}& 0\\ 0& 0\\ 0& 0\end{array}\right]\left[\begin{array}{cc}1/\sqrt{2}& -1/\sqrt{2}\\ 1/\sqrt{2}& 1/\sqrt{2}\end{array}\right]$$

图 7-15

奇异值分解的应用

如上所述，奇异值分解常用于估计矩阵的秩。下面简单叙述它在数值计算中的其他应用，7.5节给出一个奇异值分解在图像处理中的应用。

例 5 条件数

当应用矩阵 $A$ 的奇异值分解时，多数涉及方程 Ax=b 的数值计算要尽可能地可靠。两个正交矩阵 $U$ 和 $V$ 不影响向量的长度和两个向量的夹角（6.2 节定理7）。数值计算中的任何不稳定因素都与 $\Sigma$ 有关。如果 $A$ 的奇异值非常大或非常小，则舍入误差几乎不可避免，此时，知道 $\Sigma$ 和$V$中的元素对分析误差特别有用.

如果 $A$ 是一个 $n\times n$ 可逆矩阵，那么最大奇异值和最小奇异值的比率 ${\sigma }_1/{\sigma }_n$ 给出了矩阵 $A$ 的条件数。2.3 节的习题 41~43 表明条件数如何影响 Ax = b 的解对 $A$ 的元素变化（或误差）的敏感程度（事实上，$A$ 的“条件数”可用几种方式计算，但这里给出的定义可广泛用于 Ax = b 的研究）。

例 6 基本子空间的基

给定 $m\times n$ 矩阵 $A$ 的一个奇异值分解，取 $u_1,\cdots ,u_m$ 是左奇异向量， $v_1,\cdots ,v_n$ 是右奇异向量，且 ${\sigma }_1,\cdots ,{\sigma }_n$ 是奇异值，$r$ 为 $A$ 的秩。由定理9，

$$\left\{{\mathbf{u}}_1,\dots ,{\mathbf{u}}_r\right\}\text{\hspace{1em}(5)}$$

是 Col A 的一个单位正交基. 见图 7-16.

回忆6.1节的定理3， $(\mathrm{Col}A{)}^{\perp }=\mathrm{Nul}{A}^{\mathrm{T}}$ ，因此

$$\left\{{\mathbf{u}}_{r+1},\dots ,{\mathbf{u}}_m\right\}\text{\hspace{1em}(6)}$$

是 $\mathrm{Nul}{A}^{\mathrm{T}}$ 的一个单位正交基.

由于当 $1⩽i⩽n$ 时 $\Vert A{v}_i\Vert ={\sigma }_i$ ，且 ${\sigma }_i$ 是零的充分必要条件是 $i>r$ ，因此向量 $v_{r+1},\cdots ,v_n$ 生成一个维数为 $n-r$ 的子空间 Nul A。由秩定理可知，dim Nul A = n - rank A，从而说明

$$\left\{{\mathbf{v}}_{r+1},\dots ,{\mathbf{v}}_n\right\}\text{\hspace{1em}(7)}$$

是Nul $A$ 的一个单位正交基，见4.5节的基定理.

从（5）和（6）可知，空间 $\mathrm{Nul}{A}^{\mathrm{T}}$ 的正交补是Col $A$ .将 $A$ 和 $A^{\mathrm{T}}$ 交换，我们有

$$(\mathrm{Nul}A{)}^{\perp }=\mathrm{Col}{A}^{\mathrm{T}}=\mathrm{Row}A$$

因此，从（7）得

$$\left\{{\nu }_1,\dots ,{\nu }_r\right\}\text{\hspace{1em}(8)}$$

是Row $A$ 的一个单位正交基.

图 7-17 给出（5）～（8）的总结，但说明的是 $\{{\sigma }_1{u}_1,\cdots ,{\sigma }_r{u}_r\}$ 为 Col A 的正交基，而不是标准基。注意到对 $1⩽i⩽r$ ， $A{v}_i={\sigma }_i{u}_i$ 。由 $A$ 确定的四个基本子空间的单位正交基在某些计算中非常有用，特别是在条件优化问题中更是如此。

由 $A$ 确定的四个基本子空间的单位正交基在某些计算中非常有 图7-16 例6中的基本子空间用，特别是在条件优化问题中更是如此.

图7-17 四个基本子空间和 $A$ 的作用

四个基本子空间和奇异值的概念给可逆矩阵定理提供了最后的命题。（回忆为了避免几乎将可逆矩阵定理的命题数目翻倍，定理中已将与 $A^{\mathrm{T}}$ 有关的命题删除了。）可逆矩阵定理的其他命题在2.3节、2.9节、3.2节、4.6节和5.2节中已经给出。

定理（可逆矩阵定理（最后补充））

设 $A$ 为 $n\times n$ 矩阵，那么下述命题中的每一个都与 $A$ 是可逆矩阵的命题等价.

$u$. $(\text{Col }A{)}^{\perp }=\{0\}$ .

$v$. $(\text{Nul }A{)}^{\perp }={\mathbb{R}}^n$ .

$w$. $\mathrm{Row}A={\mathbb{R}}^n$ .

$x$. A 有 $n$ 个非零的奇异值.

例 7 奇异值分解的简化和 A 的伪逆

当 $\Sigma$ 包含零元素的行或列时，矩阵 $A$ 具有更简洁的分解．利用上面建立的符号，取 r = rank A，将 $U$ 和 $V$ 矩阵分块为第一块包含 $r$ 列的子矩阵：

$$\begin{array}{rl}& U=[U_r{U}_{m-r}],\text{其中}{U}_r=[u_1\dots u_r]\\ & V=[V_r{V}_{n-r}],\text{其中}{V}_r=[v_1\dots v_r]\end{array}$$

那么 $U_r$ 是 $m\times r$ ， $V_r$ 是 $n\times r$ 。（为简化符号，我们考虑 $U_{m-r}$ 和 $V_{n-r}$ ，即使其中一个没有任何列。）分块矩阵的乘法表明

$$A=\left[\begin{array}{ll}{U}_r& U_{m-r}\end{array}\right]\left[\begin{array}{ll}D& 0\\ 0& 0\end{array}\right]\left[\begin{array}{l}{V}_r^{\mathrm{T}}\\ V_{n-r}^{\mathrm{T}}\end{array}\right]=U_{r}D{V}_r^{\mathrm{T}}\text{\hspace{1em}(9)}$$

矩阵 $A$ 的这个分解称为 $A$ 的简化的奇异值分解. 由于 $D$ 的对角线元素非零, 因此 $D$ 是可逆矩阵. 下面的矩阵称为 $A$ 的伪逆（也称穆尔-彭罗斯逆）:

$$A^{+}=V_r{D}^{-1}{U}_r^{\mathrm{T}}\text{\hspace{1em}(10)}$$

本章最后的补充习题 12~14 研究了简化的奇异值分解和伪逆的一些性质.

例 8 最小二乘解

给定方程 $Ax=b$ ，利用式（10）中给出的 $A$ 的伪逆，定义

$$\hat{\mathbf{x}}=A^{+}\mathbf{b}=V_r{D}^{-1}{U}_r^{\mathrm{T}}\mathbf{b}$$

那么由（9）式中的奇异值分解得到

$$\begin{array}{rlr}A\hat{x}=(U_{r}D{V}_r^{\mathrm{T}})(V_r{D}^{-1}{U}_r^{\mathrm{T}}b)& & \\ & =U_{r}D{D}^{-1}{U}_r^{\mathrm{T}}b& \text{由于}{V}_r^{\mathrm{T}}{V}_r=I_r\\ & =U_r{U}_r^{\mathrm{T}}b& \end{array}$$

从（5）式可知， $U_r{U}_r^{T}b$ 是 $b$ 在 Col A 上的正交投影 $\hat{b}$ （见 6.3 节定理10），因此 $\hat{x}$ 是 Ax=b 的最小二乘解。实际上，这个 $\hat{x}$ 在 Ax=b 的所有最小二乘解中具有最小长度，见补充习题 14。

数值计算的注解 例1~4 和习题说明了奇异值的概念并给出如何手工计算。实际上，应该避免 $A^{\mathrm{T}}A$ 的计算，原因是任何 $A$ 中元素的误差在 $A^{\mathrm{T}}A$ 中被平方。存在快速的迭代方法，可计算精确到很多位数的矩阵 $A$ 的奇异值和奇异向量。

进一步阅读

Horn, Roger A., and Charles R. Johnson, Matrix Analysis ${}^{\stackrel{◯}{R}}$ , vol. 1 (Cambridge: Cambridge University Press, 1985), pp. 414–445.

Long, Cliff, “Visualization of Matrix Singular Value Decomposition.” Mathematics Magazine 56 (1983), pp. 161–167.

Moler, $C$. B., and D. Morrison, “Singular Value Analysis of Cryptograms.” Amer. Math. Monthly 90 (1983), pp. 78–87.

Strang, Gilbert, Linear Algebra and Its Applications, 3rd ed. (San Diego: Harcourt Brace Jovanovich, 1988), pp. 442–452.

Watkins, David S., Fundamentals of Matrix Computations (New York: Wiley, 1991), pp. 390–398, 409–421.

练习题

1. 给定一个奇异值分解 $A=U\Sigma V^{\mathrm{T}}$ ，求 $A^{\mathrm{T}}$ 的一个奇异值分解。 $A$ 和 $A^{\mathrm{T}}$ 的奇异值之间有什么联系？

2. 对任意的 $n\times n$ 矩阵 $A$ ，利用奇异值分解证明存在一个 $n\times n$ 的正交阵 $Q$ ，使得 $A^{\mathrm{T}}A=Q^{\mathrm{T}}(A^{\mathrm{T}}A)Q$ 注：练习题2表明对任意的 $n\times n$ 矩阵 $A$ ，矩阵 $A{A}^{\mathrm{T}}$ 和 $A^{\mathrm{T}}A$ 的正交相似的。

习题7.4

求习题 1~4 中矩阵的奇异值分解.

$$\left[\begin{array}{cc}1& 0\\ 0& -3\end{array}\right]$$

$$\left[\begin{array}{cc}-3& 0\\ 0& 0\end{array}\right]$$

$$\left[\begin{array}{cc}2& 3\\ 0& 2\end{array}\right]$$

$$\left[\begin{array}{cc}3& 0\\ 8& 3\end{array}\right]$$$$\left[\begin{array}{cc}1& 1\\ 0& 1\\ -1& 1\end{array}\right]$$

求习题 5~12 中每个矩阵的奇异值分解.（提示：在习题 11 中，$U$ 的一个选择可以是 $\left[\begin{array}{ccc}-1/3& 2/3& 2/3\\ 2/3& -1/3& 2/3\\ 2/3& 2/3& -1/3\end{array}\right]$ ，习题 12 中 $U$ 的一个列可以 是 $\left[\begin{array}{c}1/\sqrt{6}\\ -2/\sqrt{6}\\ 1/\sqrt{6}\end{array}\right]$ . 5. $\left[\begin{array}{cc}-2& 0\\ 0& 0\end{array}\right]$ 6. $\left[\begin{array}{cc}-3& 0\\ 0& -2\end{array}\right]$ 7. $\left[\begin{array}{cc}2& -1\\ 2& 2\end{array}\right]$ 8. $\left[\begin{array}{cc}4& 6\\ 0& 4\end{array}\right]$ 9. $\left[\begin{array}{cc}3& -3\\ 0& 0\\ 1& 1\end{array}\right]$ 10. $\left[\begin{array}{cc}7& 1\\ 5& 5\\ 0& 0\end{array}\right]$

$$\left[\begin{array}{cc}-3& 1\\ 6& -2\\ 6& -2\end{array}\right]$$

该书中文版已由机械工业出版社引进出版. ——编辑注

13. 求 $A=\left[\begin{array}{ccc}3& 2& 2\\ 2& 3& -2\end{array}\right]$ 的奇异值分解（提示：对 $A^T$ 进行分解）.

14. 在习题7中，求一个单位向量 $x$ ，使得 $Ax$ 具有最大长度.

15. 假设下面是矩阵 $A$ 的奇异值分解, 其中 $U$ 和 $V$ 的元素是四舍五入精确到小数点后两位数字.

$$\begin{array}{rl}A=& \left[\begin{array}{ccc}0.40& -0.78& 0.47\\ 0.37& -0.33& -0.87\\ -0.84& -0.52& -0.16\end{array}\right]\left[\begin{array}{ccc}7.10& 0& 0\\ 0& 3.10& 0\\ 0& 0& 0\end{array}\right]\\ & \times \left[\begin{array}{ccc}0.30& -0.51& -0.81\\ 0.76& 0.64& -0.12\\ 0.58& -0.58& 0.58\end{array}\right]\end{array}$$

$a$. A 的秩是多少?

$b$. 利用 $A$ 的这个分解，不用计算，写出 ColA 的一个基和 NulA 的一个基。（提示：首先写出 $V$ 的列。）

16. 对下列 $3\times 4$ 矩阵 $A$ 的奇异值分解, 重做习题 15.

$$\begin{gathered} A=\left[\begin{array}{ccc}-0.86& -0.11& -0.50\\ 0.31& 0.68& -0.67\\ 0.41& -0.73& -0.55\end{array}\right]\left[\begin{array}{cccc}12.48& 0& 0& 0\\ 0& 6.34& 0& 0\\ 02.48& 0& 0& 0\end{array}\right]\times \\ \left[\begin{array}{cccc}0.66& -0.03& -0.35& 0.66\\ -0.13& -0.90& -0.39& -0.13\\ 0.65& 0.08& -0.16& -0.73\\ -0.34& 0.42& -0.84& -0.08\end{array}\right] \end{gathered}$$

在习题 17~24 中，$A$ 是一个 $m\times n$ 矩阵，具有奇异值分解 $A=U\Sigma V^T$ ，其中 $U$ 是一个 $m\times m$ 正交矩阵， $\Sigma$ 是一个“对角”矩阵，有 $r$ 个正元素，没有负元素，$V$ 是一个 $n\times n$ 正交矩阵。验证每一个答案。

17. 证明：如果 $A$ 是方阵，那么 $\left|\det A\right|$ 是 $A$ 的奇异值的乘积.

18. 若 $A$ 是可逆方阵，求 $A^{-1}$ 的奇异值分解.

19. 证明：$V$ 的列是 $A^{T}A$ 的特征向量，$U$ 的列是 $A{A}^T$ 的特征向量，而 $\Sigma$ 对角线上的元素是 $A$ 的奇异值。（提示：利用奇异值分解计算 $A^{T}A$ 和 $A{A}^T$ .）

20. 证明：如果 $P$ 是一个 $m\times m$ 正交矩阵，那么 $PA$ 与 $A$ 有同样的奇异值.

21. 验证例2 中的论断，即当 $x$ 变化范围属于所有正交于 $v_1$ 的单位向量时，矩阵 $A$ 的第二个奇异值是 $\Vert Ax\Vert$ 的最大值，其中 $v_1$ 的第一个奇异值的右奇异向量。（提示：利用 7.3 节的定理7.）$A$ 的第一个奇异值的右奇异向量。（提示：利用 7.3 节的定理 7.）

22. 证明：如果 $A$ 是 $n\times n$ 且正定的矩阵，那么 $A$ 的正交对角化 $A=PD{P}^T$ 就是 $A$ 的奇异值分解.

23. 设 $U=[u_1\cdots u_m]$ ， $V=[v_1\cdots v_n]$ ，其中 $u_i$ 和 $v_i$ 如定理10 中所示，证明：

$$A={\sigma }_1{\mathbf{u}}_1{\mathbf{v}}_1^{\mathrm{T}}+{\sigma }_2{\mathbf{u}}_2{\mathbf{v}}_2^{\mathrm{T}}+\cdots +{\sigma }_r{\mathbf{u}}_r{\mathbf{v}}_r^{\mathrm{T}}$$

24. 利用习题 23 的记号，说明对 $1⩽j⩽r=$ rank $A,A^{\mathrm{T}}{u}_j={\sigma }_j{v}_j$ 成立.

25. 令 $T:{\mathbb{R}}^n\to {\mathbb{R}}^m$ 是线性变换，描述如何求 ${\mathbb{R}}^n$ 的基 $\mathcal{B}$ 和 ${\mathbb{R}}^m$ 中的基 $\mathcal{C}$ ，使得矩阵 $T$ 相对于 $\mathcal{B}$ 和 $\mathcal{C}$ 是一个 $m\times n$ “对角”矩阵.

[$M$]计算习题26和习题27中每一个矩阵的奇异值分解，要求最后的矩阵元素精确到两位小数，利用例3和例4的方法.

$$A=\left[\begin{array}{rrrr}-18& 13& -4& 4\\ 2& 19& -4& 12\\ -14& 11& -12& 8\\ -2& 21& 4& 8\end{array}\right]$$$$A=\left[\begin{array}{rrrrr}6& -8& -4& 5& -4\\ 2& 7& -5& -6& 4\\ 0& -1& -8& 2& 2\\ -1& -2& 4& 4& -8\end{array}\right]$$

28.[$M$]计算2.3节习题9中 $4\times 4$ 矩阵的奇异值，并且计算条件数 ${\sigma }_1/{\sigma }_4$

29. [$M$]计算 2.3 节习题 10 中 $5\times 5$ 矩阵的奇异值，并且计算条件数 ${\sigma }_1/{\sigma }_5$ .

练习题答案

1. 如果 $A=U\Sigma V^{\mathrm{T}}$ ，其中 $\Sigma$ 是 $m\times n$ 矩阵，那么 $A^{\mathrm{T}}=(V^{\mathrm{T}}{)}^{\mathrm{T}}{\Sigma }^{\mathrm{T}}{U}^{\mathrm{T}}=V{\Sigma }^{\mathrm{T}}{U}^{\mathrm{T}}$ .这是 $A^{\mathrm{T}}$ 的一个奇异值分解，原因是 $V$ 和 $U$ 是正交矩阵，且 ${\Sigma }^{\mathrm{T}}$ 是一个 $n\times m$ “对角”矩阵．由于 $\Sigma$ 和 ${\Sigma }^{\mathrm{T}}$ 具有同样的非零对角元素，因此 $A$ 和 $A^{\mathrm{T}}$ 具有同样的非零奇异值．（注意：如果 $A$ 是 $2\times n$ 矩阵，那么 $A{A}^{\mathrm{T}}$ 仅为 $2\times 2$ 矩阵，且它的特征值比 $A^{\mathrm{T}}A$ 的特征值更容易（手工）计算.）

2. 利用奇异值分解写出 $A=U\sum V^{\mathrm{T}}$ ，其中 $U$ 和 $V$ 是 $n\times n$ 正交矩阵， $\Sigma$ 是 $n\times n$ 对角矩阵，因此 $U^{\mathrm{T}}U=I=V^{\mathrm{T}}V$ ， ${\Sigma }^{\mathrm{T}}=\Sigma$ 。将 $A$ 代入 $A^{\mathrm{T}}A$ 和 $A{A}^{\mathrm{T}}$ 中，得到

$$A{A}^{\mathrm{T}}=U\sum V^{\mathrm{T}}(U\sum V^{\mathrm{T}}{)}^{\mathrm{T}}=U\sum V^{\mathrm{T}}V\sum ^{\mathrm{T}}{U}^{\mathrm{T}}=U\sum \sum ^{\mathrm{T}}{U}^{\mathrm{T}}=U\sum ^2{U}^{\mathrm{T}},$$$$A^{\mathrm{T}}A=(U\sum V^{\mathrm{T}}{)}^{\mathrm{T}}U\sum V^{\mathrm{T}}=V\sum ^{\mathrm{T}}{U}^{\mathrm{T}}U\sum V^{\mathrm{T}}=V\sum ^{\mathrm{T}}\sum V^{\mathrm{T}}=V\sum ^2{V}^{\mathrm{T}}$$

令 $Q=V{U}^{\mathrm{T}}$ ，则

$$Q^{\mathrm{T}}(A^{\mathrm{T}}A)Q=(V{U}^{\mathrm{T}}{)}^{\mathrm{T}}(V\sum ^2{V}^{\mathrm{T}})(V{U}^{\mathrm{T}})=U{V}^{\mathrm{T}}V\sum ^2{V}^{\mathrm{T}}V{U}^{\mathrm{T}}=U\sum ^2{U}^{\mathrm{T}}=A{A}^{\mathrm{T}}$$