6.5 最小二乘问题

本章的介绍性实例中描述了一个解不存在的巨型方程组 Ax=b，实际应用中常出现这类不相容问题，尽管不会出现如此巨大的系数矩阵。当方程组的解不存在但又需要求解时，最好的方法是寻找 $x$，使得 Ax 尽可能接近 $b$。

考虑 Ax 作为 $b$ 的一个近似. b 和 Ax 之间的距离越小, $\Vert b-Ax\Vert$ 近似程度越好. 一般的最小二乘问题就是找出使 $\Vert b-Ax\Vert$ 尽量小的 $x$, 术语 “最小二乘” 来源于这样的事实, 即 $\Vert b-Ax\Vert$ 是平方和的平方根.

定义 如果 $m\times n$ 矩阵 $A$ 和向量 $b$ 属于 ${\mathbb{R}}^m$ ，则 $Ax=b$ 的最小二乘解是 ${\mathbb{R}}^n$ 中的 $\hat{x}$ ，使得

$$\Vert \mathbf{b}-A\hat{\mathbf{x}}\Vert ⩽\Vert \mathbf{b}-A\mathbf{x}\Vert$$

对所有 $x\in R^n$ 成立.

最小二乘问题最重要的特征是无论怎么选取 $x$，向量 Ax 必然属于列空间 Col A。因此我们寻求 $x$，使得 Ax 是 Col A 中最接近 $b$ 的点，见图 6-23（当然，如果 $b$ 恰好在 Col A 中，那么对于某个 $x$，$b$ 等于 Ax，且这样的 $x$ 是一个“最小二乘解”）。

图 6-23 对 x, b 与 $A\hat{x}$ 的距离小于与 Ax 的距离

一般最小二乘问题的解

对上面给定的 $A$ 和 $b$，应用 6.3 节的最佳逼近定理于子空间 Col A．取

$$\hat{\mathbf{b}}={\mathrm{proj}}_{\mathrm{Col}A}\mathbf{b}$$

由于 $\hat{b}$ 属于 $A$ 的列空间，故方程 $Ax=\hat{b}$ 是相容的且存在一个属于 ${\mathbb{R}}^n$ 的 $\hat{x}$ 使得

$$A\hat{\mathbf{x}}=\hat{\mathbf{b}}\text{\hspace{1em}(1)}$$

由于 $\hat{b}$ 是Col $A$ 中最接近 $b$ 的点，因此一个向量 $\hat{x}$ 是 $Ax=b$ 的一个最小二乘解的充分必要条件是 $\hat{x}$ 满足（1）．这个属于 ${\mathbb{R}}^n$ 的 $\hat{x}$ 是一系列由 $A$ 的列构造的 $\hat{b}$ 的权，见图 6-24（如果方程（1）有自由变量，则方程（1）会有多个解）.

图 6-24 $R^n$ 中的最小二乘解 $\hat{x}$

若 $\hat{x}$ 满足 $A\hat{x}=\hat{b}$ ，则由6.3节的正交分解定理，投影 $\hat{b}$ 具有性质 $b-\hat{b}$ 与Col $A$ 正交，即 $b-A\hat{x}$ 正交于 $A$ 的每一列．如果 $a_j$ 是 $A$ 的任意列，那么 $a_j\cdot (b-A\hat{x})=0$ 且 $a_j^{\mathrm{T}}\cdot (b-A\hat{x})=0$ ．由于每一个 $a_j^{\mathrm{T}}$ 是 $A^{\mathrm{T}}$ 的行，因此

$$A^{\mathrm{T}}(\mathbf{b}-A\hat{\mathbf{x}})=0\text{\hspace{1em}(2)}$$

（方程（2）也可由6.1节中的定理3推出。）故有

$$A^{\mathrm{T}}\mathbf{b}-A^{\mathrm{T}}A\hat{\mathbf{x}}=0$$ $$A^{\mathrm{T}}A\hat{\mathbf{x}}=A^{\mathrm{T}}\mathbf{b}$$

此计算表明 $Ax=b$ 的每个最小二乘解满足方程

$$A^{\mathrm{T}}A\mathbf{x}=A^{\mathrm{T}}\mathbf{b}\text{\hspace{1em}(3)}$$

矩阵方程（3）表示的线性方程组常称为 Ax=b 的法方程，（3）的解通常用 $\hat{x}$ 表示.

定理 13

方程 $Ax=b$ 的最小二乘解集和法方程 $A^{\mathrm{T}}Ax=A^{\mathrm{T}}b$ 的非空解集一致.

证明

如上所述，最小二乘解集是非空的，且每个最小二乘解 $\hat{x}$ 满足法方程。相反，假若 $\hat{x}$ 满足 $A^{\mathrm{T}}A\hat{x}=A^{\mathrm{T}}b$ ，那么 $\hat{x}$ 满足上面的方程（2），从而说明 $b-A\hat{x}$ 与 $A^{\mathrm{T}}$ 的行正交，因此与 $A$ 的列正交。因为 $A$ 的列生成Col $A$ ，故向量 $b-A\hat{x}$ 与所有Col $A$ 的向量正交，因此方程 $b=A\hat{x}+(b-A\hat{x})$ 是将 $b$ 分解成Col $A$ 中的一个向量与正交于Col $A$ 的一个向量之和。根据正交分解的唯一性， $A\hat{x}$ 必须是将 $b$ 投影到Col $A$ 上的正交投影。所以， $A\hat{x}=b$ 成立，且 $\hat{x}$ 是一个最小二乘解。

例 1

求不相容方程组 $Ax=b$ 的最小二乘解，其中

$$A=\left[\begin{array}{ll}4& 0\\ 0& 2\\ 1& 1\end{array}\right],\mathbf{b}=\left[\begin{array}{l}2\\ 0\\ 11\end{array}\right]$$

解

利用法方程（3）计算

$$A^{\mathrm{T}}A=\left[\begin{array}{lll}4& 0& 1\\ 0& 2& 1\end{array}\right]\left[\begin{array}{ll}4& 0\\ 0& 2\\ 1& 1\end{array}\right]=\left[\begin{array}{ll}17& 1\\ 1& 5\end{array}\right]$$$$A^{\mathrm{T}}\mathbf{b}=\left[\begin{array}{lll}4& 0& 1\\ 0& 2& 1\end{array}\right]\left[\begin{array}{c}2\\ 0\\ 11\end{array}\right]=\left[\begin{array}{l}19\\ 11\end{array}\right]$$

那么方程 $A^{\mathrm{T}}Ax=A^{\mathrm{T}}b$ 变成

$$\left[\begin{array}{ll}17& 1\\ 1& 5\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{l}19\\ 11\end{array}\right]$$

行变换可用于解此方程组，但由于 $A^{\mathrm{T}}A$ 是 $2\times 2$ 可逆矩阵，因此很快可计算出

$${\left(A^{\mathrm{T}}A\right)}^{-1}=\frac{1}{84}\left[\begin{array}{cc}5& -1\\ -1& 17\end{array}\right]$$

那么可解 $A^{\mathrm{T}}Ax=A^{\mathrm{T}}b$ 如下：

$$\begin{array}{rl}\hat{\mathbf{x}}& =(A^{\mathrm{T}}A{)}^{-1}{A}^{\mathrm{T}}\mathbf{b}\\ & =\frac{1}{84}\left[\begin{array}{ll}5& -1\\ -1& 17\end{array}\right]\left[\begin{array}{l}19\\ 11\end{array}\right]=\frac{1}{84}\left[\begin{array}{l}84\\ 168\end{array}\right]=\left[\begin{array}{l}1\\ 2\end{array}\right]\end{array}$$

在许多计算中， $A^{\mathrm{T}}A$ 是可逆的，但并不总是这样．下面例子中的矩阵出现于统计学中的方差分析问题中.

例 2

求 $Ax=b$ 的最小二乘解，其中

$$A=\left[\begin{array}{cccc}1& 1& 0& 0\\ 1& 1& 0& 0\\ 1& 0& 1& 0\\ 1& 0& 1& 0\\ 1& 0& 0& 1\\ 1& 0& 0& 1\end{array}\right],\mathbf{b}=\left[\begin{array}{c}-3\\ -1\\ 0\\ 2\\ 5\\ 1\end{array}\right]$$

解

计算

$$A^{\mathrm{T}}A=\left[\begin{array}{cccccc}1& 1& 1& 1& 1& 1\\ 1& 1& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 1& 1\end{array}\right]\left[\begin{array}{cccc}1& 1& 0& 0\\ 1& 1& 0& 0\\ 1& 0& 1& 0\\ 1& 0& 1& 0\\ 1& 0& 0& 1\\ 1& 0& 0& 1\end{array}\right]=\left[\begin{array}{cccc}6& 2& 2& 2\\ 2& 2& 0& 0\\ 2& 0& 2& 0\\ 2& 0& 0& 2\end{array}\right]$$$$A^{\mathrm{T}}\mathbf{b}=\left[\begin{array}{cccccc}1& 1& 1& 1& 1& 1\\ 1& 1& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 1& 1\end{array}\right]\left[\begin{array}{c}-3\\ -1\\ 0\\ 2\\ 5\\ 1\end{array}\right]=\left[\begin{array}{c}4\\ -4\\ 2\\ 6\end{array}\right]$$

矩阵方程 $A^{T}Ax=A^{T}b$ 的增广矩阵是

$$\left[\begin{array}{ccccc}6& 2& 2& 2& 4\\ 2& 2& 0& 0& -4\\ 2& 0& 2& 0& 2\\ 2& 0& 0& 2& 6\end{array}\right]\sim \left[\begin{array}{ccccc}1& 0& 0& 1& 3\\ 0& 1& 0& -1& -5\\ 0& 0& 1& -1& -2\\ 0& 0& 0& 0& 0\end{array}\right]$$

通解是 $x_1=3-x_4$ ， $x_2=-5+x_4$ ， $x_3=-2+x_4$ ， $x_4$ 是自由变量。所以，Ax=b 的最小二乘通解具有下面形式：

$$\hat{\mathbf{x}}=\left[\begin{array}{c}3\\ -5\\ -2\\ 0\end{array}\right]+x_4\left[\begin{array}{c}-1\\ 1\\ 1\\ 1\end{array}\right]$$

下面的定理给出判定准则：在什么条件下，方程 Ax=b 的最小二乘解是唯一的。（当然，正交投影 $\hat{b}$ 总是唯一的。）

定理 14

设 $A$ 是 $m\times n$ 矩阵. 下面的条件是逻辑等价的:

$a$）对于 ${\mathbb{R}}^m$ 中的每个 $b$ ，方程 $Ax=b$ 有唯一最小二乘解.

$b$）A 的列是线性无关的.

$c$）矩阵 $A^{\mathrm{T}}A$ 是可逆的.

当这些条件成立时，最小二乘解 $\hat{x}$ 有下面的表示：

$$\hat{\mathbf{x}}=(A^{\mathrm{T}}A{)}^{-1}{A}^{\mathrm{T}}\mathbf{b}\text{\hspace{1em}(4)}$$

定理14 证明的主要部分在习题 19~21 中给出，证明的同时也复习了第 4 章的概念。用公式（4）计算 $\hat{x}$ 的方法主要具有理论意义，当 $A^{T}A$ 是 $2\times 2$ 可逆矩阵时可用手工计算。

当最小二乘解 $\hat{x}$ 用于产生 $b$ 的近似 $A\hat{x}$ 时，从 $b$ 到 $A\hat{x}$ 的距离称为这个近似的最小二乘误差.例3如例1给出的 $A$ 和 $b$ ，确定 $Ax=b$ 最小二乘解的最小二乘误差

解

从例1可知，

$$\mathbf{b}=\left[\begin{array}{l}2\\ 0\\ 11\end{array}\right],A\hat{\mathbf{x}}=\left[\begin{array}{ll}4& 0\\ 0& 2\\ 1& 1\end{array}\right]\left[\begin{array}{l}1\\ 2\end{array}\right]=\left[\begin{array}{l}4\\ 4\\ 3\end{array}\right]$$

因此

$$\mathbf{b}-A\hat{\mathbf{x}}=\left[\begin{array}{l}2\\ 0\\ 11\end{array}\right]-\left[\begin{array}{l}4\\ 4\\ 3\end{array}\right]=\left[\begin{array}{l}-2\\ -4\\ 8\end{array}\right]$$$$\Vert \mathbf{b}-A\hat{\mathbf{x}}\Vert =\sqrt{(-2{)}^2+(-4{)}^2+8^2}=\sqrt{84}$$

最小二乘误差是 $\sqrt{84}$ 。对任意属于 ${\mathbb{R}}^2$ 的 $x$ ，从 $b$ 到向量 $Ax$ 的最小距离是 $\sqrt{84}$ ，见图 6-25。注意最小二乘解 $\hat{x}$ 自身并没有在图中出现。

图 6-25

最小二乘解的另一个计算

下面的例子表明，当 $A$ 的列向量正交时，如何求出 $Ax=b$ 的最小二乘解。这类矩阵常出现在下节要讨论的线性回归问题中。

例 4

求出 $Ax=b$ 的最小二乘解，其中

$$A=\left[\begin{array}{cc}1& -6\\ 1& -2\\ 1& 1\\ 1& 7\end{array}\right],\mathbf{b}=\left[\begin{array}{c}-1\\ 2\\ 1\\ 6\end{array}\right]$$

解

由于 $A$ 的列 $a_1$ 和 $a_2$ 相互正交，因此 $b$ 在 Col A 上的正交投影如下：

$$\hat{b}=\frac{b\cdot a_1}{a_1\cdot a_1}\cdot a_1+\frac{b\cdot a_2}{a_2\cdot a_2}\cdot a_2=\frac{8}{4}{a}_1+\frac{45}{90}{a}_2\text{\hspace{1em}(5)}$$$$=\left[\begin{array}{l}2\\ 2\\ 2\\ 2\end{array}\right]+\left[\begin{array}{l}-3\\ -1\\ 1/2\\ 7/2\end{array}\right]=\left[\begin{array}{c}-1\\ 1\\ 5/2\\ 11/2\end{array}\right]$$

既然 $\hat{b}$ 已知，我们可以解 $A\hat{x}=\hat{b}$ 。这个很容易，因为我们已经知道 $\hat{b}$ 用 $A$ 的列线性表示时的权。从（5）立刻得到

$$\hat{\mathbf{x}}=\left[\begin{array}{l}8/4\\ 45/90\end{array}\right]=\left[\begin{array}{l}2\\ 1/2\end{array}\right]$$

某些时候，最小二乘解问题的法方程可能是病态的，也就是 $A^{\mathrm{T}}A$ 的元素在计算中出现的小误差有时可导致解 $\hat{x}$ 中出现较大的误差。如果 $A$ 的列线性无关，则最小二乘解常常可通过 $A$ 的QR分解更可靠地求出（见6.4节的描述）。

定理 15

给定一个 $m\times n$ 矩阵 $A$，它具有线性无关的列，取 A = QR 是 $A$ 类似定理12 的 QR 分解，那么对每一个属于 $R^m$ 的 $b$，方程 Ax = b 有唯一的最小二乘解，其解为

$$\hat{\mathbf{x}}=R^{-1}{Q}^{\mathrm{T}}\mathbf{b}\text{\hspace{1em}(6)}$$

证明

取 $\hat{x}=R^{-1}{Q}^{\mathrm{T}}b$ ，那么 $A\hat{x}=QR\hat{x}=QR{R}^{-1}{Q}^{\mathrm{T}}b=Q{Q}^{\mathrm{T}}b$

由定理12 的列形成 Col A 的标准正交基，因此，由定理10， $Q$ 的列形成 Col A 的标准正交基，因此，由定理 10， $Q{Q}^{T}b$ 是 $b$ 在 Col A 上的正交投影 $\hat{b}$ ，那么 $A\hat{x}=\hat{b}$ 的唯一性可从定理14 得出。$\hat{x}$ 是 Ax = b 的最小二乘解。 $\hat{x}$ 的唯一性可从定理 14 得出。

数值计算的注解 由于定理15中的 $R$ 是上三角形矩阵，故 $\hat{x}$ 可从方程

$$R\mathbf{x}=Q^{\mathrm{T}}\mathbf{b}\text{\hspace{1em}(7)}$$

计算得到. 求解方程（7）时，通过回代过程或行变换比利用（6）计算 $R^{-1}$ 更快.

例 5

求出 $Ax=b$ 的最小二乘解，其中

$$A=\left[\begin{array}{lll}1& 3& 5\\ 1& 1& 0\\ 1& 1& 2\\ 1& 3& 3\end{array}\right],\mathbf{b}=\left[\begin{array}{c}3\\ 5\\ 7\\ -3\end{array}\right]$$

解

利用 6.4 节可得 $A$ 的 QR 分解.

$$A=QR=\left[\begin{array}{ccc}1/2& 1/2& 1/2\\ 1/2& -1/2& -1/2\\ 1/2& -1/2& 1/2\\ 1/2& 1/2& -1/2\end{array}\right]\left[\begin{array}{ccc}2& 4& 5\\ 0& 2& 3\\ 0& 0& 2\end{array}\right]$$

那么

$$Q^{\mathrm{T}}b=\left[\begin{array}{cccc}1/2& 1/2& 1/2& 1/2\\ 1/2& -1/2& -1/2& 1/2\\ 1/2& -1/2& 1/2& -1/2\end{array}\right]\left[\begin{array}{c}3\\ 5\\ 7\\ -3\end{array}\right]=\left[\begin{array}{c}6\\ -6\\ 4\end{array}\right]$$

满足 $Rx=Q^{T}b$ 的最小二乘解是 $\hat{x}$ ，也就是说，

$$\left[\begin{array}{lll}2& 4& 5\\ 0& 2& 3\\ 0& 0& 2\end{array}\right]\left[\begin{array}{l}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}6\\ -6\\ 4\end{array}\right]$$

这个方程很容易解出，得 $\hat{x}=\left[\begin{array}{c}10\\ -6\\ 2\end{array}\right]$

练习题

1. 令 $A=\left[\begin{array}{ccc}1& -3& -3\\ 1& 5& 1\\ 1& 7& 2\end{array}\right]$ 和 $b=\left[\begin{array}{c}5\\ -3\\ -5\end{array}\right]$ ，求 $Ax=b$ 的一个最小二乘解，并且计算最小二乘解的误差.

2. 当 $b$ 与 $A$ 的列正交时，对 Ax=b 的最小二乘解，你可得出什么结论？

习题6.5

在习题 1~4 中，求 Ax=b 的最小二乘解. ($a$) 通过构造法方程求 $\hat{x}$ ，($b$) 直接解 $\hat{x}$ .

$$A=\left[\begin{array}{cc}-1& 2\\ 2& -3\\ -1& 3\end{array}\right],\mathbf{b}=\left[\begin{array}{l}4\\ 1\\ 2\end{array}\right]$$$$A=\left[\begin{array}{lll}1& 1& 0\\ 1& 1& 0\\ 1& 0& 1\\ 1& 0& 1\end{array}\right],\mathbf{b}=\left[\begin{array}{l}1\\ 3\\ 8\\ 2\end{array}\right]$$$$A=\left[\begin{array}{cc}2& 1\\ -2& 0\\ 2& 3\end{array}\right],\mathbf{b}=\left[\begin{array}{c}-5\\ 8\\ 1\end{array}\right]$$$$A=\left[\begin{array}{lll}1& 1& 0\\ 1& 1& 0\\ 1& 1& 0\\ 1& 0& 1\\ 1& 0& 1\\ 1& 0& 1\end{array}\right],\mathbf{b}=\left[\begin{array}{l}7\\ 2\\ 3\\ 6\\ 5\\ 4\end{array}\right]$$$$3.A=\left[\begin{array}{cc}1& -2\\ -1& 2\\ 0& 3\\ 2& 5\end{array}\right],\mathbf{b}=\left[\begin{array}{c}3\\ 1\\ -4\\ 2\end{array}\right]$$$$A=\left[\begin{array}{cc}1& 3\\ 1& -1\\ 1& 1\end{array}\right],\mathbf{b}=\left[\begin{array}{c}5\\ 1\\ 0\end{array}\right]$$

7. 计算习题 3 中与最小二乘解相关的最小二乘误差.

在习题 5~6 中，求方程 Ax=b 的所有最小二乘解.

8. 计算习题 4 中与最小二乘解相关的最小二乘误差.

在习题 9~12 中，求：（$a$）b 在 Col A 上的正交投影，（$b$）Ax = b 的最小二乘解.

9. $A=\left[\begin{array}{cc}1& 5\\ 3& 1\\ -2& 4\end{array}\right],b=\left[\begin{array}{c}4\\ -2\\ -3\end{array}\right]$

10. $A=\left[\begin{array}{cc}1& 2\\ -1& 4\\ 1& 2\end{array}\right],b=\left[\begin{array}{c}3\\ -1\\ 5\end{array}\right]$

11. $A=\left[\begin{array}{ccc}4& 0& 1\\ 1& -5& 1\\ 6& 1& 0\\ 1& -1& -5\end{array}\right],b=\left[\begin{array}{c}9\\ 0\\ 0\\ 0\end{array}\right]$

12. $A=\left[\begin{array}{ccc}1& 1& 0\\ 1& 0& -1\\ 0& 1& 1\\ -1& 1& -1\end{array}\right],b=\left[\begin{array}{c}2\\ 5\\ 6\\ 6\end{array}\right]$

13. 令 $A=\left[\begin{array}{cc}3& 4\\ -2& 1\\ 3& 4\end{array}\right]$ , $b=\left[\begin{array}{c}11\\ -9\\ 5\end{array}\right]$ , $u=\left[\begin{array}{c}5\\ -1\end{array}\right]$ 和 $v=\left[\begin{array}{c}5\\ -2\end{array}\right]$ , 计算 $Au$ 和 $Av$ , 并与 $b$ 相比较. $u$ 是否为 $Ax=b$ 的最小二乘解? (不用计算最小二乘解回答这个问题.)

14. 令 $A=\left[\begin{array}{cc}2& 1\\ -3& -4\\ 3& 2\end{array}\right]$ , $b=\left[\begin{array}{c}5\\ 4\\ 4\end{array}\right]$ , $u=\left[\begin{array}{c}4\\ -5\end{array}\right]$ 和 $v=\left[\begin{array}{c}6\\ -5\end{array}\right]$ , 计算 $Au$ 和 $Av$ , 并与 $b$ 相比较. 是否有可能至少有一个 $u$ 或 $v$ 是 $Ax=b$ 的最小二乘解？（不用计算最小二乘解回答这个问题。）

在习题 15~16 中，利用分解 A=QR 求 Ax=b 的最小二乘解.

15. $A=\left[\begin{array}{cc}2& 3\\ 2& 4\\ 1& 1\end{array}\right]=\left[\begin{array}{cc}2/3& -1/3\\ 2/3& 2/3\\ 1/3& -2/3\end{array}\right]\left[\begin{array}{cc}3& 5\\ 0& 1\end{array}\right],b=\left[\begin{array}{c}7\\ 3\\ 1\end{array}\right]$

$$A=\left[\begin{array}{ll}1& -1\\ 1& 4\\ 1& -1\\ 1& 4\end{array}\right]=\left[\begin{array}{ll}1/2& -1/2\\ 1/2& 1/2\\ 1/2& -1/2\\ 1/2& 1/2\end{array}\right]\left[\begin{array}{ll}2& 3\\ 0& 5\end{array}\right],\mathbf{b}=\left[\begin{array}{l}-1\\ 6\\ 5\\ 7\end{array}\right]$$

在习题 17~18 中，$A$ 是 $m\times n$ 矩阵且 $b$ 属于 $R^m$ ，判断下列命题正确或错误，验证每一个答案.

17. $a$. 一般最小二乘问题是求出 $x$ 使得 Ax 尽可能接近 $b$. b. 方程 Ax = b 的最小二乘解是满足方程 $A\hat{x}=\hat{b}$ 的向量 $\hat{x}$ ，其中 $\hat{b}$ 是 $b$ 在 Col A 上的正交投影. c. 方程 Ax = b 的最小二乘解是向量 $\hat{x}$ ，对所有属于 $R^n$ 的 $x$ 满足 $\Vert b-Ax\Vert ⩽\Vert b-A\hat{x}\Vert$

$d$. 方程 $A^{\mathrm{T}}Ax=A^{\mathrm{T}}b$ 的任意解是方程 $Ax=b$ 的最小二乘解.

$e$. 如果 $A$ 的列线性无关，那么方程 $Ax=b$ 只有一个最小二乘解.

18. $a$. 如果 $b$ 属于 $A$ 的列空间，那么方程 Ax=b 的每个解都是最小二乘解. b. 方程 Ax=b 的最小二乘解是 $A$ 的列空间中最接近 $b$ 的点. c. 方程 Ax=b 的最小二乘解是一系列的权，当它们作用在 $A$ 的列时，产生 $b$ 在 Col A 上的正交投影. d. 如果 $\hat{x}$ 是 Ax=b 的一个最小二乘解, 那么 $\hat{x}=(A^{\mathrm{T}}A{)}^{-1}{A}^{\mathrm{T}}\hat{b}$ . e. 法方程计算最小二乘解的方法总是可靠的. f. 如果 $A$ 有一个 QR 分解，如 A=QR，那么求 Ax=b 最小二乘解的最好方法是计算 $\hat{x}=R^{-1}{Q}^{T}b$ .

19. 设 $A$ 是一个 $m\times n$ 矩阵，利用下面的步骤说明，向量 $x$ 属于 $R^n$ 且满足 Ax = 0 的充分必要条件是 $A^{T}Ax=0$ 。这将证明 Nul A = Nul $A^{T}A$ 。 a. 证明：如果 Ax = 0 ，那么 $A^{T}Ax=0$ 。 b. 假若 $A^{T}Ax=0$ ，解释为什么 $x^T{A}^{T}Ax=0$ 并利用此式证明 Ax = 0。

20. 设 $A$ 是一个 $m\times n$ 矩阵且 $A^{\mathrm{T}}A$ 是可逆的，证明

$A$ 的列线性无关.（注意：不能假设 $A$ 可逆，且更不一定是方阵.）

21. 设 $A$ 是 $m\times n$ 矩阵且列向量线性无关（注意：$A$ 不一定是方阵）. a. 利用习题 19 证明 $A^{T}A$ 是可逆矩阵. b. 解释为什么 $A$ 具有至少与行一样多的列. c. 确定 $A$ 的秩.

22. 利用习题 19 证明 rank $A^{T}A=\text{rank }A$ . （提示： $A^{T}A$ 有多少列？如何与 $A^{T}A$ 的秩联系起来？）

23. 假设 $A$ 是 $m\times n$ 矩阵且有线性无关的列， $b$ 属于 ${\mathbb{R}}^m$ ，利用法方程给出一个计算 $\hat{b}$ 的公式， $\hat{b}$ 是 $b$ 在 $\mathrm{Col}A$ 上的投影。（提示：首先求出 $\hat{x}$ ，这个公式不需要 $\mathrm{Col}A$ 的正交基。）

24. 当 $A$ 的列是单位正交时，找出方程 Ax=b 最小二乘解的一个公式.

25. 列出下列方程组的所有最小二乘解：

$$\begin{array}{l}x+y=2\\ x+y=4\end{array}$$

26. [$M$] 4.8 节的例3 显示了一个低通线性滤波器，将信号 $\{y_k\}$ 过滤为 $\{y_{k+1}\}$ ，并将高频信号 $\{w_k\}$ 过滤为零信号，其中 $y_k=\cos (\pi k/4)$ ， $w_k=\cos (3\pi k/4)$ 。下面的计算将设计一个滤波器近似满足此特性。滤波器方程为

$a_0{y}_{k+2}+a_1{y}_{k+1}+a_2{y}_k=z_k$ ，对所有$k$成立（8）因为信号是周期性的，且周期为8，故对方程（8）只需研究 $k=0,\cdots ,7$ 即可．滤波器的作用是将上面描述的两个信号转化为两个8

练习题答案

个方程的集合.

$$y_{k+2}{y}_{k+1}{y}_k{y}_{k+1}$$$$\begin{array}{ll}k=0& \left[\begin{array}{ccc}0& 0.7& 1\\ -0.7& 0& 0.7\\ -1& -0.7& 0\\ -0.7& -1& -0.7\\ 0& -0.7& -1\\ 0.7& 0& -0.7\\ 1& 0.7& 0\\ 0.7& 1& 0.7\end{array}\right]\left[\begin{array}{l}{a}_0\\ a_1\\ a_2\end{array}\right]=\left[\begin{array}{l}0.7\\ 0\\ -0.7\\ -1\\ -0.7\\ 0\\ 0.7\\ 1\end{array}\right]\\ k=7& \end{array}$$$$\begin{array}{ll}& w_{k+2}{w}_{k+1}{w}_k\\ k=0& \left[\begin{array}{ccc}0& -0.7& 1\\ 0.7& 0& -0.7\\ -1& 0.7& 0\\ 0.7& -1& 0.7\\ 0& 0.7& -1\\ -0.7& 0& 0.7\\ 1& -0.7& 0\\ -0.7& 1& -0.7\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\end{array}\right]\\ k=7& \end{array}$$

写出一个方程 Ax=b，其中 $A$ 是一个 $16\times 3$ 矩阵，由上面两个系数矩阵组成，$b$ 属于 $R^{16}$ ，由上面两个方程右边的向量组成。求由 Ax=b 的最小二乘解确定的 $a_0,a_1,a_2$ （上面数据中的 0.7 是 $\sqrt{2}/2$ 的一个近似值，用以说明典型的实际问题中如何进行计算。如果用 0.707 代替，所得过滤系数与精确的算术计算结果 $\sqrt{2}/4,1/2,\sqrt{2}/4$ 相比至少有 7 位相同的十进制位数）。

1. 首先计算

$$A^{\mathrm{T}}A=\left[\begin{array}{lll}1& 1& 1\\ -3& 5& 7\\ -3& 1& 2\end{array}\right]\left[\begin{array}{lll}1& -3& -3\\ 1& 5& 1\\ 1& 7& 2\end{array}\right]=\left[\begin{array}{lll}3& 9& 0\\ 9& 83& 28\\ 0& 28& 14\end{array}\right]$$$$A^{\mathrm{T}}\mathbf{b}=\left[\begin{array}{rrr}1& 1& 1\\ -3& 5& 7\\ -3& 1& 2\end{array}\right]\left[\begin{array}{l}5\\ -3\\ -5\end{array}\right]=\left[\begin{array}{l}-3\\ -65\\ -28\end{array}\right]$$

下一步，行化简法方程 $A^{T}Ax=A^{T}b$ 的增广矩阵：

$$\left[\begin{array}{cccc}3& 9& 0& -3\\ 9& 83& 28& -65\\ 0& 28& 14& -28\end{array}\right]\sim \left[\begin{array}{cccc}1& 3& 0& -1\\ 0& 56& 28& -56\\ 0& 28& 14& -28\end{array}\right]\sim \cdots \sim \left[\begin{array}{cccc}1& 0& -3/2& 2\\ 0& 1& -1/2& -1\\ 0& 0& 0& 0\end{array}\right]$$

一般最小二乘解是 $x_1=2+\frac{3}{2}{x}_3$ ， $x_2=-1-\frac{1}{2}{x}_3$ ， $x_3$ 是自由变量．对一个特解，例如取 $x_3=0$ ，可得

$$\hat{\mathbf{x}}=\left[\begin{array}{c}2\\ -1\\ 0\end{array}\right]$$

为得到最小二乘误差，计算

$$\hat{\mathbf{b}}=A\hat{\mathbf{x}}=\left[\begin{array}{ccc}1& -3& -3\\ 1& 5& 1\\ 1& 7& 2\end{array}\right]\left[\begin{array}{c}2\\ -1\\ 0\end{array}\right]=\left[\begin{array}{c}5\\ -3\\ -5\end{array}\right]$$

结果出现 $\hat{b}=b$ ，所以 $\Vert b-\hat{b}\Vert =0$ ．由于 $b$ 恰好属于Col $A$ ，因此最小二乘误差为零.

2. 如果 $b$ 与 $A$ 的列正交，那么 $b$ 在 $A$ 的列空间上的投影是 0。在这种情形下，Ax=b 的最小二乘解 $\hat{x}$ 满足 $A\hat{x}=0$ 。