线性代数及其应用（六）-正交性和最小二乘法

1. 內积、长度和正交性

• 如果$\vec{u}$和$\vec{v}$是$R^n$空间中的向量，可以将$\vec{u}$和$\vec{v}$作为$n\times 1$矩阵。向量矩阵$\vec{u}^T$是1xn矩阵且矩阵成绩$\vec{u}^T\vec{v}$是一个1x1矩阵，我们将其记为一个不加括号的实数。如$\vec{u}^T\vec{v}$称为$\vec{u}$和$\vec{v}$的內积，并记做$\vec{u}\cdot\vec{v}$。
• 如果$\vec{u} = \left[
  \begin{matrix}

   u_0 \\
   u_1 \\
  \cdots \\ u_n \end{matrix}
  \right]$和$\vec{v} = \left[
  

  \begin{matrix}

   v_0 \\
   v_1 \\
  \cdots \\ v_n \end{matrix}
  \right]$，那么$\vec{u}$和$\vec{v}$的內积定义为$\left[
  

  \begin{matrix}

   u_0 & u_1 & \cdots & u_n \end{matrix}
  \right]\left[
  

  \begin{matrix}

   v_0 \\
   v_1 \\
  \cdots \\ v_n \end{matrix}
  \right] = u_0v_0 + u_1v_1 + \cdots + u_nv_n$
  

• 向量$\vec{v}$的长度（范数）是非负数$||\vec{v}||$定义为$||\vec{v}|| = \sqrt{\vec{v}\cdot \vec{v}} = \sqrt{v_1^2 + \cdots + v_n^2}$且$||\vec{v}||^2 = \vec{v}\cdot \vec{v}$
• $R^n$中向量$\vec{u}$和$\vec{v}$的距离，记作$dist(\vec{u}, \vec{v})$，表示向量$\vec{u} - \vec{v}$的长度，即$dist(\vec{u}, \vec{v}) = ||\vec{u} - \vec{v}||$
• 如果$\vec{u}\cdot\vec{v} = 0$，则两个向量$\vec{u}$和$\vec{v}$称为（相互）正交的
• 毕达哥拉斯（勾股）定理
  • 两个向量$\vec{u}$和$\vec{v}$正交的充分必要条件是$||\vec{u} + \vec{v}||^2 = ||\vec{u}||^2 + ||\vec{v}||^2$
• 如果向量$\vec{z}$与$R^n$的子空间W中的任意向量都正交，则称$\vec{z}$正交于W，与子空间W正交的向量$\vec{z}$的全体组成的集合称为W的正交补，并记作$W^\perp$（读作W正交补）

2. 正交集

• $R^n$中的向量集合$\{\bf{u}_1, \cdots, \bf{u}_p\}$称为正交向量集，如果集合中的任意两个不同向量都正交，即当$i\neq j$时，$\bf{u}_i\cdot \bf{u}_j = 0$

• 如果$S = \{\bf{u}_1, \cdots, \bf{u}_p\}$是由$R^n$空间中非零向量构成的正交集，那么S是线性无关集，因此构成所生成的子空间S的一组基

• 假设$\{\bf{u}_1, \cdots, \bf{u}_p\}$是$R^n$中子空间W的正交基，对W中的每个向量$\bf{y}$，线性组合$\bf{y} = c_1\bf{u}_1 +\cdots + c_p\bf{u}_p$中的权值可以由$c_j = \frac{\bf{y}\cdot \bf{u}_j}{\bf{u}_j\cdot\bf{u}_j} (j = 1, \dots, p)$计算

• 正交分解定理

  • 若W是$R^n$的一个子空间，那么$R^n$中每一个向量$\bf{y}$可以惟一表示，$\bf{y} = \hat{\bf{y}} + \bf{z}$，此处$\hat{\bf{y}}$属于W且$\bf{z}$属于$W^{\perp}$，实际上，如果$\{\bf{u}_1, \cdots, \bf{u}_p\}$是W的任意正交基，那么$\hat{\bf{y}} = \frac{\bf{y}\cdot\bf{u}_1}{\bf{u}_1\cdot\bf{u}_1}\bf{u}_1 + \cdots + \frac{\bf{y}\cdot\bf{u}_p}{\bf{u}_p\cdot\bf{u}_p}\bf{u}_p$且$\bf{z} = \bf{y} - \hat{\bf{y}}$，其中$\hat{\bf{y}}$称为$\bf{y}$在W上的正交投影，常记作$proj_W\bf{y}$

• 最佳逼近定理

  • 假设W是$R^n$空间中的一个子空间，$\bf{y}$是$R^n$中的任意向量，$\hat{\bf{y}}$是$\bf{y}$在W上的正交投影，那么$\hat{\bf{y}}$是W中最接近$\bf{y}$的点，也就是指$||\bf{y} - \hat{\bf{y}}|| < ||\bf{y} - \bf{v}||$，对所有属于W又异于$\hat{\bf{y}}$的$\bf{v}$成立

• 格拉姆-施密特方法

  • 对$R^n$中子空间的一个基$\{\bf{x}_1, \dots, \bf{x}_p\}$，定义

    $\bf{v}_1 = \bf{x}_1$,

    $\bf{x}_2 = \bf{x}_2 - \frac{\bf{x}_2\cdot\bf{v}_1}{\bf{v}_1\cdot\bf{v}_1}\bf{v}_1$,

    $\cdots$,

    $\bf{v}_p = \bf{x}_p - \frac{\bf{x}_p\cdot\bf{v}_1}{\bf{v}_1\cdot\bf{v}_1}\bf{v}_1 - \frac{\bf{x}_p\cdot\bf{v}_2}{\bf{v}_2\cdot\bf{v}_2}\bf{v}_2 - \cdots - \frac{\bf{x}_p\cdot\bf{v}_{p-1}}{\bf{v}_{p-1}\cdot\bf{v}_{p-1}}\bf{v}_{p-1}$.

    那么$\{\bf{v}_1, \dots, \bf{v}_p\}$是W的一个正交基，此外，

    $Span\{\bf{v}_1, \dots, \bf{v}_p\} = Span\{\bf{x}_1, \dots, \bf{x}_k\}$，其中$1 \leq k \leq p$.

3. 最小二乘问题

• 问题背景
  • 巨型方程组$Ax = b$，在实际工作中往往很难直接求解，最好的方法是寻找x，使得Ax尽可能的接近于b
• 考虑Ax作为b的一个近似，从b到Ax的距离最小，$||\bf{b} - A\bf{x}||$近似程度越好。一般的最小二乘问题就是找出使$||\bf{b} - A\bf{x}||$尽量小的$\bf{x}$
• 如果mxn矩阵A和向量$\bf{b}$属于$R^n$，$A\bf{x} = \bf{b}$的最小二乘解是$R^n$中的$\hat{\bf{x}}$，使得$||\bf{b} - A\hat{\bf{x}}|| \leq ||\bf{b} - A\bf{x}||$对所有$\bf{x} \in R$成立
• 方程$A\bf{x} = \bf{b}$的最小二乘解集和法方程$A^TA\bf{x} = A^T\bf{b}$的非空解集一致
• 矩阵$A^TA$是可逆的充分必要条件是：A的列是线性无关的。在这种情形下，方程$A\bf{x} = \bf{b}$有惟一最小二乘解$\hat{\bf{x}}$且它有下面的表示$\hat{\bf{x}} = (A^TA)^{-1}A^T\bf{b}$
• 给定一个mxn矩阵A，且具有线性无关的列，取A = QR是A的QR分解，那么对每一个属于$R^m$的$\bf{b}$，矩阵$A\bf{x} = \bf{b}$有惟一的最小二乘解，其解为$\hat{\bf{x}} = R^{-1}Q^T\bf{b}$

4. 內积空间

• 向量空间V上的內积是一个函数，对每一对属于V的向量$\bf{u}$和$\bf{v}$，存在一个实数$<\bf{u}, \bf{v}>$满足下面公理。对任意属于V的$\bf{u}$，$\bf{v}$，$\bf{w}$和所有数c,

  $<\bf{u}, \bf{v}> = <\bf{v}, \bf{u}>$,

  $<\bf{u} + \bf{v}, \bf{w}> = <\bf{u}, \bf{w}> + <\bf{v}, \bf{w}>$,

  $ = c<\bf{u}, \bf{v}>$,

  $<\bf{u}, \bf{v}> \geq 0$，且$<\bf{u}, \bf{v}> = 0的充分必要条件是$$\bf{u} = 0$,

  一个赋予上面內积的向量空间称为內积空间

• 柯西-施瓦茨不等式

  • 对空间V中任意向量$\bf{u}$和$\bf{v}$，有$|<\bf{u}, \bf{v}>| \leq ||\bf{u}||||\bf{v}||$

• 三角不等式

  • 对属于V的所有向量$\bf{u}$，$\bf{v}$，有$||\bf{u} + \bf{v}|| \leq ||\bf{u}|| + ||\bf{v}||$