矩阵论复习
线性空间
线性空间 \(V\) 对线性运算封闭，即对于任意 \(\alpha, \beta \in V\) 和任意标量 \(k\)，有 \(\alpha + \beta \in V\) 和 \(k\alpha \in V\)。并且加法和数乘运算满足下面八条法则：
- 加法交换律：\(\alpha + \beta = \beta + \alpha\)
- 加法结合律：\((\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)\)
- \(V\) 中存在零元素
- 存在负元素
- 数乘结合律：\(k(l\alpha) = (kl)\alpha\)
- 存在 1：\(1 \cdot \alpha = \alpha\)
- 分配律：\(k(\alpha + \beta) = k\alpha + k\beta\)
- 分配律：\((k + l)\alpha = k\alpha + l\alpha\)
线性空间的基
\(V\) 中一线性无关的向量组，\(V\) 中任一向量可被其唯一线性表出，线性组合的系数为向量在这组基下的坐标。基中元素个数为线性空间的维数
题型：已知一组基 \(A\) 和向量 \(x\)，求向量在这组基下的坐标 \(X\) (作业第 1 题)
利用公式 \(AX=x\)，得到 \(X=A^{-1}x\)
定理：向量组在一组基下的坐标线性相关则向量组线性相关
基变换
设 \(V\) 有两组基 \(A = \{\alpha_1, \alpha_2, \cdots, \alpha_n\}\) 和 \(B = \{\beta_1, \beta_2, \cdots, \beta_n\}\)，则有基变换公式： \[B = AC\]
\(C\) 为从 \(A\) 到 \(B\) 的基变换矩阵，其中 \(C\) 的第 \(i\) 列为 \(\beta_i\) 在 \(A\) 下的坐标
向量 \(x\) 在 \(A\) 下的坐标 \(X\) 和在 \(B\) 下的坐标 \(Y\) 满足： \[X=CY\]
题型：给定两组基，求基变换矩阵 \(C\) (作业第 2 题)
利用公式 \(B=AC\)，得到 \(C=A^{-1}B\)。有时不好求逆矩阵，可以求出基 \(B\) 中向量在基 \(A\) 下的坐标，然后组成矩阵 \(C\)
子空间
\(V\) 的子集 \(W\)，对于任意 \(\alpha, \beta \in W\) 和任意标量 \(k\)，有 \(\alpha + \beta \in W\) 和 \(k\alpha \in W\)，则 \(W\) 为 \(V\) 的子空间
子空间的交空间 \(W_1 \cap W_2\)、和空间 \(W_1 + W_2\) 均为 \(V\) 的子空间
维数公式：\(\mathrm{dim}(W_1) + \mathrm{dim}(W_2) = \mathrm{dim}(W_1 + W_2) + \mathrm{dim}(W_1 \cap W_2)\)
题型：已知两个子空间的基，求交空间和和空间的基和维数 (作业第 3 题)
将两个子空间基作为一个向量组，求其极大线性无关组，即为和空间的基。利用维数公式求交空间的维数。设向量 \(\xi\) 在交空间内，则它可由两个子空间的基线性表出，解方程组得到交空间的基。
直和
当 \(W_1 \cap W_2 = \{0\}\) 时，直和 \(W_1 \oplus W_2 = W_1 + W_2\)
设 \(W = W_1 + W_2\)，以下条件等价：
- \(W = W_1 \oplus W_2\)
- \(\mathrm{dim}(W) = \mathrm{dim}(W_1) + \mathrm{dim}(W_2)\)
- 零向量唯一表出，即 \(0=x_1+x_2\)，其中 \(x_1 \in W_1, x_2 \in W_2\)，则 \(x_1=x_2=0\)
题型：证明某空间 \(V\) 是两个空间 \(W_1\),\(W_2\) 的直和 (作业第 4、5 题)
先证明 \(V=W_1+W_2\)，即 \(\forall x \in V\)，总有 \(x = x_1 + x_2\)，其中 \(x_1 \in W_1, x_2 \in W_2\)。
可用各空间的基表出上式，得到方程组，再根据增广矩阵的秩判断方程组是否有唯一解。
再证明 \(V=W_1 \oplus W_2\)，可以利用 \(\mathrm{dim}(V) = \mathrm{dim}(W_1) + \mathrm{dim}(W_2)\)
线性变换
变换 \(T\) 满足 \(T(\alpha + \beta) = T\alpha + T\beta\) 和 \(T(k\alpha) = kT\alpha\)，且 \(T\) 是 \(V^n\) 到自身的变换，则 \(T\) 为 \(V^n\) 的线性变换
题型：证明变换 \(T\) 是线性变换 (作业第 6 题)
根据变换的定义，计算 \(T(k_1\alpha + k_2\beta) = k_1T\alpha + k_2T\beta\)，若等式成立则 \(T\) 是线性变换
题型：已知线性变换 \(T\) 的定义，求 \(T\) 在给定基 \(B\) 下的矩阵 \(A\) (作业第 15 题)
\[TB=T[\alpha_1, \alpha_2, \cdots, \alpha_n] = [T\alpha_1, T\alpha_2, \cdots, T\alpha_n] = [\alpha_1, \alpha_2, \cdots, \alpha_n]A\]
计算第三式，然后在第四式中对照结果得到矩阵 \(A\)
不同空间之间的变换
若 \(T\) 是从 \(V^n\) 到 \(V^m\) 的变换，\(V^n\) 的基为 \(B_\alpha\)，\(V^m\) 的基为 \(B_\beta\)，则有 \[TB_\alpha = B_\beta A\] 称 \(A\) 为 \(T\) 在基偶 \({B_\alpha,B_\beta}\) 下的矩阵
\(T\) 在另一对基偶 \({B_{\alpha'},B_{\beta'}}\) 下的矩阵为 \(B\)，\(B_{\alpha'}=B_\alpha P\)，\(B_{\beta'}=B_\beta Q\)，则有 \(B=Q^{-1}AP\)，即 \(A\) 与 \(B\) 是等价的
同一空间中的变换
若 \(T\) 为从 \(V^n\) 到自身的变换，取 \(B_\beta=B_\alpha\)，有 \[TB_\alpha = B_\alpha A\] 称 \(A\) 为 \(T\) 在基 \(B_\alpha\) 下的矩阵
\(T\) 在另一组基 \(B_{\alpha'}\) 下的矩阵为 \(B\)，\(B_{\alpha'}=B_\alpha P\)，则有 \(B=P^{-1}AP\)，即 \(A\) 与 \(B\) 是相似的 (作业第 7 题)
坐标关系
向量 \(\alpha\) 在基 \(B_\alpha\) 下的坐标为 \(X\)，则像 \(T\alpha\) 在基 \(B_\beta\) 下的坐标 \(Y\) 满足： \[Y=AX\]
核与值空间
\(T\) 是从 \(V^n\) 到 \(V^m\) 的变换。
\(T\) 的零空间 (核)：\(N(T) \triangleq \{\alpha \in V^n | T\alpha = 0\}\)，其维数称为 \(T\) 的零度 \(\mathrm{dim}\,N = \mathrm{null}\,T\)
\(T\) 的值空间 (值域)：\(R(T) \triangleq \{\beta \in V^m | T\alpha = \beta, \alpha \in V^n\}\)，其维数称为 \(T\) 的秩 \(\mathrm{dim}\,R = \mathrm{Rank}\,T\)
定理：\(\mathrm{null}\,T + \mathrm{Rank}\,T = n\)
特征值与特征向量
设 \(T\) 是从 \(V^n\) 的线性变换，\(\lambda\) 是标量，若存在非零向量 \(\xi\) 使得 \(T\xi = \lambda\xi\)，则称 \(\lambda\) 是 \(T\) 的特征值，\(\xi\) 是 \(T\) 的特征向量
\(X\) 为 \(\xi\) 的坐标，\(A\) 为 \(T\) 在基 \(B\) 下的矩阵，则有 \(AX=\lambda X\)
题型：求线性变换 \(T\) 的特征值和特征向量 (作业第 9 题)
先求 \(T\) 在基 \(B\) 下的矩阵 \(A\)，利用 \(\det(\lambda I - A ) = 0\) 求出特征值 \(\lambda\)，\((A-\lambda I)x=0\) 求出特征向量 \(x\)。
\(A\) 的特征向量就是 \(T\) 的特征向量在 \(B\) 下的坐标，有 \(\xi = B x\)
在不同基下同一特征值的特征向量是不同的，而特征值由 \(T\) 本身决定，与基的选取无关
定理：\(T\) 关于不同特征值的特征向量线性无关
特征多项式
\[f(\lambda) = |\lambda I_n - A| = (\lambda - \lambda_1)(\lambda - \lambda_2) \cdots (\lambda - \lambda_n)\]
- \(\mathrm{tr}A=\sum_{i=1}^n \lambda_{i}\)
- \(\det A = \prod_{i=1}^n \lambda_i\)
\(T\) 的特征值就是 \(f(\lambda)\) 的根
\(T\) 关于 \(\lambda_0\) 的特征子空间：\(V_{\lambda_0} = \{\xi | T\xi = \lambda_0 \xi, \xi \in V^n\}\)
特征子空间由 \(\lambda\) 的所有特征向量和零向量构成
\(\lambda_0\) 的几何重数：特征值 \(\lambda_0\) 对应线性无关特征向量的个数，也是特征子空间的维数，等于 \(n-\mathrm{Rank}(A-\lambda_0I)\)
\(\lambda_0\) 的代数重数：特征多项式 \(f(\lambda)\) 中特征值 \(\lambda_0\) 重根的次数。
特征值的代数重数大于等于几何重数
零化多项式和最小多项式
\(A\) 是一方阵，\(g(t)\) 是一个多项式，若 \(g(A)=0\)，则称 \(g(t)\) 是 \(A\) 的零化多项式
定理：\(A\) 的特征多项式是 \(A\) 的一个零化多项式，即 \(f(A)=0\)
\(A\) 的零化多项式中次数最低的首一多项式为 \(A\) 的最小多项式，记为 \(m_A(\lambda)\)
定理：\(A\) 的最小多项式 \(m_A(\lambda)\) 可整除 \(A\) 的任何零化多项式 \(g(\lambda)\)，记为 \(m_A(\lambda)|g(\lambda)\)
定理：\(m_A(\lambda)\) 唯一
定理：\(\lambda_0\) 是 \(m_A(\lambda)\) 的根 \(\Leftrightarrow\)\(\lambda_0\) 是 \(A\) 的特征值
题型：给定方阵 \(A\)，求其最小多项式 \(m_A(\lambda)\) (作业第 10 题)
先求特征多项式，列出 \(m_A(\lambda)\) 可能形式。
\(m_A(\lambda)\) 可能为 \((\lambda - \lambda_1)^{k_1} (\lambda - \lambda_2)^{k_2} \cdots (\lambda - \lambda_n)^{k_n}\)
其中 \(k_n \ge 1\)，并且不高于特征多项式中对应项的次数。
例如，若 \(f(\lambda) = (\lambda - 3)(\lambda - 2)^3\)，则 \(m_A(\lambda)\) 可能为：
- \((\lambda - 3)(\lambda - 2)\)
- \((\lambda - 3)(\lambda - 2)^2\)
- \((\lambda - 3)(\lambda - 2)^3\)
将 \(A\) 代替 \(\lambda\) 带入求值，值为零且总次数最低的就是最小多项式。
题型：求矩阵多项式 \(g(A)\) 的值 (作业第 12 题)
法一：
- 求 \(A\) 的特征多项式 \(f(\lambda)\)
- 用 \(g(\lambda)\) 除以 \(f(\lambda)\) 得到 \(g(\lambda)=f(\lambda)h(\lambda)+r(\lambda)\)
- 将 \(A\) 代入 \(r(A)\) 即可求出 \(g(A)\) 的值。
法二：
- 求 \(A\) 的特征多项式 \(f(\lambda)\)，\(g(\lambda)=f(\lambda)h(\lambda)+r(\lambda)\)，其中 \(r(\lambda)\) 次数低于 \(f(\lambda)\)
- 用待定系数法设出 \(r(\lambda)\)，然后将 \(A\) 的特征值代入 \(r(\lambda)\) 求系数
- 如果方程数量不够可对 \(g(\lambda)=f(\lambda)h(\lambda)+r(\lambda)\) 求导构造新方程，注意利用 \(n\) 重根处 \(n-1\) 阶导数值为 0 的性质
- 最后将 \(A\) 代入 \(r(A)\) 即可求出 \(g(A)\) 的值。
对角化
如果 \(T\) 在某组基 \(B\) 下的矩阵 \(A\) 是对角矩阵，则称 \(T\) 可对角化
可对角化的充要条件（满足下列任一即可）：
- \(T\) 有 \(n\) 个线性无关的特征向量
- 所有特征值的几何重数等于代数重数
- 最小多项式无重根
- 所有特征子空间的直和等于 \(V^n\)
推论：\(T\) 有 \(n\) 个不同的特征值则必可对角化
求某一特征值的特征向量时，齐次方程组的线性无关解向量个数就是特征值的几何重数，也等于系数矩阵阶数 - 系数矩阵的秩
特征值为 0 的矩阵是幂零矩阵，主对角线元素全为 0
题型：判断线性变换 \(T\) 是否可对角化 (作业第 11 题)
法一：求特征值判断
法二：求最小多项式，若最小多项式为一次式则可对角化
例：\(A^2+A=2I\), \(A\) 是否可对角化？
解：由 \(A^2+A-2I=0\)，\(g(t)=t^2+t-2=(t+2)(t-1)\) 是 \(A\) 的零化多项式
又因为 \(m_A(\lambda)|g(\lambda)\)，所以 \(m_A(\lambda)\) 必没有重根，所以 \(A\) 可对角化
Jordan 标准形
形如 \(J(\lambda) = \begin{bmatrix} \lambda & 1 & & \\ & \lambda & \ddots & \\ & & \ddots & 1 \\ & & & \lambda \end{bmatrix}\) 的方阵称为一个 Jordan 块
由若干 Jordan 块组成的准对角矩阵称为 Jordan 矩阵 \(J=\begin{bmatrix} J_1(\lambda_1) & & \\ & \ddots & \\ & & J_n(\lambda_n) \end{bmatrix}\)
定理：复数域上，任一方阵 \(A\) 都相似于一个 Jordan 矩阵，即存在可逆矩阵 \(P\)，使得 \(P^{-1}AP=J\)
\(\lambda_0\) 的 \(k\) 级根向量：满足 \((A-\lambda_0 I)^kx=0\)，但 \((A-\lambda_0 I)^{k-1}x \neq 0\) 的向量 \(x\)
定理：\(A\) 关于 \(\lambda_0\) 的不同级根向量线性无关
定理：\(A\) 关于不同特征值的根向量线性无关
\(\lambda_0\) 是 \(A\) 的 \(k\) 重特征值，\((A-\lambda_0 I)^k\) 的零空间称为 \(A\) 关于 \(\lambda_0\) 的根空间，记为 \(N_{\lambda_0}\)
\(N_{\lambda_0}\) 中根向量的最高级数称为 \(\lambda_0\) 的指标
题型：给定特征值和对应几何重数、代数重数，求 Jordan 标准形 (作业第 13 题)
- 特征值个数（包括重根）是标准形的阶数
- 不同特征值的个数是标准形中子 Jordan 矩阵的个数
- 特征值的代数重数（根空间的维数）是对应子 Jordan 矩阵的阶数
- 特征值的几何重数是对应子 Jordan 矩阵的 Jordan 块数
- 特征值的指标（根向量的最高级数）是对应子 Jordan 矩阵中 Jordan 块的最大阶数
题型：给定方阵 \(A\)，求矩阵 \(P\) 使得 \(P^{-1}AP=J\) (作业第 14，15 题)
- 求出特征多项式 \(f(\lambda)\)
- 利用 \((A - \lambda I)x = 0\) 求出特征向量
- 比较各特征值几何重数和代数重数，若几何重数小于代数重数则有更高级的根向量
- 利用 \((A - \lambda I)x_k = x_{k-1}\)，求出更高级的根向量，其中 \(x_k\) 是 \(k\) 级根向量，\(x_{k-1}\) 是 \(k-1\) 级根向量
- 注意 \(x_{k-1}\) 的选取要使方程组 \((A - \lambda I)x_k = x_{k-1}\) 有解
- 将特征向量和根向量组成矩阵 \(P\)，则 \(P^{-1}AP=J\)
例：\(A=\begin{bmatrix} -4 & 1 & 4 \\ -12 & 4 & 8 \\ -6 & 1 & 6 \end{bmatrix}\)，求 \(P\) 使得 \(P^{-1}AP=J\)
解：\(f(\lambda) = \det(A-\lambda I) = (\lambda-2)^3\)，\(\lambda=2\) 是 \(A\) 的三重特征值，\((A-2I)=\begin{bmatrix} -6 & 1 & 4 \\ -12 & 2 & 8 \\ -6 & 1 & 4 \end{bmatrix}\)
\((A-2I)\) 的秩为 1，可得两个解向量 \(x_1=\begin{bmatrix} 1 \\ 6 \\ 0 \end{bmatrix}\)，\(z=\begin{bmatrix} 0 \\ -4 \\ 1 \end{bmatrix}\)(因为不确定选取的特征向量能否使求二级根向量的方程有解，所以此处只确定一个特征向量 \(x_1\)，另一个需在下面确定)
通解为 \(y=c_1x_1+c_2x_2=\begin{bmatrix} c_1 \\ 6c_1-4c_2 \\ c_2 \end{bmatrix}\)
求二级根向量，\((A-2I)x_3=y\)，增广矩阵 \(\begin{bmatrix} -6 & 1 & 4 & c_1 \\ -12 & 2 & 8 & 6c_1-4c_2 \\ -6 & 1 & 4 & c_2 \end{bmatrix}\)
方程要有解，需满足 \(c_1=c_2\ne 0\)，取 \(x_2=y=\begin{bmatrix} 1 \\ 2 \\ 1 \end{bmatrix}\)
解 \((A-2I)x_3=x_2\)，得一个二级根向量 \(x_3=\begin{bmatrix} 0 \\ 5 \\ -1 \end{bmatrix}\)
\(P=\begin{bmatrix} 1 & 1 & 0 \\ 6 & 2 & 5 \\ 0 & 1 & -1 \end{bmatrix}\)，\(J=P^{-1}AP=\begin{bmatrix} 2 & 0 & 0 \\ 0 & 2 & 1 \\ 0 & 0 & 2 \end{bmatrix}\)
Jordan 标准形的应用
\(J\) 的幂
\(J= \begin{bmatrix} -2 & 1 \\ & -2 & 1 \\ & & -2 & 1 \\ & & & -2 \end{bmatrix}\)，求 \(J^k\)
\(J=-2 I + U\)，其中 \(U= \begin{bmatrix} 0 & 1 & & \\ & 0 & 1 & \\ & & 0 & 1 \\ & & & 0 \end{bmatrix}\)
\(U\) 具有性质： \(U^2= \begin{bmatrix} 0 & 0 & 1 & \\ & 0 & 0 & 1 \\ & & 0 & 0 \\ & & & 0 \end{bmatrix}\)，\(U^3= \begin{bmatrix} 0 & 0 & 0 & 1 \\ & 0 & 0 & 0 \\ & & 0 & 0 \\ & & & 0 \end{bmatrix}\)，\(U^4=0\)
\(J^k=(-2I+U)^k=(-2)^kI+k(-2)^{k-1}U+\cdots+k(-2)U^{k-1}+U^k\)
矩阵函数 \(e^{A}\)
\(A=P^{-1}JP\)，则 \(e^{A}=P^{-1}e^{J}P\)，其中 \(J=\begin{bmatrix} J_1 & & \\ & \ddots & \\ & & J_n \end{bmatrix}\)，\(e^{J}=\begin{bmatrix} e^{J_1} & & \\ & \ddots & \\ & & e^{J_n} \end{bmatrix}\)
\(J_i\) 是 Jordan 块，\(e^{J_i}=e^{\lambda_i}\begin{bmatrix} 1 & 1 & \frac{1}{2!} & ... & \frac{1}{(n_i-1)!} \\ & 1 & \ddots & \ddots & \vdots \\ & & \ddots & \ddots & \frac{1}{2!} \\ & & & 1 & 1 \\ & & & & 1 \end{bmatrix}\)
\(e^{At}=P^{-1}e^{Jt}P=P^{-1}\begin{bmatrix} e^{J_1t} & & \\ & \ddots & \\ & & e^{J_nt} \end{bmatrix}P\)
\(e^{J_i t}=e^{\lambda_i t}\begin{bmatrix} 1 & t & \frac{t^2}{2!} & ... & \frac{t^{n_i-1}}{(n_i-1)!} \\ & 1 & \ddots & \ddots & \vdots \\ & & \ddots & \ddots & \frac{t^2}{2!} \\ & & & 1 & t \\ & & & & 1 \end{bmatrix}\)
解常系数微分方程组
\(X'(t)=AX(t)+f(t)\)，\(X(0)=C\) 的解为 \(X(t)=e^{At}C+\int_0^t e^{A(t-s)}f(s)ds\)
题型：矩阵函数的计算 (作业第 16 题)
按上述公式计算即可
矩阵分解
满秩分解
秩为 \(r\) 的矩阵 \(A\in F^{m\times n}\) 可分解为两个秩为 \(r\) 的矩阵 \(A=BC\)，其中 \(B\) 是 \(m \times r\) 矩阵，\(C\) 是 \(r \times n\) 矩阵
定理：任何非零矩阵都有满秩分解
题型：求矩阵的满秩分解 (作业第 17 题)
法一：对 \(A_{m \times n}\) 做行初等变换，化为行阶梯形矩阵 \[\left[ \begin{array}{c|c}A_{m \times n} & I_{n \times n} \\\end{array} \right] \rightarrow \left[ \begin{array}{c|c}C_{r \times n} & \\& P_{m \times m} \\O & \end{array} \right]\]
\(B_{m \times r}\) 为 \(P^{-1}\) 的前 \(r\) 列，\(C_{r \times n}\) 为阶梯形中的非零行
法二：对 \(A_{m \times n}\) 做行初等变换，化为 Hermite 标准形（行阶梯形矩阵中每个非零行的第一个非零元素为 1，且在该列的其他元素都为 0）
按照 Hermite 标准形中线性无关的列的位置，取出 \(A\) 的对应列组成 \(B\)，\(C\) 为 Hermite 标准形的非零行
一些概念
- 对称矩阵：\(A^T=A\)
- 正交矩阵：\(Q^T=Q^{-1}\)
- 正交相似：\(A=QBQ^{-1}=QBQ^T\)
- Hermite 矩阵：\(A^H=\overline{A}^T=A\)
- 酉矩阵：\(U^H=U^{-1}\)
- 酉相似：\(A=UBU^{-1}=UBU^H\)
\(\overline{A}\) 是 \(A\) 的共轭矩阵，\(A^H\) 是 \(A\) 的共轭转置矩阵
\(A^HA\) 和 \(AA^H\) 的性质
- \(A^HA\) 和 \(AA^H\) 是 Hermite 矩阵
- \(\mathrm{Rank}(A)=\mathrm{Rank}(A^HA)=\mathrm{Rank}(AA^H)\)
- \(A^HA\) 和 \(AA^H\) 的非零特征值相同
- \(A^HA\) 和 \(AA^H\) 半正定
- \(\mathrm{Rank}(A)=n\)，则 \(A^HA\) 正定；\(\mathrm{Rank}(A)=m\)，则 \(AA^H\) 正定
正定：对任意非零向量 \(x\)，有 \(x^HAx>0\)
半正定：对任意非零向量 \(x\)，有 \(x^HAx\ge 0\)
正定矩阵的特征值均为正数，半正定矩阵的特征值均为非负数
Schmidt 正交化
设一组基 \(A=\{\alpha_1, \alpha_2, \cdots, \alpha_n\}\)，进行 Schmidt 正交化将其变为标准正交基 \(\{\epsilon_1, \epsilon_2, \cdots, \epsilon_n\}\)
\(\displaystyle\tilde{\epsilon}_1=\alpha_1,\epsilon_1=\frac{\tilde{\epsilon}_1}{|\tilde{\epsilon}_1|}\)
\(\tilde{\epsilon}_2=\alpha_2-(\alpha_2,\epsilon_1)\epsilon_1,\epsilon_2=\frac{\tilde{\epsilon}_2}{|\tilde{\epsilon}_2|}\)
\(\tilde{\epsilon}_3=\alpha_3-(\alpha_3,\epsilon_1)\epsilon_1-(\alpha_3,\epsilon_2)\epsilon_2,\epsilon_3=\frac{\tilde{\epsilon}_3}{|\tilde{\epsilon}_3|}\)
\(\tilde{\epsilon}_n=\alpha_n-(\alpha_n,\epsilon_1)\epsilon_1-\cdots-(\alpha_n,\epsilon_{n-1})\epsilon_{n-1},\epsilon_n=\frac{\tilde{\epsilon}_n}{|\tilde{\epsilon}_n|}\)
UR 分解和 QR 分解
\(A\) 是 \(n \times n\) 可逆方阵，存在酉矩阵 \(U\) 和上三角矩阵 \(R\)，使得 \(A=UR\)
\(A\) 是 \(n \times r\) 列满秩矩阵，存在列向量标准正交的矩阵 \(Q_{n \times r}\) 和上三角矩阵 \(R_{r \times r}\)，使得 \(A=QR\)
题型：求矩阵 \(A\) 的 UR 分解 (QR 分解) (作业第 18 题)
对 \(A\) 的列向量做 Schmidt 正交化，得到标准正交基，组成矩阵 \(U\)，然后 \(R=U^HA\)
实际上，\(R=\begin{bmatrix} |\tilde{\epsilon_1}| & (\alpha_2,\epsilon_1) & \cdots & (\alpha_n, \epsilon_1) \\ 0 & |\tilde{\epsilon_2}| & \cdots & (\alpha_n, \epsilon_2) \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & |\tilde{\epsilon_n}| \end{bmatrix}\) ，可直接利用正交化的中间结果给出
奇异值分解
\(A\) 是 \(m \times n\) 矩阵，存在 \(m \times m\) 酉矩阵 \(U\)，\(n \times n\) 酉矩阵 \(V\)，以及 \(m \times n\) 对角矩阵 \(\Sigma\)，使得 \(A=U\Sigma V^H\)
其中，\(\Sigma=\begin{bmatrix} \Delta_r & 0 \\ 0 & 0 \end{bmatrix}_{m \times n}\)，\(\Delta_r=\begin{bmatrix} \sigma_1 & & \\ & \ddots & \\ & & \sigma_r \end{bmatrix}_{r \times r}\)
奇异值 \(\sigma_i=\sqrt{\lambda_i}\)，\(\lambda_i\) 是 \(A^HA\) 的从大到小排列的第 \(i\) 个特征值
题型：求矩阵 \(A\) 的奇异值分解 (作业第 19 题)
- 求 \(A^HA\) 的特征值，得到 \(A\) 的奇异值
- 求 \(A^HA\) 的特征向量，将其正交标准化构成 \(V\)
- \(\displaystyle u_i=\frac{Av_i}{\sigma_i}\) 共有 \(r\) 个，将其扩充为 \(m\) 个标准正交基，构成 \(U=[u_1, u_2, \cdots, u_m]\)
- \(A=U\Sigma V^H\)
矩阵广义逆
左逆 \(A^{-1}_L\) 和右逆 \(A^{-1}_R\)
\(A\) 列满秩 \(\Leftrightarrow\) 存在 \(A^{-1}_L=(A^HA)^{-1}A^H\)
\(A\) 行满秩 \(\Leftrightarrow\) 存在 \(A^{-1}_R=A^H(AA^H)^{-1}\)
可逆矩阵的左逆和右逆相等，即 \(A^{-1}_L=A^{-1}_R=A^{-1}\)
单侧逆求线性方程组 \(Ax=b\)
\(A\) 左可逆，\(B\) 是 \(A\) 的一个左逆，\(Ax=b\) 有形如 \(x=Bb\) 的解的充要条件为
\((I-AB)b=0\)，此时方程有唯一解 \(x=(A^HA)^{-1}A^Hb\)
\(A\) 右可逆，\(C\) 是 \(A\) 的一个右逆，则 \(Ax=b\) 对任何 \(b \in C^m\) 有解，对任一右逆 \(x=A^{-1}_Rb\) 都是方程的解，特别地，\(x=A^H(AA^H)^{-1}b\) 是方程的一个解
减号广义逆
\(A \in C^{m \times n}\)，若 \(\exists A^- \in C^{n \times m}\)，使得 \(AA^-A=A\)，则称 \(A^-\) 是 \(A\) 的减号广义逆
任何矩阵都有减号广义逆。减号广义逆唯一的充要条件是矩阵可逆。
题型：求矩阵 \(A\) 的减号广义逆 (作业第 20 题)
\(\mathrm{Rank}A=r\)，通过行列初等变换将 \(A\) 化为标准形 \(A'=\begin{bmatrix} I_r & O \\ O & O \end{bmatrix}\)
\(\left[ \begin{array}{c|c} A_{m \times n} & I_m \\ \hline I_n & O \end{array} \right] \rightarrow \left[ \begin{array}{c|c} A' & P \\ \hline Q & O \end{array} \right]\)
\(A^-=Q\begin{bmatrix} I_r & U \\ V & W \end{bmatrix}P\)，其中 \(U,V,W\) 是符合对应阶数的任意矩阵，通常取为 0
\(Ax=b\) 若有解，则其通解为 \(x=A^-b+(I_n-A^-A)z\)，其中 \(z\in C^n\) 任意
M-P 广义逆
\(A \in C^{m \times n}\)，若 \(\exists A^+ \in C^{n \times m}\)，使得
- \(AA^+A=A\)
- \(A^+AA^+=A^+\)
- \((AA^+)^H=AA^+\)
- \((A^+A)^H=A^+A\) 则称 \(A^+\) 是 \(A\) 的 M-P 广义逆
定理：任何矩阵都有唯一的 \(A^+\)
题型：求矩阵 \(A\) 的 M-P 广义逆 (作业第 20 题)
将矩阵满秩分解 \(A=BC\)，则 \(A^+=C^H(CC^H)^{-1}(B^HB)^{-1}B^H\)
\(Ax=b\) 的最佳最小二乘解为 \(x_0=A^+b\)
回顾
齐次线性方程组的解
齐次线性方程组 \(Ax=0\)，有 \(n\) 个未知数。
- 若 \(\mathrm{Rank} A = n\)，则方程组有唯一解 \(x=0\)
- 若 \(\mathrm{Rank} A < n\)，则方程组有无穷多解，解向量的个数为 \(n-\mathrm{Rank} A\)
非齐次线性方程组的解
非齐次线性方程组 \(Ax=b\)，有 \(n\) 个未知数。
- 若 \(\mathrm{Rank} A = \mathrm{Rank} [A, b]\)，则方程组有唯一解
- 若 \(\mathrm{Rank} A < \mathrm{Rank} [A, b]\)，则方程组无解
- 若 \(\mathrm{Rank} A = \mathrm{Rank} [A, b] < n\)，则方程组有无穷多解，解向量的个数为 \(n-\mathrm{Rank} A\)