线性代数复习记录

如果 $\overrightarrow{u} = a\overrightarrow{v}+b\overrightarrow{w} $ 在a,b取某些值的时候成立,那么称$\overrightarrow{u}$与$\overrightarrow{v}$,$\overrightarrow{w}$线性相关(Linearly dependent)
如果 $\overrightarrow{u} \ne a\overrightarrow{v}+b\overrightarrow{w} $ 对任意a,b成立,那么就称$\overrightarrow{u}$与$\overrightarrow{v}$,$\overrightarrow{w}$线性无关(Linearly independent)

向量的一组基(basis)是张成(span)该空间的一个线性无关(linearly independent)向量集

满足以下两个条件的变换称为线性变换

Lines remain lines(直线依旧是直线)
Origin remains fixed(原点保持不变)

只满足1的称为仿射变换

$\overrightarrow{u} = a\overrightarrow{v}+b\overrightarrow{w} $
$Transformed \ \overrightarrow{u} = a(Transformed \ \overrightarrow{v})+b(Transformed \ \overrightarrow{w}) $

线性变换其实就是基的变换,严格来说,线性变换是将向量作为输入和输出的一类函数,
将二维平面逆时针旋转90度,就是把基与平面上所有的点与行矩阵乘法

$\begin{bmatrix} 0 & -1 \\ 1 & 0 \\ \end{bmatrix} \begin{bmatrix} x \\ y \\ \end{bmatrix}$

是不是类似于 func([x,y])

如果变换后的基是线性相关,那么二维平面会变成一条直线(不可逆)

矩阵相乘

n个矩阵相乘的几何意义其实就是n个线性变换相继作用,应用顺序为从右至左

$\underbrace {\left[ \begin{array} { c c } { 1 } & { 1 } \\ { 0 } & { 1 } \end{array} \right]} _ { \text { Shear}} \underbrace {\left[ \begin{array} { c c } { 0 } & { - 1 } \\ { 1 } & { 0 } \end{array} \right] } _ { \text { Rotation } } {\left[ \begin{array} { c c } { x } \\ { y }\end{array} \right] } = \underbrace { \left[ \begin{array} { c c } { 1 } & { - 1 } \\ { 1 } & { 0 } \end{array} \right] } _ { \text { Composition } }{\left[ \begin{array} { c c } { x } \\ { y }\end{array} \right] }$

先 Rotaion 再 Shear, 参考函数调用顺序$f(g(x))$

对三维空间来说,其实就是三维矩阵

$\overrightarrow{u} = a\overrightarrow{v}+b\overrightarrow{w}
+c\overrightarrow{z} $
$(Transformed \ \overrightarrow{u})= a(Transformed \ \overrightarrow{v})+b(Transformed \ \overrightarrow{w})+c(Transformed \ \overrightarrow{z} ) $

行列式

其实就是代表面积(三维就是体积)的缩放比例,

$det[erminant] \left( \begin{bmatrix} 3 & 2 \\ 0 & 2 \\ \end{bmatrix} \right) = 6$

行列式为负,二维下可理解为把空间翻转,三维就是坐标系手性改变了

$det \left( \begin{bmatrix} 1 & 2 \\ 1 & -1 \\ \end{bmatrix} \right) = -3$

行列式为0空间会被降维

$det \left( \begin{bmatrix} 1.0 & 0.0 & 1.0 \\ 0.5 & 1.0 & 1.5 \\ 1.0 & 0.0 & 1.0 \\ \end{bmatrix} \right) = 0$

行列式计算

$det \left( \begin{bmatrix} a & b \\ c & d \\ \end{bmatrix} \right) = (a+b)(c+d)-ac-bd-2bd=ad-bc$ 变换后面积图

$det \left( \begin{bmatrix} a & b & c\\ d & e & f\\ g & h & i\\ \end{bmatrix} \right) = a det \left( \begin{bmatrix} e & f \\ h & i \\ \end{bmatrix} \right) - b det \left( \begin{bmatrix} d & f \\ g & i \\ \end{bmatrix} \right) - c det \left( \begin{bmatrix} d & e \\ g & h \\ \end{bmatrix} \right)$ $det(M_1M_2) = det(M_1)det(M_2)$

矩阵的用途

线性方程组

$\begin{array} { c } {2 x + 5 y + 3 z = 0 \\ 4x+0y+8z = 0 \\ 1x +3y +0z = 2}\end{array} \Longrightarrow \underbrace { \overbrace { \left[ \begin{array} { c c c } { 2 } & { 5 } & { 3 } \\ { 4 } & { 0 } & { 8 } \\ { 1 } & { 3 } & { 0 } \end{array} \right] }^{Coefficients(系数)}}_{A} \underbrace { \overbrace { \left[ \begin{array} { l } { x } \\ { y } \\ { z } \end{array} \right] }^{Variables(变量)}}_{\overrightarrow{x}} = \underbrace { \overbrace { \left[ \begin{array} { c } { - 3 } \\ { 0 } \\ { 2 } \end{array} \right] }^{Constants(常数)}}_{\overrightarrow{v}}$

A代表一个线性变换,$A\overrightarrow{x}=\overrightarrow{v}$就是寻找一个$\overrightarrow{x}$,使它在变换后可以与$\overrightarrow{v}$重合

Inverse matrices(逆矩阵)

所以当$det(A) \ne 0$,那么其实就是$\overrightarrow{v}$进行一个A的逆向变换就能得到$\overrightarrow{x}$,这个逆变换通常被称为A的逆,也就是$A^{-1}$,所以$A^{-1}A$其实是一个什么都没有做的变换,所以$A^{-1}A = \left[ \begin{matrix} 1 & 0 \\ 0 & 1\end{matrix}\right]$,也就是单位基,也称为单位矩阵.

但是当$det(A)=0$,也就是降维的时候,那么没有一个变换可以将其复原,因为降维是一个多对一段关系,升维是一个一对多的关系.只有正好$\overrightarrow{v}$也在降维过的维度上才能存在解

所以只有$det(A)\ne0$,$A^{-1}$才存在.$det(A) = 0$,$A^{-1}$不存在,但是可能有解

Rank(秩)

当变换的结果是一条直线,也就是一维时,我们称这个变换的rank为1
当变换的结果是一个平面,也就是二维时,我们称这个变换的rank为2
所以rank代表变换后空间的维数

一个2x2的矩阵,它的rank为2时,意味着基向量依旧能张成整个二维空间
但是对于3x3的矩阵,它的rank为2时,意味着空间被压缩,也就是降维了

Column space(列空间)

所有可能的输出向量$A\overrightarrow{v}$构成的集合称为A的Column space,
为什么叫做列空间呢,因为矩阵的列告诉我们基向量变换后的位置,而变换后的基向量张成的空间就是有所可能的变换结果

所以更精确的rank的定义是column space的维

数
当rank达到最大时,意味着rank与列数相等,称之为full rank(满秩)
$\overrightarrow{0}$ 一定在column space中,因为线性变换必须保持原点位置不变

对于full rank来说,唯一能在变换后落在原点的就是$\overrightarrow{0}$自身,
而非full rank 来说,因为将空间压缩到了一个更低的维度上,所以会有一系列向量在变换后成为$\overrightarrow{0}$

举个例子,如果一个二维线性变换的rank为1,也就是将空间压缩到一条直线,那么与column sspace构成的直线不同方向的直线上所有的向量都被压缩到原点

而一个三维线性变换rank为2,那么同样会有一整条线上的向量在变换后落在原点
而rank为1的时候,也就是将空间压缩到一条直线,那么会有一整个平面上的向量会被压缩到原点

null space(零空间) or kernel(核)

变换后的一些向量落在$\overrightarrow{0}$上,null space 就是这些向量构成的空间

对于$A\overrightarrow{x}=\overrightarrow{0}$,null space 就是这个方程所有可能的解

所以,当$A^{-1}$存在时,就能用逆变换求解方程组
而不存在时,column space可以让我们知道什么时候存在解
而null space 可以帮助我们理解所有可能的解的集合是什么样的

非方阵

其实是把空间的映射

比如$\left[ \begin{matrix} 3 & 1 \\ 4 & 1 \\ 5 & 9 \end{matrix} \right]$其实是把二维平面映射到三维空间中去了,但是仍然是一个平面,两列代表两个基向量,三行表明每一个基向量在变换后用三个独立坐标表示.

而$\left[ \begin{matrix} 3 & 1 & 4 \\ 1 & 5 & 9 \end{matrix} \right]$,三列代表三个基向量,也就是说原始空间是三维的,两行代表变换后是二维的,所以这是一个三维到二维的转换

Dot product (内积)

$\left[ \begin{matrix} a \\ b \\ c \end{matrix} \right] \cdot \left[ \begin{matrix}d \\ e \\ f \end{matrix} \right] = ad+be+cf$

就是将两个矩阵对应位置的数相乘的和

几何意义,$\overrightarrow{w}$在$\overrightarrow{v}$上的正交投影 * $\overrightarrow{v}$的长度

$\overrightarrow{a}\cdot\overrightarrow{b} = |a||b|cos\theta \\ \theta为\overrightarrow{a} \overrightarrow{b}夹角$

所以

$\overrightarrow{a} \cdot \overrightarrow{b} > 0$,方向同向

$\overrightarrow{a} \cdot \overrightarrow{b} = 0$,两向量垂直

$\overrightarrow{a} \cdot \overrightarrow{b} < 0$,方向相反