线性代数 | 向量空间

向量空间是线性代数里最重要的概念,没有之一。它是后续许多知识的基础,也是帮助我们理解线性代数本质的重要工具。

向量空间概念

空间在此指的是某种集合,空间存在的基础是需要满足规则。向量空间这样是一个集合,集合内的元素是向量,且集合内的向量相加和数乘之后仍在本集合内。即向量空间对加法和数乘封闭

几个引申:

  • 向量空间内必须有零向量。证:取空间内一向量$v$,进行数乘和加法$1v+(-1)v=0$,得证。
  • 二维空间、三维空间是向量空间。证略。
  • 所有过原点的直线以及零向量是二维空间的向量子空间。过原点的平面,过原点的直线以及零点是三维空间的向量子空间。

列空间和零空间

向量空间内向量的加法和数乘有一种更经典的描述手段:线性组合。现在我们取列向量进行线性组合,其所有线性组合就构成了一个重要的向量空间,列空间。

列空间

取一个列向量属于$R^4$空间的例子,(注:列向量有四个分量,所以属于四维空间),下面方程组$Ax=b$,$A$的列空间是$R^4$的子空间,事实上,取三个列向量线性组合,永远得不到四维空间。

现在将抽象概念和实际应用结合在一起。来分析方程组$Ax=b$是否对任意b都有解。直观的感觉来看,四个方程有三个未知数,大多数情况无解。但也有情况有解,即b是A的各列的线性组合时,此时b在A的列空间里,Ax=b有解。

继续考虑,如果对这三列线性组合,它们是组成四维空间里的三维子空间,还是更小的空间?在本例中,去掉列三是没影响的。因为列三可以通过线性组合出来,所以它不做贡献。因此这里是四维空间$R^4$的二维子空间(没错,实际的几何形状就是个平面)。

零空间

我们仍然用上文的矩阵举例。令$b=0,Ax = 0$我们关注x向量,x在此例中是$R^3$的子空间(注:x有三个分量)。列空间是$R^4$的子空间,在本例中零向量在零空间里,$(1,1,-1)$也是解。综合起来既是$c(1,1,-1)$, 用图像来表示的话是一条直线,即这里的零空间是$R^3$的一维子空间,即是一条直线。

$Ax=0$的解构成一个子空间。证明: 对于一个解$x$和$x_1$, 其对加法和数乘封闭。
$Ax = 0$且$Ax_1=0$. 则$A(x+x_1)=0$,$A(kx)=0$

假设改变了b,从而导致所有的解x中不包含零向量的话,解x就不可能是向量空间,这些解组成一个不过原点的平面,或者不过原点的直线。我们始终是强调应该过原点的。

Ax = 0 主变量 特解

一般通过对A矩阵进行消元求解,如下图,矩阵A是长方形矩阵,对其进行消元。注意在消元过程中零空间不变,改变的是列空间。

第二个本应是主元的位置此时是0,这说明第二列和它前面的列线性相关。
最后得到阶梯形式的矩阵U,主元的数量是2,这就是矩阵的秩。有主元(红框)的列是主列,其他是自由列。自由对应计算是可以对对应的x任意分配数据,一般是0,1。另外指,它可以由主列组合起来。

消元后变成Ux = 0寻找主列。对自由列,先随意选取两个数字(1,0) 然后进行回带,算出解,再取(0,1)算 出解。因为分配了特定值,所以是特解。再通过线性组合就得到了该方程的全部解。

指的注意的是,U还能继续简化 在MATLAB中用矩阵rref可以完成这个问题。我们交汇主行和主列,能得到一个单位阵,不在交汇中的列称为自由列。原方程组Ax=0,中间方程组Ux =0,最后Rx=0

我们再用代数推导一下这个过程

Ax = b 解的结构 算法

  • 解的结构:唯一解还是无穷多解。

  • 有解b要满足的条件:b属于A的列空间(是A中各列的线性组合)

  • 算法:第一步,求特殊解。将所有自由变量设为0(因为可以随便选,选0是最方便的),解出主变量。
    第二步,加上零空间的所有向量。

  • 最终解:特征解+所有零空间的解(通解)。

对于上文例子,有两个自由变量,所以解的形式 $x* +{c_1}{x_1}+{c_2}{x_2}$,解的图像是过原点的平面(零空间)平移得来的,AX=b的解空间不是向量空间

秩与解的关系

秩r为m*n的矩阵A,当前秩被定义为主元的个数。从主行的角度看,r必然小于等于m,从主列的角度看,r也必然小于等于n。

列满秩

列满秩表示r = n。它的应用场景可以直观理解为那种长条矩阵。这对方程的解意味着,每一列都有主元,那么主变量n个,自由变量0个,因为没有其他自由变量可以赋值,零空间中只有零向量。则对于Ax=b的解要么只有一个特解,要么无解(b在零空间时才有一个解)。下面举一个例子。

[1 2 2 5 ;3 1 1 1] 两列线性无关,其秩是2,其行最简形式是[1 0 0 0;0 1 0 0],零空间只有零向量。对于Ax = b,4个方程,2个未知数,不可能任何情况都有解的,b在其线性组合内时才有解。

行满秩

行满秩表示为r = m,此时有m个主元,每一行都有主元,消元时不会出现零行,则可以得出对任意b,Ax=b都有解。

一开始有n个变量,有r(m)个主变量,所以自由变量是n-r(n-m)个。其行最简形,前r列是主列,组成了单元矩阵。因为总有零空间去处理,一般是无数解。

满秩方阵

r = m = n, 满秩方阵,这是一个可逆方阵。其行最简形R= I真正好的矩阵化简后得到单位阵。其零空间只有零向量,b任何条件不需要满足,这种情况肯定有解,且解唯一。

总结

矩阵的秩决定了方程组解的数目,秩r包含了所有的信息。

  • r = m = n 满秩方阵。行最简形为R=I,有一个唯一解。
  • r = n < m 列满秩,行最简形$R=\begin{bmatrix} {I}\\{0}\end{bmatrix}$此时无解或者唯一个解(取决于b在不在那个列空间中)
  • r = m < n 行满秩。 行最简形 $R= \begin{bmatrix} {I}&{F}\end{bmatrix}$。总有解,因为最下面没有零行,所以有唯一解或者无穷多解。因为总有零空间去处理,一般应该是无穷多解。
  • r < m 且 r < n 行最简形。$R=\begin{bmatrix}{I}&{F}\\{0}&{0}\end{bmatrix}$无解或者无穷解。

线性相关性

首先要说明的是,我们说向量组是线性无关的,而不是矩阵线性无关。我们说向量组的基,而不是矩阵的基。

线性无关

定义
如果不存在线性组合结果为零的组合,向量组线性无关

扩展1
如果向量组中存在一个零向量,它们不可能线性无关。证明略。

扩展2
平面内任意三个向量都是线性相关的。
证明代数法。构造一个矩阵A,各列分别是平面内向量,构造一个2X3的矩阵,对于这个矩阵我们可以找到自由变量, 因而存在列向量C$[c_1,c_2,c_3]$有非零解,使得$AC=0$换句话说,向量组是否线性相关,和零空间是否有零向量之外的向量有关。

与零空间的关系
向量组线性无关,零空间里只有零向量。线性相关,则零空间内存在一些向量c。

与秩的关系
列向量组线性无关时,秩就是n,所有列都是主列。自由列的本质是对主列的一种组合, 在线性相关时,秩小于n,有自由变量,有相应的非零组合,零空间里有其他向量。

生成空间

定义
$v_1,v_2…v_n$ S指的是包含这些向量所有线性组合的最小一个空间。我们关注这样的向量组,既可以生成空间,又是线性无关,这样的一组向量称为基。

基的定义
指的是一系列向量(个数足够又不太多),特性一:线性无关。特性二:能生成整个空间。

example1
给一组三维空间的基 ,$(1,0,0) (0,1,0) (0,0,1)$,它们线性无关,因为单位阵乘以特定向量得到0的情况只有一种,就是乘以一个零向量。即单位阵的零空间只有零向量。

example2
$(1,1,2)(2,2,5)$不能形成三维空间,其是列空间的基,形成R3中的一个平面。需要再加一个特定向量才能形成三维空间,但不能加$[3,3,7]$,因为加入之后三者共面,只要取不在这平面上的任意向量就像,比如[3,4,8] 。 想确定确定它们构成基,可以把它们组合成矩阵消元,看是否都是主列。

example3
如果空间是$R^n$,则形成这个空间所需要的基向量的个数是n个。 $R^n$空间的n个向量如果想构成基,那这个$n*n$的矩阵要满足可逆条件。

维数的定义
对于特定空间,比如$R^3、R^n$列空间、零空间,其基向量的个数都相同。个数表示此空间的大小。称之为维数。维数等于矩阵秩的数目,等于主列的数目。

零空间的维数是自由变量的数目。已知秩r,m*n矩阵,即维数n-r

四个基本子空间(核心章节)

四个基本子空间:零空间$N(A)$,列空间$C(A)$,行空间$R(A)$= $C(A^T)$,A转置的零空间$N(AT)$,又称为A的左零空间。这里可以专门处理列空间。以下假设A是m*n矩阵。则有如下结论。

  • 行空间在n维实空间里,维数是r,一组基是行最简形的前r行(秩数行)。
  • 零空间在n维实空间里,维数是n-r,一组基是特殊解。(特殊解是在零空间中,每个自由变量可以得到一个特殊解)
  • 列空间在m维实空间里,维数是r,一组基是r的主列。
  • 左零空间在m维实空间,维数是m-r,一组基是特殊解

它们的关系如下图所示,这里把空间画成垂直的是有特别的含义的,代表着正交,互相垂直的两个空间,维数之和又和行数、列数一一对应,相当于行空间和零空间分割了n维空间,真是奇妙。

以下图为核心进行分析

行空间
经过初等行变换后,形成单位阵,自由列,全零行的组合,注意R的列空间和A的列空间不同(R是A转变的),但行空间不发生改变(改变后的最简形的行也是线性组合得出来的),所以其基是前r列。

左零空间
$A^Ty=0$ ,y就在左零空间里。两边转置,$y^TA=0^T$,$y^T$是一个行向量,因此也叫做左零空间。由A求最简形R,一般做法是构造矩阵[A,I]对前面一部分消元,得到R,I记录了行变换,变成了E。所有这些初等行变化等价于左乘一个E,即$EA = R$。对照左零空间的变换式,想找的是让行空间产生全零的向量,而这个向量可以通过E得到,进而得到左零空间的维数,在本个例子,它是E的最后一行,这个左零空间维数是1。

不必掌握四个空间的推导,我的习惯是掌握列空间和零空间的定义,另外两个空间只是对应的转置而已。

矩阵空间(待续)

0%