线性代数 | 特征值、特征向量

特征值和特征向量是线性代数中另一块儿核心内容。

导论

概述和定义

在我们的高等数学体系里,微积分关注的是单维,而线性代数关注的是多维。现在我们以函数的视角看矩阵A,以矩阵A乘以向量x,得到向量Ax,A像一个函数。我们关注这样的A,向量x被变换前后方向相同,也即$Ax= jx$,即Ax平行于x,这里的x就是特征向量。j允许取负值或者零,甚至是复数,j是特征值。特征值和特征向量反应了一个矩阵的核心信息,在实际应用中,这两个信息往往也代表着系统的关键特征。

$(A - jI)x = 0$是特征方程。 如果存在一个非零向量x满足条件,那么$A - jI$必须是一个奇异矩阵,即$det(A - jI)= 0$,求解n个j就得到了特征值,有些j可能会发生重复,重复特征值是关于这块知识难点的根源。

对于每个特定的j(特征值),利用消元法,找出主列,给自由变量赋值,求出的零空间即是由特征向量组成的空间。

几个特殊矩阵
  • 如果特征值是0,则$Ax = 0x$,即特征向量x是零空间的向量。如果A是奇异矩阵,那么存在非零向量使得$Ax=0$,则j = 0就是一个特征值。换句话说,奇异矩阵能使非零向量变成零向量。
  • 投影矩阵P的特征向量和特征值。给定向量b,使P作用在上面,得到 Pb,向量Pb和向量b方向一般不相同。只有本来就在P的列空间里的向量,做投影之后,本身无改变,即$Pb=b$,说明其是一个特征向量,特征值是1。这样我们间接得到了一整个空间的特征向量。再来关注垂直空间里的向量,任意垂直P的列空间的向量x,$Px = 0 = 0x$。综上投影矩阵的特征值是0和1
  • 旋转矩阵,记为Q(将每个向量旋转90),[[0,1],[-1,0]],这是一个正交矩阵,由迹特征值之和等于0,特征值之积等于行列式的值。得j1+j2=0,j1j2=1,所以j1 = i,j2 = -i, 就本例而言,它是共轭复数。这里可以研究问题,哪些向量旋转后与自己平行。特征向量是和作用前相同方向的,但Q是比较极端的,除非旋转360度。如果矩阵是对称的或者接近对称的,一般都是实数特征值,但旋转矩阵(这里非常的不对称$Q^T = -Q$),它是反对称的,这种矩阵的特征值是虚数。好的特征是实数特征值,互相垂直的特征向量。坏的是虚数特征值。
  • 三角矩阵,特征值在对角线上,带入求解特征向量,对于重复的特征值,会造成特征向量的短缺。特征值两个重复的3,但特征向量只在一个方向上,而不是两个。这造成了特征向量的短缺。
关于特征知识的一些其他描述
  • 一般来说,矩阵越特殊,特征值也越特殊。如二维对称矩阵[0 1;1 0] ,特征值是1,-1。 特征向量垂直的,分别为[1,1] 和[1,-1]
  • n维矩阵有n个特征向量,特征值的和(另外一个说法叫做迹)等于对角线元素的和。
  • 如果$Ax= jx$, B的特征值是k1,A+B的情况。$Ax= jx,Bx= kx$,那么$(A+B)x = (j+K)x$是错误的,因为x不能确定是B的特征向量,除非B是单位矩旋的倍数。

应用

对角化

定义 :给定矩阵A,其特征向量按列组成S, 特征向量矩阵S必须可逆。推导如下。

假设A有n个线性无关特征向量(不关注重复),按列组成矩阵S,组成特征向量矩阵,注意S是特征向量组成的矩阵,A是线性无关的矩阵

谨记以下三个变换公式,即

幂特征值

幂矩阵的特征值,这是可以重新帮助认识特征指的工具。其中特征值的平方计算非常容易。

如果特征绝对值小于1,那么k趋向于无穷,A的k次方趋向于0,矩阵的幂趋近于0,是稳定的。

注意所有的推导是在有n个线性无关特征向量的前提下的。
当所有特征值不同时,A必然存在n个线性无关向量且可以对角化。证明略
当特征值有重复,它可能有但并不一定存在线性无关特征向量。举个例子,10*10单位矩阵,特征值1重复了10次,但有很多线性无关向量。

幂特征值的应用

给定$u_0$,求解$u_{k+1}=Au_k$,则

求解斐波那契数列
已知$F_{k+2}=F_{k+1}+F_k$,$F_0=0,F_1=1$。求解的关键是在构建出$u_{k+1}=Au_k$的形式。问题的关键在于斐波那契数列是而二阶差分,但目前只有一个方程。这里应用的技巧是是令$u_k=[F_{k+1},F_k]$,追加一个方程$F_{k+1}=F_{k+1}$

一个彩蛋。斐波那契数列增长速度的快慢可以用矩阵特征表示,计算特征值大小为$\frac{1+\sqrt{5}}{2}$,熟悉吗?

微分方程求解

可以将一阶微分方程转化为求线性代数问题,中间注意常系数线性方程的解是指数形式。举个例子

对解的形式,这里的指数幂,相当于上节课k的幂次方,上次是幂形式,这次是指数形式,。证明方法,分别带入$\frac{du} {dt} = Au$,得证。

假设$u_0=[1,0]$, 对本例而言,矩阵A为奇异矩阵,一个特征值是0,迹为-3,所以另一个为-3,特征向量$x_1=[2,1] , x_2 = [1,-1]$,再代入上式可得到$c_1,c_2$。得到答案公式如下

对于此例,随着时间增长逐渐流向稳态。观察形成稳态的条件,特征值需要小于0,对于复数只要实部小于0就可以

进一步推导。确定$c_1,x_2$时,用到了公式$Sc=u_0$,原方程组有两个相互耦合的未知函数, 矩阵A就表明$u_1,u_2$相互耦合,希望把解变成S和$\lambda$的形式,这样看来,特征值和特征向量的作用是解耦,又叫做对角化。

另外,求解二阶微分方程的方法与此类似。

$e^{At}$的意义

证明$e^{At}=Se^{\lambda t}S^{-1}$

同时,巧妙的是,$e^{\lambda t}$的计算相当于n个泰勒级数。

马尔科夫矩阵

定义:每个元素大于等于0,每一列加起来等于1

  • 性质1:矩阵平方后仍然大于等于0
  • 性质2:平方后每列的值的和依然是1。
  • 性质3:A的幂依然是马尔科夫矩阵,这和概率论思想有关
  • 性质4:马尔科夫矩阵存在一个特征值1,所有其他特征值$|\lambda_i|<1 $
    证明,观察$A-\lambda I$观察到每行相加等于0,说明三行线性相关,说明三列线性相关,说明矩阵奇异,说明1是特征值。
  • 性质5:稳态值。$u_K=A^ku_0=c_1\lambda_1x_1+\dots+c_k\lambda_kx_k$,稳态趋近于$c_1x_1$
  • 性质6:A和$A^T$的特征值相同。证明:$det(A-\lambda I)=0$,由于矩阵行列式性质,$det(A^T-\lambda I = 0)$,则得证
    求解$u_{k+1} = Au_k$,以人口迁移问题进行举例,此处不再展开。
傅里叶级数

有n个标准正交向量$q_1,q_2 \dots,q_n$,假设其是n纬空间的一组基。将向量v展开到基上去

傅里叶级数公式如下,
$f(x) = a_0+a_1cosx+b_1sinx+a_2cos2x+b_2sin2x+\dots$
但不同于上文利用内积计算正交性的方式。此处函数的内积指的是$f^Tg= \int_0^{2\pi}f(x)g(x)dx$,傅里叶级数的的基函数$sinx,cosx,sin2x,cos2x \dots$具有正交性,这一组也被称为无穷正交基。

0%