线性代数 | 重要矩阵

本节我们来探讨各种线性代数中重要矩阵的性质。

对称矩阵

对称矩阵是最重要的矩阵,了解一个新矩阵一般都要从从特征值和特征向量开始。

特征向量垂直
实对称矩阵的特征值也是实数,其特征向量是正交的(垂直的)。如果特征值互不相同,那么每个特征值的特征向量各自在一条线上,而且线垂直。特征向量空间是一维的,且互相垂直的。但如果特征值相同,有一整个平面的特征量,可以从中挑选出垂直的特征向量。

对称矩阵分解
$A = S\lambda S^{-1}$,矩阵的分解,S是特征向量矩阵,$\lambda$是特征值矩阵。

在对称情况下,S是特征向量,是列向量,可以化为标准正交向量,则用Q表示。

数学上这被称作谱理论。力学上称之为主轴定理。

观察上文公式,对于$q_1q_1^T$。列向量乘以行向量得到的矩阵是投影矩阵。(这里的q是单位向量,所以不用再除以$q^Tq$)因此我们得到结论。每一个对称矩阵都是一些互相垂直的投影矩阵的组合

特征值为实数的证明
证明特征值为 实数的过程中用到了对称矩阵的性质和假设条件,注意其中$x^Tx$的应用。
证明:

由此可得到虚部是零,特征值为实数。,另外请注意在消去过程中。$\overline{ x}^Tx$ 乘积消去了虚数,所以乘积是整的平方值,因而可以放心消去。

如果是复数矩阵,想喝对称实矩阵具有实特征值且特征向量垂直的有优良性质。除了得满足对称特性外,还得满足共轭条件,即$A=\overline{A}^T$

对称矩阵的小应用
给定对称矩阵,可以推算特征值是正是负的问题。例子如计算50阶矩阵,直接计算50阶的方程相当困难,但matlab可以通过简单的计算确定主元的正负。 对于对称矩阵,主元符号和特征值的符号保持一致。

另外,对称矩阵主元和特征值并不相同,主元的乘积等于特征值的乘积,因为它们都是行列式的值。

如果将一个矩阵平移7个单位矩阵,再看结果的正负,就应该能知道哪些大于7,哪些小于7了。

统计学(Statistics)一词,源自于意大利文Stato,其词根兼有”国家”和“情况”的意义,统计学其实就是国情学。

1662年格朗特写了《观察》一书,在统计学史上占据了一个突出的地位

复数矩阵(傅里叶矩阵)

傅里叶变换意义
快速傅里叶变换又称作FFT, 通常n阶方阵要计算$n^2$次,但FFT可以帮助计算减少到$nlogn$次。

复数向量的模长
求在$n$维复空间($c$空间)里的给定列向量$z$的模长,$z=[z_1, z_2 ,\dots]$ 。列向量$z$的共轭向量可以用$z^H$表示,读作艾尔米特。内积$z^Hz=|z_1|^2+…$ 是模长的平方。

复数矩阵的对称
对称矩阵定义$A^T=A$,但其只针对实矩阵。对于复矩阵对称$A^H=A$, 叫做艾尔米塔矩阵。矩阵的特征值是实数,特征向量相互垂直。

复数正交矩阵
构造相互垂直的向量,$q_i^Hq_j$,i不等于j时,值为0,相等时值等于1。以上述向量做列构造一个$Q$矩阵,称为酉矩阵则$Q^HQ=I$,酉矩阵是n阶方阵,列向量是正交单位向量,傅里叶矩阵也是酉矩阵。

构造傅里叶矩阵
假如n是6,$w^6=1,w=e^\frac{2\pi}{6}$, 在单位圆的60度处,其乘方是$w=e^\frac{2\pi}{3}$,是在120度处 ,也在上图的单位圆上,以此构造傅里叶矩阵$F_6$。 令n等于4,$w=e^\frac{2\pi}{4}$,逆时针旋转90度。则依次平方是$i,-1, -i,1$ 。分别对应$w,w^2,w^3, w^4$ 。 得到一个傅里叶矩阵$F_4$(每个元素的指数等于行序数乘以列序数).

傅里叶变换
向量左乘$F_4$,对应傅里叶变换。左乘$F_4^{-1}$,对应的是傅里叶逆变换。由于可以把它分解为稀疏矩阵,它们的逆计算都非常快捷。该矩阵各列都正交(利用复数内积可求 )。但并不是标准正交的,可以把矩阵乘以一个1/2. 之后就有$F_4^HF_4=I$

FFT性质
$F_{2n}$和$F_n$存在联系,举例$F_{64}$和$F_{32}$。$w_{64}^2=w^{32}$前者包含两个后者以及零矩阵,为了构造出这个等式,需要找到两侧的修正矩阵 。右侧是一个置换矩阵,上半部分的奇数列和下半部分的偶数列阵,它能把偶数分量的向量$x_0,x_2$全部排在奇数列$x_1,x_3$前面。对角阵D由w的幂组成。接下来可以继续递归分解$F_{32}$

正定矩阵

正定矩阵把主元,行列式,特征值,不稳定性融合在一起。$x^TAx > 0$

以下每一条都是正定性的完备判断条件,前提都首先是对称矩阵。

  • 所有的特征值都大于0
  • 所有的行列式大于0
  • 所有的主元大于0x
  • $x^TAx>0$ 这也是对正定性的定义。
  • $x^TAx>=0$,这是对半正定的定义

观察下面的半正定矩阵例子$A$,我们对它进行$x^TAx$处理。

对于该矩阵A,特征值是0和20,只有一个主元2

正定矩阵来自最小二乘法,最小二乘法的关键在于$A^TA$,大量的物理问题需要用长方形矩阵描述。而对于正定有三个推论

  • 如果A正定,那它是对称的。
  • 只要原矩阵是正定的,那么逆矩阵也是正定的(特征值是倒数)。
  • 如果A正定,B正定,那么A+B是正定(利用定义证明)。

假设A是$m*n$长方形矩阵。那么$A^TA$既是方阵,也是对称的。且 $x^TA^TAx=(Ax)^TAx$是非负的,向量长度的平方大于等于0。判断等于零向量的条件,矩阵A各列线性无关,则零空间里不存在零向量以外的向量,确保$A^TA$的正定。
如果正定,最小二乘方程将存在最优解。另外,这也为数值计算提供了便利,不需要进行行交换,也不用担心主元小于等于0。

相似矩阵

假设A和B是相似矩阵,它们都是n阶方阵,那么存在某个可逆矩阵M,使得$B = M^{-1}AM$

假设$A$具有线性无关的特征向量,存在特征向量矩阵$S$,则$S^{-1}AS = \lambda$,这说明A相似$\lambda$,S是特殊的$M$,如果换了$M$,则$\lambda$将变成其他相似的B矩阵。我们可以把这样的矩阵归为一类:任意两个互为相似的矩阵,任意两个矩阵通过M存在一定联系,这些矩阵中最特别的是这个对角阵。

相似矩阵具有相同的特征值, 但不具有相同特征向量。这个矩阵系列都相似于对角阵$\lambda$,可以轻易构造特征值相同的三角阵,它也属于这个阵列。证明如下:

如果特征值重复,那么特征向量可能不再是线性无关的 ,矩阵可能无法对角化。

比如一类矩阵的特征值是4和4,其中一种情况,$\begin{bmatrix}4&0 \ 0&4\end{bmatrix}$,进行相似矩阵的计算结果还是原矩阵,它只和自己相似 。

$\begin{bmatrix}4&1 \ 0&4\end{bmatrix}$,这个矩阵不能对角化,如果能对角化,它就相似于上面的矩阵,产生矛盾。它只有一个特征向量。包括这个矩阵在内的一个大家族,是最接近对角阵的形式,但是一个无法对角化的矩阵,定义为若尔当矩阵。无法对角化,但又最像对角阵。

对于之前无法对角化的矩阵,可 以通过一种特殊的方法,完成近似的对角化,即若尔当标准型。一般矩阵很难化简为若尔当标准型,因为它依赖于矩阵特征值完全相等。 如下所示的矩阵也不能对角化,理由同上。

若尔当矩阵

若尔当块,$J_i$表示$i$阶的若尔当块,对角线上是同一个数,下面全是0,上面都是1,每个若尔当块只有一个特征向量。对上例而言,两个块大小不一样,因此两个方阵并不相似。

每个方阵$A$都相似于一个若尔当阵$J$,就是由若尔当块构成的矩阵,特征值位于对角线上,上面还有一些1,若尔当块的数量等于特征向量的个数(每一块对应一个特征向量)假设矩阵A具有不同的特征值,具有n个,那它就是一个可对角化的矩阵,$J$就是$\lambda$,

0%