author: zlotus

Description:

這是MIT 18.06 Linear-Algebra 的學習筆記

Course video

第三十三講：單元檢測3複習

在上一次複習中，我們已經涉及了求特征值與特征向量（通過解方程\(\det(A-\lambda I)=0\)得出\(\lambda\)，再將\(\lambda\)帶入\(A-\lambda I\)求其零空間得到\(x\)）。

接下的章節來我們學習了：

• 解微分方程\(\frac{\mathrm{d}u}{\mathrm{d}t}=Au\)，並介紹了指數矩陣\(e^{At}\)；
• 介紹了對稱矩陣的性質\(A=A^T\)，了解了其特征值均為實數且總是存在足量的特征向量（即使特征值重覆特征向量也不會短缺，總是可以對角化）；同時對稱矩陣的特征向量正交，所以對稱矩陣對角化的結果可以表示為\(A=Q\Lambda Q^T\)；
• 接著我們學習了正定矩陣；
• 然後學習了相似矩陣，\(B=M^{-1}AM\)，矩陣\(A,B\)特征值相同，其實相似矩陣是用不同的基表示相同的東西；
• 最後我們學習了奇異值分解\(A=U\varSigma V^T\)。

現在，我們繼續通過例題複習這些知識點。

1. 解方程\(\frac{\mathrm{d}u}{\mathrm{d}t}=Au=\begin{bmatrix}0&-1&0\\1&0&-1\\0&1&0\end{bmatrix}u\)。

   首先通過\(A\)的特征值/向量求通解\(u(t)=c_1e^{\lambda_1t}x_1+c_2e^{\lambda_2t}x_2+c_3e^{\lambda_3t}x_3\)，很明顯矩陣是奇異的，所以有\(\lambda_1=0\)；

   繼續觀察矩陣會发現\(A^T=-A\)，這是一個反對稱矩陣（anti-symmetric）或斜對稱矩陣（skew-symmetric），這與我們在第二十一講介紹過的旋轉矩陣類似，它的特征值應該為純虛數（特征值在虛軸上），所以我們猜測其特征值應為\(0\cdot i,\ b\cdot i,\ -b\cdot i\)。通過解\(\det(A-\lambda I)=0\)驗證一下：\(\begin{bmatrix}-\lambda&-1&0\\1&-\lambda&-1\\0&1&\lambda\end{bmatrix}=\lambda^3+2\lambda=0, \lambda_2=\sqrt 2i, \lambda_3=-\sqrt 2i\)。

   此時\(u(t)=c_1+c_2e^{\sqrt 2it}x_2+c_3e^{-\sqrt 2it}x_3\)，\(e^{\sqrt 2it}\)始終在複平面單位圓上，所以\(u(t)\)及不发散也不收斂，它只是具有周期性。當\(t=0\)時有\(u(0)=c_1+c_2+c_3\)，如果使\(e^{\sqrt 2iT}=1\)即\(\sqrt 2iT=2\pi i\)則也能得到\(u(T)=c_1+c_2+c_3\)，周期\(T=\pi\sqrt 2\)。

   另外，反對稱矩陣同對稱矩陣一樣，具有正交的特征向量。當矩陣滿足什麽條件時，其特征向量相互正交？答案是必須滿足\(AA^T=A^TA\)。所以對稱矩陣\(A=A^T\)滿足此條件，同時反對稱矩陣\(A=-A^T\)也滿足此條件，而正交矩陣\(Q^{-1}=Q^T\)同樣滿足此條件，這三種矩陣的特征向量都是相互正交的。

   上面的解法並沒有求特征向量，進而通過\(u(t)=e^{At}u(0)\)得到通解，現在我們就來使用指數矩陣來接方程。如果矩陣可以對角化（在本例中顯然可以），則\(A=S\Lambda S^{-1}, e^{At}=Se^{\Lambda t}S^{-1}=S\begin{bmatrix}e^{\lambda_1t}&&&\\&e^{\lambda_1t}&&\\&&\ddots&\\&&&e^{\lambda_1t}\end{bmatrix}S^{-1}\)，這個公式在能夠快速計算\(S,\lambda\)時很方便求解。

2. 已知矩陣的特征值\(\lambda_1=0,\lambda_2=c,\lambda_3=2\)，特征向量\(x_1=\begin{bmatrix}1\\1\\1\end{bmatrix},x_2=\begin{bmatrix}1&-1&0\end{bmatrix},x_3=\begin{bmatrix}1\\1\\-2\end{bmatrix}\)：

   \(c\)如何取值才能保證矩陣可以對角化？其實可對角化只需要有足夠的特征向量即可，而現在特征向量已經足夠，所以\(c\)可以取任意值。

   \(c\)如何取值才能保證矩陣對稱？我們知道，對稱矩陣的特征值均為實數，且注意到給出的特征向量是正交的，有了實特征值及正交特征向量，我們就可以得到對稱矩陣。

   \(c\)如何取值才能使得矩陣正定？已經有一個零特征值了，所以矩陣不可能是正定的，但可以是半正定的，如果\(c\)去非負實數。

   \(c\)如何取值才能使得矩陣是一個馬爾科夫矩陣？在第二十四講我們知道馬爾科夫矩陣的性質：必有特征值等於\(1\)，其余特征值均小於\(1\)，所以\(A\)不可能是馬爾科夫矩陣。

   \(c\)取何值才能使得\(P=\frac{A}{2}\)是一個投影矩陣？我們知道投影矩陣的一個重要性質是\(P^2=P\)，所以有對其特征值有\(\lambda^2=\lambda\)，則\(c=0,2\)。

   題設中的正交特征向量意義重大，如果沒有正交這個條件，則矩陣\(A\)不會是對稱、正定、投影矩陣。因為特征向量的正交性我們才能直接去看特征值的性質。

3. 複習奇異值分解，\(A=U\varSigma V^T\)：

   先求正交矩陣\(V\)：\(A^TA=V\varSigma^TU^TU\varSigma V^T=V\left(\varSigma^T\varSigma\right)V^T\)，所以\(V\)是矩陣\(A^TA\)的特征向量矩陣，而矩陣\(\varSigma^T\varSigma\)是矩陣\(A^TA\)的特征值矩陣，即\(A^TA\)的特征值為\(\sigma^2\)。

   接下來應該求正交矩陣\(U\)：\(AA^T=U\varSigma^TV^TV\varSigma U^T=U\left(\varSigma^T\varSigma\right)U^T\)，但是請注意，我們在這個式子中無法確定特征向量的符號，我們需要使用\(Av_i=\sigma_iu_i\)，通過已經求出的\(v_i\)來確定\(u_i\)的符號（因為\(AV=U\varSigma\)），進而求出\(U\)。

   已知\(A=\bigg[u_1\ u_2\bigg]\begin{bmatrix}3&0\\0&2\end{bmatrix}\bigg[v_1\ v_2\bigg]^T\)

   從已知的\(\varSigma\)矩陣可以看出，\(A\)矩陣是非奇異矩陣，因為它沒有零奇異值。另外，如果把\(\varSigma\)矩陣中的\(2\)改成\(-5\)，則題目就不再是奇異值分解了，因為奇異值不可能為負；如果將\(2\)變為\(0\)，則\(A\)是奇異矩陣，它的秩為\(1\)，零空間為\(1\)維，\(v_2\)在其零空間中。

4. \(A\)是正交對稱矩陣，那麽它的特征值具有什麽特點？

   首先，對於對稱矩陣，有特征值均為實數；然後是正交矩陣，直覺告訴我們\(\|\lambda\|=1\)。來證明一下，對於\(Qx=\lambda x\)，我們兩邊同時取模有\(\\|Qx\\|=\|\lambda\|\|x\|\)，而正交矩陣不會改變向量長度，所以有\(\|x\|=\|\lambda\|\|x\|\)，因此\(\lambda=\pm1\)。

   \(A\)是正定的嗎？並不一定，因為特征向量可以取\(-1\)。

   \(A\)的特征值沒有重覆嗎？不是，如果矩陣大於\(2\)階則必定有重覆特征值，因為只能取\(\pm1\)。

   \(A\)可以被對角化嗎？是的，任何對稱矩陣、任何正交矩陣都可以被對角化。

   \(A\)是非奇異矩陣嗎？是的，正交矩陣都是非奇異矩陣。很明顯它的特征值都不為零。

   證明\(P=\frac{1}{2}(A+I)\)是投影矩陣。

   我們使用投影矩陣的性質驗證，首先由於\(A\)是對稱矩陣，則\(P\)一定是對稱矩陣；接下來需要驗證\(P^2=P\)，也就是\(\frac{1}{4}\left(A^2+2A+I\right)=\frac{1}{2}(A+I)\)。來看看\(A^2\)是什麽，\(A\)是正交矩陣則\(A^T=A^{-1}\)，而\(A\)又是對稱矩陣則\(A=A^T=A^{-1}\)，所以\(A^2=I\)。帶入原式有\(\frac{1}{4}(2A+2I)=\frac{1}{2}(A+I)\)，得證。

   我們可以使用特征值驗證，\(A\)的特征值可以取\(\pm1\)，則\(A+I\)的特征值可以取\(0,2\)，\(\frac{1}{2}(A+I)\)的特征值為\(0,1\)，特征值滿足投影矩陣且它又是對稱矩陣，得證。