author: zlotus

Description:

這是MIT 18.06 Linear-Algebra 的學習筆記

Course video

第二十八講：正定矩陣和最小值

本講我們會了解如何完整的測試一個矩陣是否正定，測試\(x^TAx\)是否具有最小值，最後了解正定的幾何意義——橢圓（ellipse）和正定性有關，雙曲線（hyperbola）與正定無關。另外，本講涉及的矩陣均為實對稱矩陣。

正定性的判斷

我們仍然從二階說起，有矩陣\(A=\begin{bmatrix}a&b\\b&d\end{bmatrix}\)，判斷其正定性有以下方法：

1. 矩陣的所有特征值大於零則矩陣正定：\(\lambda_1>0,\ \lambda_2>0\)；
2. 矩陣的所有順序主子陣（leading principal submatrix）的行列式（即順序主子式，leading principal minor）大於零則矩陣正定：\(a>0,\ ac-b^2>0\)；
3. 矩陣消元後主元均大於零：\(a>0,\ \frac{ac-b^2}{a}>0\)；
4. \(x^TAx>0\)；

大多數情況下使用4來定義正定性，而用前三條來驗證正定性。

來計算一個例子：\(A=\begin{bmatrix}2&6\\6&?\end{bmatrix}\)，在\(?\)處填入多少才能使矩陣正定？

• 來試試\(18\)，此時矩陣為\(A=\begin{bmatrix}2&6\\6&18\end{bmatrix}\)，\(\det A=0\)，此時的矩陣成為半正定矩陣（positive semi-definite）。矩陣奇異，其中一個特征值必為\(0\)，從跡得知另一個特征值為\(20\)。矩陣的主元只有一個，為\(2\)。

  計算\(x^TAx\)，得\(\begin{bmatrix}x_1&x_2\end{bmatrix}\begin{bmatrix}2&6\\6&18\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=2x_1^2+12x_1x_2+18x_2^2\)這樣我們得到了一個關於\(x_1,x_2\)的函數\(f(x_1,x_2)=2x_1^2+12x_1x_2+18x_2^2\)，這個函數不再是線性的，在本例中這是一個純二次型（quadratic）函數，它沒有線性部分、一次部分或更高次部分（\(Ax\)是線性的，但引入\(x^T\)後就成為了二次型）。

  當\(?\)取\(18\)時，判定1、2、3都是“剛好不及格”。

• 我們可以先看“一定不及格”的樣子，令\(?=7\)，矩陣為\(A=\begin{bmatrix}2&6\\6&7\end{bmatrix}\)，二階順序主子式變為\(-22\)，顯然矩陣不是正定的，此時的函數為\(f(x_1,x_2)=2x_1^2+12x_1x_2+7x_2^2\)，如果取\(x_1=1,x_2=-1\)則有\(f(1,-1)=2-12+7<0\)。

  如果我們把\(z=2x^2+12xy+7y^2\)放在直角坐標系中，圖像過原點\(z(0,0)=0\)，當\(y=0\)或\(x=0\)或\(x=y\)時函數為開口向上的拋物線，所以函數圖像在某些方向上是正值；而在某些方向上是負值，比如\(x=-y\)，所以函數圖像是一個馬鞍面（saddle），\((0,0,0)\)點稱為鞍點（saddle point），它在某些方向上是極大值點，而在另一些方向上是極小值點。（實際上函數圖像的最佳觀測方向是沿著特征向量的方向。）

• 再來看一下“一定及格”的情形，令\(?=20\)，矩陣為\(A=\begin{bmatrix}2&6\\6&20\end{bmatrix}\)，行列式為\(\det A=4\)，跡為\(trace(A)=22\)，特征向量均大於零，矩陣可以通過測試。此時的函數為\(f(x_1,x_2)=2x_1^2+12x_1x_2+20x_2^2\)，函數在除\((0,0)\)外處處為正。我們來看看\(z=2x^2+12xy+20y^2\)的圖像，式子的平方項均非負，所以需要兩個平方項之和大於中間項即可，該函數的圖像為拋物面（paraboloid）。在\((0,0)\)點函數的一階偏導數均為零，二階偏導數均為正（馬鞍面的一階偏導數也為零，但二階偏導數並不均為正，所以），函數在改點取極小值。

  在微積分中，一元函數取極小值需要一階導數為零且二階導數為正\(\frac{\mathrm{d}u}{\mathrm{d}x}=0, \frac{\mathrm{d}^2u}{\mathrm{d}x^2}>0\)。在線性代數中我們遇到了了多元函數\(f(x_1,x_2,\cdots,x_n)\)，要取極小值需要二階偏導數矩陣為正定矩陣。

  在本例中（即二階情形），如果能用平方和的形式來表示函數，則很容易看出函數是否恒為正，\(f(x,y)=2x^2+12xy+20y^2=2\left(x+3y\right)^2+2y^2\)。另外，如果是上面的\(?=7\)的情形，則有\(f(x,y)=2(x+3y)^2-11y^2\)，如果是\(?=18\)的情形，則有\(f(x,y)=2(x+3y)^2\)。

  如果令\(z=1\)，相當於使用\(z=1\)平面截取該函數圖像，將得到一個橢圓曲線。另外，如果在\(?=7\)的馬鞍面上截取曲線將得到一對雙曲線。

  再來看這個矩陣的消元，\(\begin{bmatrix}2&6\\6&20\end{bmatrix}=\begin{bmatrix}1&0\\-3&1\end{bmatrix}\begin{bmatrix}2&6\\0&2\end{bmatrix}\)，這就是\(A=LU\)，可以发現矩陣\(L\)中的項與配平方中未知數的系數有關，而主元則與兩個平方項外的系數有關，這也就是為什麽正數主元得到正定矩陣。

  上面又提到二階導數矩陣，這個矩陣型為\(\begin{bmatrix}f_{xx}&f_{xy}\\f_{yx}&f_{yy}\end{bmatrix}\)，顯然，矩陣中的主對角線元素（純二階導數）必須為正，並且主對角線元素必須足夠大來抵消混合導數的影響。同時還可以看出，因為二階導數的求導次序並不影響結果，所以矩陣必須是對稱的。現在我們就可以計算\(n\times n\)階矩陣了。

接下來計算一個三階矩陣，\(A=\begin{bmatrix}2&-1&0\\-1&2&-1\\0&-1&2\end{bmatrix}\)，它是正定的嗎？函數\(x^TAx\)是多少？函數在原點去最小值嗎？圖像是什麽樣的？

• 先來計算矩陣的順序主子式，分別為\(2,3,4\)；再來計算主元，分別為\(2,\frac{3}{2},\frac{4}{3}\)；計算特征值，\(\lambda_1=2-\sqrt 2,\lambda_2=2,\lambda_3=2+\sqrt 2\)。
• 計算\(x^TAx=2x_1^2+2x_2^2+2x_3^2-2x_1x_2-2x_2x_3\)。
• 圖像是四維的拋物面，當我們在\(f(x_1,x_2,x_3)=1\)處截取該面，將得到一個橢圓體。一般橢圓體有三條軸，特征值的大小決定了三條軸的長度，而特征向量的方向與三條軸的方向相同。

現在我們將矩陣\(A\)分解為\(A=Q\Lambda Q^T\)，可以发現上面說到的各種元素都可以表示在這個分解的矩陣中，我們稱之為主軸定理（principal axis theorem），即特征向量說明主軸的方向、特征值說明主軸的長度。

\(A=Q\Lambda Q^T\)是特征值相關章節中最重要的公式。