線性代數筆記29——正定矩陣和最小值

　　原文連接 | https://mp.weixin.qq.com/s/wX6wmVSqJUTgbmk8Z1r2_w

判斷正定矩陣

　　給出一個矩陣：

　　有4個途徑能夠斷定該矩陣是不是正定矩陣（注意這個矩陣的4個元素中有2個b，這是由於正定矩陣是對稱矩陣，若是A的次對角線的元素不相等，A就不是對稱的，也就沒有必要進一步斷定是不是正定的）：

1. 全部特徵值大於0，λ₁>0，λ₂>0
2. 行列式及左上角的全部k階子行列式均爲正（1≤k≤n）
3. a > 0, ac – b² > a （針對2階矩陣）
4. 對於任意非零向量x，x^TAx > 0

　　其中第4個是正定的定義，前3個是用來驗證正定的條件。

　　

　　當y怎樣取值時，下面的2階矩陣是正定的？

　　根據條件2可知，2y > 6²時，即y>18時，矩陣是正定的。

　　若是y=18，則矩陣正好處於正定的臨界點上，此時A是奇異矩陣，有一個特徵值是0，x^TAx = 0。咱們稱這種處於臨界點上的正定矩陣爲半正定矩陣。

矩陣的二次型

　　再來看一下x^TAx。對於非零向量x來講，Ax是線性形式，加入x^T後就變成了含有二次項的形式，好比：

　　這種形式稱爲矩陣的二次型。固然x^TAx也只有二次型，沒有三次型和四次型，即便x是更多維度的向量也同樣，好比當x是三維向量時，最終結果仍然只含有二次項：

　　若是對於任意非零向量x來講，矩陣的二次型都大於0，那麼這個矩陣是正定矩陣。

　　y=18時A是半正定矩陣，當x₁=3,x₂=-1時，其二次型爲0：

二次型的意義

　　爲了畫出幾何圖形，咱們以二階矩陣爲例，先看一個非正定矩陣：

　　它的二次型是2x₁² + 12x₁x₂ + 7x₂²，其幾何圖形以下：

　　從圖形上看沒有最小值點，原點處是一個鞍點，在某個方向看是極大值，同時又是另外一個方向的極小值。下圖是個經典的鞍點，圖形呈馬鞍狀：

　　再來看正定矩陣：

　　A的二次型是f(x,y) = 2x² + 12xy + 20y²，圖形以下：

　　回顧本節出現的兩個二次型，它們均可以經過配方寫成徹底平方的形式：

　　當x,y不全是0時，能夠判斷第2個二次型必定大於0，第一個就不必定了。此外還能夠經過二次型判斷臨界點是(0, 0)點。

　　

　　通過配方後的二次型很奇妙，它還能夠來自消元：

　　消元變成了上三角矩陣。A能夠經過LU分解成：

　　如今把原矩陣、二次型和LU分解放到一塊：

　　通過消元后的第一個主元是x的係數，第二個主元正是配方項2y²的係數，若是f大於0，那麼這兩個係數必定是正值，這也是爲何正定矩陣的主元必定都爲正的緣由。

 

　　換一個矩陣試試：

　　其中一個主元是負數，對應的二次型也不能保證必定大於0。

　　

正定矩陣與最小值

　　正定矩陣對應的二次型是有最小值的。

二元函數

　　判斷一元函數是否有最小值，須要判斷它的導數和二階導，一樣，多元函數是否有最小值也要根據臨界點和二階導判斷。咱們在多變量微積分中介紹過怎樣判斷二元函數的最小值，最小值出如今臨界點上：f(x, y)的一個臨界點是(x₀, y₀)，即f_x(x₀, y₀) = 0 且 f_y(x₀, y₀) = 0， f的最小值是根據二階導數判斷的：

　　對於f(x,y) = 2x² + 12xy + 20y²來講：

　　臨界點符合最小值的條件，所以(0,0)是f(x,y) = 2x² + 12xy + 20y²的最小值。這個結論實際上來源於對A的二階導矩陣的正定性的判斷：

　　對於二元函數的混合偏導來講，f_xy和f_yx是同樣的，所以這個矩陣是對稱矩陣。在求得臨界點後，根據斷定正定矩陣的第3條，只要知足下面的條件，則這個二階導矩陣是正定矩陣：

三元函數

　　如今召喚一個三元矩陣，而後判斷它的正定性：

　　先對其進行消元：

　　A的主元都大於0，這符合正定矩陣的性質，是一個必要條件。

　　接下來咱們經過子行列式判斷A的正定性：

　　如今能夠肯定A是正定矩陣。若是進一步求得特徵值，則A的3個特徵值是：

　　特徵值之和等於A的跡，特徵值之積等於A的主元之積。

　　A是正定矩陣，所以能夠斷定A的二次型是有最小值的：

　　用配方法驗證：

　　能夠看出最小值的點是(0, 0, 0)。

 

　　原文連接 | https://mp.weixin.qq.com/s/wX6wmVSqJUTgbmk8Z1r2_w

　　更多極值問題，可參考做者公衆號的專欄《單變量微積分》《單變量微積分》《程序員的數學》中的相關文章。

　　

---

　　出處：微信公衆號 "我是8位的"

 

　　本文以學習、研究和分享爲主，如需轉載，請聯繫本人，標明做者和出處，非商業用途！ 

　　掃描二維碼關注做者公衆號「我是8位的」