正交矩陣，酉矩陣，正規矩陣 概念

理清概念，在機器學習的公式推導中經常用到。好比SVD, LDA

• 酉變換，正交變換
• 正規矩陣
• 酉矩陣
• 正交矩陣
• 對角化
• 對角陣
• 正定陣

正交變換

• 正交變換是保持圖形形狀和大小不變的幾何變換，包含旋轉，軸對稱及上述變換的複合。
• 例子：
  • 　tbd

正規矩陣

• $A^* A = A A^*$ A 乘以本身的共軛轉置（$A^*$) 等於 （$A^*$) 乘以本身，A是方塊陣。
• 若是A是實係數矩陣，則$A^*= A^T  $，從而條件簡化爲 $A^T A=A A^T$ 
  
• 任意正規矩陣 均可以通過 正交變換 變成 對角矩陣，反過來，能夠通過一個 正交變換 成爲對角矩陣的矩陣 都是正規矩陣
• 矩陣的正規性是檢驗矩陣是否可對角化的一個簡便方法
• 在復係數矩陣中，全部 酉矩陣 都是 正規的；在實係數 矩陣中，正交矩陣 都是正規矩陣
• 例子：
  • 　　
  • .

酉矩陣

• 特殊的正規矩陣 $U^* U = U U^* = I_n$
• $U, U^* $都是酉矩陣
• 酉矩陣的特徵值都是模爲1的複數，即分佈在複平面的單位圓上，所以酉矩陣行列式的值也爲1
• 酉矩陣 與對角陣關係 $U = V \Sigma V^* $ V 是酉矩陣，$\Sigma$ 是主對角線上元素絕對值爲1的對角陣
• 例子

正交矩陣 orthogonal matrix

• 方塊矩陣，元素是實數，行與列都是正交的單位向量，他的轉置矩陣是其 逆矩陣
• $Q^-1 = Q^T <=> Q^-1  Q^T = I $
• 行列式 必爲 +1 或 -1
• 正交矩陣是實數特殊化的酉矩陣，所以老是正規矩陣。
• 例子
  •  針對x軸反射。
  •  旋轉反演（rotoinversion）:軸 (0,-3/5,4/5)，角度90°。

對角陣

• 對角矩陣（英語：diagonal matrix）是一個主對角線以外的元素皆爲0的矩陣。對角線上的元素能夠爲0或其餘值。

三角陣

• 在線性代數中，三角矩陣是方形矩陣的一種，因其非零係數的排列呈三角形狀而得名。三角矩陣分上三角矩陣和下三角矩陣兩種。

用途

• 三角矩陣能夠看作是通常方陣的一種簡化情形。好比，因爲帶三角矩陣的矩陣方程容易求解，在解多元線性方程組時，老是將其係數矩陣經過初等變換化爲三角矩陣來求解；
• 又如三角矩陣的行列式就是其對角線上元素的乘積，很容易計算。有鑑於此，在數值分析等分支中三角矩陣十分重要。一個可逆矩陣A能夠經過LU分解變成一個下三角矩陣L與一個上三角矩陣U的乘積。LU =>Low, Upper. LDU => L, Diagonal, U

對角化

• 若是一個方塊矩陣 A 類似於對角矩陣，也就是說，若是存在一個可逆矩陣 P 使得 P ⁻¹AP 是對角矩陣，則它就被稱爲可對角化的。
• 可對角化矩陣和映射在線性代數中有重要價值，由於對角矩陣特別容易處理: 它們的特徵值和特徵向量是已知的，且其次方可經過計算對角元素一樣的次方來得到。
• 在域 F 上的 n × n 矩陣 A 是可對角化的，當且僅當它的特徵空間的維度等於 n，
• 它爲真當且僅當存在由 A 的特徵向量組成的 Fⁿ 的基。
• 若是找到了這樣的基，能夠造成有基向量做爲縱列的矩陣 P，而 P ^-1AP 將是對角矩陣。
• 這個矩陣的對角元素是 A 的特徵值。
• wiki中有對角化方法

正定陣

• 一個n×n的實對稱矩陣M是正定的，當且僅當對於全部的非零實係數向量z，都有z^TMz > 0。
• 正定矩陣的性質相似複數中的正實數。