瑞利商（Rayleigh quotient）與廣義瑞利商（genralized Rayleigh quotient）

最近在學習LDA，公式推導中很重要的部分就是瑞利商和廣義瑞利商。

瑞利商定義

瑞利商函數是指這樣的函數𝑅(𝐴,𝑥)
$$R(A,x) = \cfrac{x^{H}Ax}{x^{H}x}$$
其中𝐴爲$𝑛×𝑛$的Hermitan矩陣。Hermitan矩陣，就是知足共軛轉置矩陣和本身相等的矩陣，$A^{H}=𝐴$。$X^{H}$是$X$的共軛轉置矩陣。

共軛轉置矩陣
矩陣有實數矩陣和複數矩陣。
轉置矩陣僅僅是將矩陣的行與列對換
共軛轉置矩陣在將行與列對換後還要講每一個元素共軛一下。
共軛就是將形如a+bi的數變成a-bi，實數的共軛是它自己。
因此，實數矩陣的共軛轉置矩陣就是轉置矩陣，複數矩陣的共軛轉置矩陣就是上面所說的行列互換後每一個元素取共軛

瑞利商的性質

瑞利商𝑅(𝐴,𝑥)有一個很是重要的性質，即它的最大值等於矩陣𝐴最大的特徵值，而最小值等於矩陣𝐴的最小的特徵值，也就是知足
$$\lambda_{min} \leq \cfrac{x^{H}Ax}{x^{H}x} \leq \lambda_{max}$$
當向量𝑥是標準正交基時，即知足$x^{H}x=1$時，瑞利商退化爲：$𝑅(𝐴,𝑥)=x^{H}Ax$，這個形式在譜聚類和PCA中都有出現。

廣義瑞利商

廣義瑞利商是指這樣的函數$𝑅(𝐴,𝐵,𝑥)$:
$$R(A,B,x) = \cfrac{x^{H}Ax}{x^{H}Bx}$$
其中𝑥爲非零向量，而𝐴,𝐵爲$𝑛×𝑛$的Hermitan矩陣。𝐵爲正定矩陣。

正定矩陣
正定和半正定這兩個詞的英文分別是positive definite和positive semi-definite，其中，definite是一個形容詞，表示「明確的、肯定的」等意思。

【定義】（狹義定義）給定一個大小爲 $𝑛×𝑛$ 的實對稱矩陣$A$，若對於任意長度爲$n$的非零向量$x$，有 $x^{T}Ax >= 0$ 恆成立，則矩陣$A$是一個正定矩陣。
單位矩陣是正定矩陣 (positive definite)。

半正定矩陣
【定義2】（狹義定義）給定一個大小爲 [公式] 的實對稱矩陣 [公式] ，若對於任意長度爲$n$的向量$x$，有 $x^{T}Ax > 0$恆成立，則矩陣$A$是一個半正定矩陣。

它的最大值和最小值是什麼呢？其實咱們只要經過將其經過標準化就能夠轉化爲瑞利商的格式。咱們令$𝑥=𝐵^{−1/2}𝑥^{′}$,（$𝑥^{′}$是新定義的一個向量，待求值）則分母轉化爲：

$x^HBx$
$= x'^H(B^{-1/2})^HBB^{-1/2}x' $
$= x'^HB^{-1/2}BB^{-1/2}x' = x'^Hx'$
其中$(B^{-1/2})^H$，因爲$(B^{-1/2})^H=(B^{H})^{-1/2}$且$B$是Hermitan矩陣，因此$(B^{-1/2})^H=B^{-1/2}$；$B^{-1/2}BB^{-1/2}=B^{-1/2}B^{-1/2}B=B^{-1}B=1$

而分子轉化爲：

$x^HAx =  x'^HB^{-1/2}AB^{-1/2}x'$

此時咱們的$𝑅(𝐴,𝐵,𝑥)$轉化爲$𝑅(𝐴,𝐵,𝑥^{′})$:

$$R(A,B,x') = \cfrac{x'^HB^{-1/2}AB^{-1/2}x'}{x'^Hx'}$$

利用前面的瑞利商的性質，咱們能夠很快的知道，$𝑅(𝐴,𝐵,𝑥^{′})$的最大值爲矩陣$B^{-1/2}AB^{-1/2}$的最大特徵值。
因爲方陣的特徵值等於方陣轉置的特徵值，因此$B^{-1/2}AB^{-1/2}$的特徵值等於 $(B^{-1/2}AB^{-1/2})^{T}$的特徵值。

$(B^{-1/2}AB^{-1/2})^{T}=(B^{-1/2})^{T}(AB^{-1/2})^{T}=B^{-1/2}(B^{-1/2})^{T}A^{T}=B^{-1/2}B^{-1/2}A=B^{-1}A$

因此$𝑅(𝐴,𝐵,𝑥^{′})$的最大值爲矩陣$B^{-1}A$的最大特徵值，而最小值爲矩陣$B^{-1}A$的最小特徵值。

瑞利商與極值計算