離散時間信號與系統-頻域：5

23.正交基

任何數學都是對集合的一種描述。而線性代數是指一個空間，這個空間由相互獨立的基構成。空間的維度指基的個數。空間中的任何一點（是一個向量）均可以由基的線性組合進行描述。線性變換指的是將空間一個點到另外一個點的運動的描述。

基具備兩個性質：

Span：空間中的任何一個向量均可以由基的線性組合構成，基也是一個向量，因此其線性組合仍然是個向量。

相互獨立：基中的任何一個向量都不能夠由基中的其餘向量表示。

基（向量）以列的形式排成N*N的基矩陣B。將尺度（權重）排成列向量，注意alpha_k是個標量，alpha_k是個標量，alpha_k是個標量。Ba的結果仍然是向量，調節權值係數a，就能夠獲得空間中的任何一點。

正交基和單位正交基

正交基中的任意兩個向量的內積爲0，由於他們相互獨立。單位正交基的任意向量長度（幅值）爲1（本身關於本身的內積，2範數）

矩陣的逆運算，引入逆運算是爲了利用B和x求權值係數a。

實數範圍內：正交矩陣的逆等於該矩陣的轉置。複數範圍內：複數正交矩陣叫作酉矩陣。  它的逆用複數共軛轉置表示。關鍵前提是正交。

利用正交單位基表示信號，合成和分析的兩個概念。

利用正交的基（矩陣），就能夠獲得該空間中的任何一點（任何一個信號），即Ba能夠表示任何一個信號，這個叫作合成。想一想那個多個樂器mix的故事，咱們能夠認爲每一個樂器的信號都爲B中一列，利用不一樣的權值係數alpha，能夠將多個樂器的信號進行mix。

合成的反向操做叫作分析，就是利用B和信號x，求權值係數的過程，此時用到了B的逆的概念。實數正交矩陣中矩陣的逆與其轉置相同。酉矩陣就利用B^H表示逆矩陣。

因此，求某個基上的係數alpha時，就是用該向量x與該基的內積 （<x,bk>）。 兩層含義：兩個向量的類似程度； 信號x在該基軸bk上的投影。

在複數計算的時候須要注意：矩陣B的每一列表示某個維度上的基，共軛轉置操做使得每一列轉爲行的同時複數部分進行了取反，因此信號x與b_k的類似程度的計算其實是x與b_k的共軛的內積，這是複數內積的定義。

總結：

在信號處理領域，a就是信號x的座標系從I變換到B以後的信號，因此a與x是同一個信號，在不一樣空間的表示。因此a固然含有所有的x的信息。

a_k表示x與b_k的內積，b_k是複數,因此內積的計算結果<x,b_k>與<x,b_k的共軛>相等(星號指b_k的共軛),也是爲何B^H中的每一行與x的內積等於<x,b_k>.

24.特徵分析

矩陣A乘以它的特徵向量不改變向量的方向，只改變向量的強度，改變的尺度爲lambda。

將一個矩陣的全部特徵值和特徵向量放在一塊兒。注意放在一塊兒時，特徵值矩陣放在後面，特徵向量矩陣放在前面。每一個特徵值列向量只對其對應的特徵向量起做用。Amazing!!,都放在一塊兒了。

對角化： 利用特徵值，將一個矩陣轉化成對角矩陣(對角化)。

任何一個矩陣均可以對角化，Amazing！！！，這個對角化的矩陣也就是該矩陣所表明的空間的基吧。

重要：特徵向量與和對角矩陣（特徵值矩陣）,含矩陣A的所有信息。 （例如：因此前面的B能夠利用對角矩陣代替了呀。）

總結：

特徵值和特徵向量含有矩陣中的所有信息。

25.線性時變不繫統的特徵分析（有限信號）

計算系統H的特徵值和特徵向量，特徵向量是輸入信號，同時也在輸出端，只不過輸出端時該輸入信號的縮放結果（縮放尺度爲特徵向量）。記住:h是脈衝響應,也是第H第0列的值.

LTI系統的特徵向量

直接上結論：H矩陣的特徵向量就是複數諧波正弦(harmonic sinusoids)，有限信號的的H,因此N的長度必定,此處將諧波正弦信號進行單位化。

複數諧波正弦函數：e^j2pikn/N,相互正交，正交基必定是特徵向量。k是第k個信號，n是信號自變量（例如時間）。根號N是單位化。

每一個複數諧波信號通過系統H以後，只是尺度發生了變化,方向不變化。除了諧波正弦，還有別的特徵向量存在。可是諧波正弦最好用。

原始信號（左面）的複數部分的lambada勾掉。

證實：諧波正弦是LTI系統的特徵向量。

將諧波(向量)經過LTI系統H,獲得特徵向量的性質(該向量只有尺度發生了變化).

因此,任意LTI系統的特徵向量都是長度爲N的諧波集合。

傅里葉變換：

LTI系統對應信號s_k（諧波正弦）的特徵值lambda也叫做在頻率k處的頻率響應（該信號經過系統H），也就是輸入信號s_k的系統響應。也表示衝擊響應h[n]與信號s_k[n]的類似程度。

a_k表示x與b_k的內積，b_k是複數,因此內積的計算結果<x,b_k*>相等(星號指b_k的共軛)--內積定義。

這個過程就是傅里葉變換，這個lambda就是傅里葉空間的基對應的權重。（將信號從原來的時域空間，軸座標爲n，切換到頻域，軸座標爲lambda_k），每一個頻率座標都是一個諧波取不一樣的K值。

因此，不斷的更改K值，就能夠獲得每一個頻率的頻率響應lambda，最後獲得H的所有特徵值和特徵向量。即整個頻域信息。

將每一個諧波以列的方式進行畫圖，縱軸是n，橫軸是k（表示頻率，長度爲N的信號中含有周期的個數），n和k都是從0到N-1. 每一個點n處的幅值（有正有負）。

例如：k=1時，實數部分：第二列從上到下表示只含有一個週期的信號，不一樣的n表明了信號不一樣的值（是一個完整的餘弦波）；虛數部分：也是隻含有一個週期的正弦波。k=2時，N內含有兩個週期...以此類推。

特別現象：k=1與k=N-1的實數部分徹底相同，虛數部分取相反數。（由於角度theta在k=1處與k=N-1處取相反數，k=1爲正，k=N-1爲負）

另外：k與n的地位相同，因此他們有對稱性，沿着主對角線對稱哦。 因此，S=S^T。（轉置T與逆徹底不一樣，只有在酉矩陣中，複數矩陣的逆纔等於它的轉置H）

將全部的lambda進行排列，獲得非標準化的對角矩陣。

前面的式子當中符號寫錯了，應該是n而不是m，h[n]表示的是向量，h[n-m]表示的是元素，切記。

 

利用這個正交矩陣就能夠對LTI系統H進行分解。

還記的a=B^Hx，ak就是衡量x與bk的類似程度的麼？此處h[n]表明的是x，而s_k[n]表示的是B，每一個k表明B中的一列，因此B^H取其共軛轉置，即e^(-j2*pi*k*n/N).稍後有更詳細的解釋。

Ok，傅里葉變換的圖像表示：

將全部諧波按照列構成傅里葉空間的基。因此，再獲得該空間各個基對應的權重lambda就能夠表示在該空間中的信號了。

原始問題爲：在時域空間，信號x通過系統H獲得信號y。

問題轉化：將時域空間系統H轉到頻域空間

因此整個過程爲: 將時間域內的信號轉移到頻域空間操做。因此原來的x和H都要先轉到頻域空間。其中，S^H將信號x進行傅里葉變換（S^H與x相乘）轉到頻域空間，頻率響應矩陣是系統H通過DFT以後的結果（這個結果很好，由於每一個列或叫基是正交的），信號在頻域空間操做完以後，最後再乘反傅里葉變換S獲得時域信號y。

如下指示信號的實數部分，虛數部分相似。信號能夠當作是實數部分與虛數部分的相加。

中間的對角線矩陣就是使用特徵值構造的，就是DFT的結果。在後面對無限信號的分析十分有用。

 

總結：

諧波就是有限信號的LTI系統的特徵函數（本徵函數），構成空間的基。

所以，傅里葉變換試分析LTI系統的好工具，由於特徵值矩陣就是LTI系統的頻率響應。

頻率響應都是衝擊信號的傅里葉變換。

線性代數中，特徵分解（Eigendecomposition），又稱譜分解（Spectral decomposition）是將矩陣分解爲由其特徵值和特徵向量表示的矩陣之積的方法。
須要注意只有對可對角化矩陣才能夠施以特徵分解。

26.離散傅里葉變換（DFT）

全部的信號均可以由正弦信號的線性組合構成。在C^N和R^N中成立。

信號可使用標準正交基構成，信號是該組基構成了空間中的一個向量。

ak：表示ak對應的基bk和信號x類似程度，例如某個向量與座標系的每一個基進行內積，就獲得了在該基向量上的權值（尺度），是標量。也表示該信號與該基的類似程度。
神奇，神奇，神奇。空間中的每一個向量（信號）都是基的線性組合，而每一個基對應的權值係數嚴格等於向量（信號）與該基的內積（複數域內是該基的共軛與信號的內積），就是他們的類似程度。

注意：bk就是基；注意x和a能夠相互循環

 

諧波之間是相互正交的，能夠轉化爲標準正交基。

假設諧波的定義域爲N（與信號長度相同），那麼在該諧波集合中，一共含有N種諧波（從k=0到k=N-1個週期的狀況），能夠構成N維空間。（因此能夠表示LTI系統中H爲N的狀況，由於H也是N維空間的值）

例以下面的S₂[n]，即k=2，表示該諧波在N=16內具備兩個完整週期。

諧波的標準正交基矩陣：將標準化之後的諧波，按照列的方式排布，獲得N*N的複數矩陣。

k=1時，實數部分：第二列從上到下表示只含有一個週期的信號，不一樣的n表明了信號不一樣的值（是一個完整的餘弦波）；虛數部分：也是隻含有一個週期的正弦波。

k=2時，N內含有兩個週期...以此類推。

上圖的信號S₂[n]就是下圖k=2時的列。

 

特別：

k=1與k=N-1的實數部分徹底相同，虛數部分取相反數。（由於角度theta在k=1處與k=N-1處取相反數，k=1爲正，k=N-1爲負）

k與n的地位相同，因此他們有對稱性，沿着主對角線對稱哦。 因此，S=S^T。

S爲酉矩陣，因此S^-1=S^H（共軛轉置，也叫伴隨，矩陣先轉置，再取共軛），由於轉置與原矩陣相同，因此S^H就是在S基礎上直接取共軛，即S*。

因此圖像上任何一點均可以直接獲得。

諧波正交矩陣的轉置：

轉置、共軛、共軛轉置、伴隨矩陣、逆矩陣的概念：

轉置就是將矩陣的行與列互換，用T表示；
共軛是指複數的實數部分不變，虛數部分取反，用帽子上一個橫線表示;
共軛轉置就是先將矩陣進行轉置，而後再取共軛（也叫伴隨）用H或者*表示；
逆矩陣是指與原矩陣相乘爲單位矩陣的矩陣，用-1表示

S爲酉矩陣，因此S^-1=S^H（共軛轉置，也叫伴隨，矩陣先轉置，再取共軛），由於轉置與原矩陣相同（S=S^T），因此S^H就是在S基礎上直接取共軛，即S*。

最後獲得強大的公式：S矩陣的逆，等於矩陣的複數共軛轉置，等於矩陣的共軛。

插播：解決了一個巨大的疑惑：爲何e^(-j2*pi*k*n/N)與h的內積與<h，sk>相等，由於內積的定義就是這麼定義的！！！！！

經過諧波對信號進行表示：

假設X和x屬於不一樣的空間（頻域和時域），那麼咱們就利用諧波進行空間的轉換。

將已知的信號x進行分析（至關於Ba中獲得權值係數a的過程）就叫作前向標準化傅里葉變換。

而利用權值係數構造信號x就是合成。

即x=Ba。此處的B爲S，即基矩陣。a爲X（lambda表示未通過標準化的），表示權值係數。

因此，任意有限信號均可以進行頻域分析（將其轉化爲頻域），具體爲求出每一個頻段的權值係數，表示該信號與該頻率的正弦信號的類似程度（<x[n],s_k>），類似程度越高，權值越大。

進一步解釋：

DFT傅里葉變換系數X[k]表示信號與諧波的類似程度，至關於將信號輸入到諧波構成的向量空間中去。是分析過程。

IDFT是將頻域的信號轉回到時間域。

將信號在時域和頻域內進行轉化。

例子：

從公式中咱們能夠看出，傅里葉變換系數（DFT coefficients）含有不少複數，因此即便信號x是實數信號，DFT cofefficients通常狀況下也是複數。

在頻域內的縱座標是X[k]的幅值(長度)，由於信號X是個複數， 因此將幅值能夠將實數部分和複數部分結合在一塊兒。

|X[5]|表示信號x與S₅的類似程度，S₅表示的是在32個樣本點中，一共含有5個週期的正弦諧波。

|X[5]|和綠色的|X[15]|進行比較，咱們就發現信號與低頻的諧波類似度更高，與高頻諧波類似度很低。

平時，咱們應用非標準化的DFT更多，由於不少時候根號計算得不到有限得數。例如根號32. u表示unnormalized，1/N來歷以下：X[k]={1/sqrt(N)}X_u[k],因此在x[n]中，將兩個根號N相乘，獲得係數1/N.

總結：

傅里葉變換系數X含有信號x的所有信息。（包含了隱藏條件，由於諧波矩陣是已知的）

---

 練習題，源代碼：

圖像以下。將一個聲音信號進行頻域分析，注意如下幾點：

直接進行FFT，獲得一些值很小（藍色圓圈內），可是他們可能頗有用。

因此，對他們取log，獲得了信號的信噪比。此時，有值的頻率區域都被放大了（綠色圓圈），更有助於分析。例如設計濾波器。

最後，將信噪比信號進一步移位，獲得了以中心對稱的信號，這樣更有助於濾波，咱們甚至能夠丟掉小於0的部分。

 

---

27.傅里葉變換的性質

綜上，傅里葉變換能夠對任何有限信號x[n]進行分析，信號也能夠在頻域和時域之間無損變換。具體以下。X[k]叫作分析，k表示不一樣頻率（不一樣基），X[k]表示信號與該基的類似程度，做圖的時候使用幅值|X[k]|。

而x[n]表示信號的合成，是信號在頻域空間的一種表示，基與各基對應的權值係數構成的向量的內積。

傅里葉變換後的值X[k]也能夠當作是一種信號，該信號可使用週期信號進行解讀。

DFT中頻率k的含義是不一樣頻率的諧波信號，具體表示信號的長度N中含有k個週期的正弦函數（正弦和餘弦的統稱）。

k與角速度omega是對應的!

DFT是以N爲週期。

例如：第-1+N個點處的值X[-1+N]=X[-1]=X[(-1)_N]，因此雖然k比較大，可是當k靠近N的時候，X[k]實際與低頻信息相等。

回憶:週期性能夠用圓環模運算表示，X[N-1]至關於X[(-1)_N],即向相反方向旋轉一下：

若是N=16，k=15。至關於k=-1時的幅值。k=-1表示該諧波在N上面只有一個週期。

如圖k=1時，諧波的實數部分爲一個餘弦信號（紅色部分），負號表示諧波的虛數部分（正弦）是普通正弦的取反（藍色）。

如圖k=-1時，實數部分不變（偶函數），虛數部分變爲相反數（奇函數）

任意長度N的範圍內均可以獲得信號的所有頻率信息。

例如正常狀況下，DFT獲得的k從0到N-1，（紅色方塊）。可是，從-N/2到N/2仍然是所有的頻率信息，（左面的軸完整的移動到右側）。

DFT的頻率範圍，每一個長度N的間隔都含有相同的信息（信號的頻域信息）。

經常使用兩種：[0，N-1]和[-N/2，N/2],分別表明了[0,2pi]和[-pi,pi]。 其中，[0,2pi]的低頻區域在兩邊，[-pi,pi]的低頻區域在中間。很是重要的位移。 很是重要的位移。 很是重要的位移。也叫FFTshift

快速傅里葉變換的移位:

逆傅里葉變換是週期的，週期是N。

DFT變換對之間的圓環位移。時域的時間移位對應頻域的相位移位。

 

 相反，頻域的circular shit等於時域的phase shift。

DFT將信號的循環卷積與頻域的乘積相對應。卷積與乘積的轉化。

Hu表示的是衝擊信號的頻域響應。

證實以下：

傅里葉變換是線性的：

補充知識：Amplitude 和 Magnitude

Amplitude refers to the maximum deviation from zero that can be taken by a periodically varying quantity.表示峯值的大小（波峯，波谷），一個正數。 翻譯：振幅
Magnitude refers to the size of a quantity regardless of the direction. 表示一個向量的尺寸（長度），通常是二範數。翻譯：模長

DFT是個虛數，該信號有兩種表示方法：以實部合虛部表示；或者以幅度合相位進行表示。

總結及相關證實。

 

 有限信號及其傅里葉變換是具備對稱性的，信號是偶函數，則DFT也是偶函數；相反也成立。

對稱性。 若是信號x[n]是實數信號，則有X[-k]=X[-k]*，說明X函數是一個實數部分偶函數，虛數部分奇函數的函數。證實以下。

總結以下：

證實以下：

-k與k的關係，由於X[k]是周期函數，因此[-k+N]至關於[-k]。

 

將圖像進行fft移位，就能夠看到更明顯的對稱性。

在實數部分和模長是偶信號

在虛數部分和相位是奇信號

因此，不少場合就留下了一半的信號，左半軸。

在看總結結果：

 仔細觀察DFT，咱們看的出來信號的分析與合成兩個公式只差了一個負號，也就是說x[n]成立的性質，X[-k]也是成立的，因此X[k]若是是實數，那麼信號x的實部也是偶函數，虛部是奇函數。

 

---

 

快速傅里葉變換（略） 

快速卷積（略） 

利用FFT對循環卷積進行快速計算。

---

28.更多的正交基

有了正交基，咱們就能夠利用基矩陣與該基上的權值係數對信號進行表達。

計算權值係數apha的過程叫作分析。計算信號的過程叫作合成。

以前，咱們學習了傅里葉分析，也就是將信號從時域轉換到以諧波爲基的頻域，諧波複數哦，複數哦，複數哦。

對正交基進行進一步研究，就提出了兩個挑戰：可不能夠用更少的基來表示信號？（壓縮問題）；是否還存在其餘的空間能夠對信號有更好的表達？

例如：咱們找到了一個正交基函數是實數的空間，對應變換叫作離散餘弦變換（DCT）。基函數的長度爲N，不一樣的k表示不一樣維度上的基。基函數自己不必定是週期的，例如d3

 

傅里葉變換的基與DCT的基的比較能夠看出DCT沒有複數部分，但S=S^T（正交基性質）。

 

假設有一段信號，咱們分別對其進行DFT和DCT，不難發現，DFT變換後的數據量變爲2N，即100，而且實數部分的相關係數值很小（相較複數部分，就能夠省略）.而DCT後的數據量爲N，仍是50. 因此DCT比DFT數據量更小，能夠更好的起到壓縮的做用。

 

例子2： 音樂就是時域和頻域信號的共同表達。橫軸是時間，縱軸是頻率。想一想一下最後合成的一個音樂（波）。

小波變換就是將信號轉換爲時域和頻域的聯合，小波變換的基不是整個信號週期上的函數，而是一段時間上的函數，因爲每一個時間段的函數不同，因此是關於時間的函數，同時每一個時間段上的頻率也不一樣，即也是關於頻率的函數，因此基既是時間函數，也是頻率函數。

其中，Harr小波變換是最簡單的小波變換，以下所示的基只含有兩個點。 每一個顏色表明不一樣的基。

以下例子中紅色表明正數，綠色表明0，藍色表明負。 Harr小波中能夠看到第一列全是1，第二列時一半正1，一半負1；第三列是1/4是正1，第二個1/4是負1.以此類推，每一個基函數都是跟k和n相關的，因此是一個時-頻基函數。

短時傅里葉變換是分析信號在不一樣時間，不一樣頻率上的變化，也叫局部傅里葉分析。

STFT具備兩個特色：基不必定是正交的（不一樣時間上的基）；也不是對長度爲N的信號分析獲得N個相關係數。實際上他們利用N個樣本點獲得不少不少相關係數。

 步驟：

設定一個窗口，利用窗口將窗口之外時段信號的值變爲0。對窗口內的信號進行DFT，而後將結果以列的形式存儲。

移動窗口，重複上述過程，獲得全部子時段的DFT及相關係數矩陣。橫軸是時間，縱軸是頻率，左下角爲原點。

因此，相關係數矩陣很是大，與窗口的大小和移位大小m有關係。

例以下列爲信號的STFT分析,能夠看到在低頻而且時間爲中間的區域爲能量較高的區域，即信號在該時間段的主要頻率爲低頻。由此能夠獲得信號更加全面的信息。

整個圖像的大小是遠遠大於N的。

 

譜圖的構成以下：

總結以下：