內積空間

一 向量空間與內積空間

    向量空間也稱做線性空間，向量空間對向量線性組合封閉。若是  爲向量空間 V 的一組基，則  仍在向量空間 V 中。在向量空間中，僅定義了數乘與向量加法運算。在此基礎上，定義內積運算，經過內積運算，能夠求解向量長度，向量間角度等概念，這就定義了內積空間。設向量爲X, Y，X 長度定義爲 ， X,Y 間角度定義爲 。

 

二 內積定義

    在 空間上，有以下矢量  和 ，在幾何中，矢量長度表示原點到其端點的距離，根據 Pythagorean 定理，有 。定義內積 ，則矢量 X 長度等於 ，這樣創建其內積與長度關係。

    在復矢量空間 中，有以下矢量  和 ，定義內積 。 如何理解復矢量內積？首先，針對單個複數 ，

有 ，使用共軛乘法可求解複數長度。當兩個不一樣複數共軛乘法時，，其結果仍然爲一個複數，可分解爲實數分類與虛數份量。復矢量內積就是對所得複數相加獲得一個結果，最終結果通常包括實數份量與虛數份量部分，即通常結果爲  形式。

    內積知足以下性質：

    1）正性：若是 v 爲非零向量， <v, v> > 0， 該性質對實矢量與復矢量均成立；

    2）共軛對稱性：，針對復矢量，該等式成立，針對實矢量，共軛運算等於自己，則內積運算對稱；

    3）均勻性：， 針對復矢量時 c 爲複數，實矢量時 c  爲實數；

    4）線性：<u + v, w> = <u, w> + <v, w>,  <u, v + w> = <u, v> + <u, w>, 針對復矢量與實矢量均成立。

 

三  空間與  空間

    一個信號可表示爲 f(t) 的函數，在區間  上 ，空間  表示全部平方可積函數組成的空間，即

    

    函數 f(t) 能夠存在無窮多個間斷點，使用 Lebesgue 觀點，即不考慮測度爲零的集合時，在區間  上的積分和有限。在 N 維向量空間中，空間維度爲 N，向量長度也爲 N。類比 N 維向量空間，空間  是無限維的（即無限個 f(t) 知足以上條件）， 區間  能夠被無限細分，相似向量長度能夠無限長。

    假設 f(x), g(x) 是  空間中的信號，將區間 [0, 1] 離散化爲 N  等分，構成 N 爲向量 ，，當 N 趨近無窮大大時， 

    , ， 則 ， 。

    當逐漸增大 N 時，  也隨着逐漸增大，因爲  空間爲無限維空間，若是按該方法定義內積將獲得一個無限大值（在向量空間中，因爲空間維度有限，使用乘積和定義是合理的，其物理意義也很明確）。改進的方法爲使用無限和平均值，則有 。當 N 趨近無窮大時，該式爲 Riemann 和近似，則 內積可定義爲：

    ， 。

     空間內積一樣知足 正性，共軛對稱性，均勻性以及線性等性質。

    因爲在 Lebesgue 積分過程當中，不考慮測度爲零的間斷點，則在  空間中定義兩個函數相等意味着除了零測度集外，只要其餘區域上知足 f(t) = g(t) 即認爲函數相等。

    在信號處理應用中，存在不少無限離散序列，，該離散序列在 j > |N| 時，，這定義了  的離散形式：

    ，這裏再也不像  定義使用平均值是由於離散序列在 j > |N| 時，。

     空間中可使用兩種方式定義收斂：

    1）收斂定義爲：給定任意足夠小 ，存在一個足夠大的非負整數 N，使得當  時， 有  ；

       以上定義中使用  內積概念，因爲積分過程不考慮測度爲零的間斷點，因此並不保證在任意點上兩函數都無限接近；

    2）一致收斂定義爲：給定任意足夠小 ，存在一個足夠大的非負整數 N，使得當  時， 在區間 上任意點都知足 ；

                 

    根據以上圖形，很容易獲得以下結論：若  一致收斂到 f，則  必定  收斂到 f；反之，則不必定成立。

 

四 Schwarz不等式與三角不等式

    1) Schwarz不等式： ；

    2）三角不等式：  ；

    Schwarz不等式在實空間下證實：

    考慮不等式 ，其中 t 爲實數變量，使用內積公式展開得：

    ，因爲該不等式大於或等於零，關於 t 的二次函數判別式小於等於零；

    ， 整理得：，結論得證。

    Schwarz不等式在復空間下證實：

    在復空間下內積結果通常爲一複數，即 。要使 X, Y 內積爲一實數，能夠對 X 作反方向旋轉，故可考慮以下不等式：

    ，其中 t 爲實數變量， 使內積結果爲一實數，展開不等式得：

    ，

   根據共軛對稱性質 ，最終獲得：

    ，當旋轉合適  後， 退化爲實數  。使用二次多項式判別式結論得證。

    三角不等式證實：

    ，由於 ，

   因此有 ，兩邊開平方後結論得證。

 

五 正交

    在內積空間 V 中，

    1）X, Y 屬於 V ，若是 <X, Y> = 0, 根據餘旋定理可得 X, Y 正交；

    2）矢量集 中每一個矢量 ，若是  且彼此正交，則矢量集  正交；

    3）若是 ，一個子空間中每一個矢量與另外一個子空間每一個矢量正交，則子空間  正交；

    在小波變換與傅里葉變換中，分別用到兩個不一樣得正交矢量集，haar小波函數與三角函數，具體以下：

    haar小波函數包括尺度函數 ，小波函數 ，在  空間中，根據內積定義，，正交。

    三角函數 f(t) = sint, g(t) = cost, 在  空間中， 根據內積定義，，f, g 正交。

 

    矢量能夠根據某個正交基展開，

   1）若是  是內積空間 V 的一個子空間， 的正交基爲 ，若 ，則 ；

   2）若是  是內積空間 V 的一個子空間， 的正交基爲 ，若 ，則 ，

         且  ，也即 ；

   當  時， 有以下推導：

   使用正交基  將 v 展開得：，其中  爲各份量係數，且未知；

   令 k 爲 [1,N] 區間中一具體整數，作以下運算：，由矢量基的正交性可得：；

   將  代入得：，結論得證。

   當  時，v 沒法由  線性張成，但能夠在  空間中找到一個離 v 最近得向量 ，使得 ，推導以下：

   假設  是  空間最接近 v  的矢量，構造函數：，因爲 是  空間最接近 v 的矢量，則當 t = 0 時函數取得最小值；

   考慮實矢量狀況下，，而後對 f(t) 求導：

   ，因爲 t = 0 時函數取得最小值，則有 ，即 。

    假設  可寫成正交基 的線性組合，，因爲 ，有 ，

    根據內積線性性質，化簡得： ，求得 ，即 。

    內積空間可被分爲  與正交補 ，

    定義爲：，對任意矢量 ，能夠惟一表示 ，其中，。

   使用 Gram-Schmidt 方法可正交化一組基，

   內積（子）空間 V 中存在一組基 ，能夠尋找一組對應正交基 ，其中 ，具體方法以下：

   1）定義 ；

   2） 在  上投影爲：，則 ，，確保  且 ；

   3） 在 ， 上投影爲：，，；

   4）重複以上過程知道求解出 ，完成 Gram-Schmidt 正交化。

 

參考資料   小波與傅里葉分析基礎 Albert Boggess & Francis J. Narcowich