高等代數筆記6：歐式空間

雙線性函數與二次型

雙線性函數的含義

在歐式空間這個部分，咱們將在線性空間上引入角度和長度。在解析幾何中，角度和長度的引入依賴於一個概念叫內積。咱們也但願在更通常的線性空間上創建內積，就是所謂的內積空間。但，首要的一個問題是內積知足什麼樣的性質？對這個問題的回答，決定了咱們該如何對內積進行抽象。內積一個最基本的性質就是雙線性，即：
(1) $(\alpha a_1+\beta a_2,b)=\alpha (a_1,b)+\beta (a_2,b)$
(2) $(a,\alpha b_1+\beta b_2)=\alpha (a,b_1)+\beta (a,b_2)$
固然，僅僅只有雙線性是不能成爲內積的。但雙線性無疑是內積最重要的性質之一了，所以，本節就對雙線性進行抽象。

定義6.1 $V$是 $K$上的線性空間， $f$是定義在 $V\times V$上的函數，若是知足： $\forall \alpha,\beta \in K$， $\forall x,y,z\in V$，都有 $f(\alpha x+\beta y,z)=\alpha f(x,z)+\beta (y,z)$ $f(x,\alpha y+\beta z)=\alpha f(x,y)+\beta f(x,z)$則稱 $f$是 $V$上的雙線性函數

該如何取把握一個雙線性函數呢？顯然，在有限維線性空間上，咱們仍是應當從一組基入手，假設 $\dim(V)=n$，設 $e_1,\cdots,e_n$是其一組基，對任意的 $x,y\in V$，可惟一表示爲
$x=\sum_{i=1}^n{x_ie_i},y=\sum_{i=1}^n{y_ie_i}$由 $f$對第一個變元是線性的，就有
$f(x,y)=\sum_{i=1}^n{x_if(e_i,y)}$再由 $f$對第二個變元是線性的，就有
$f(x,y)=\sum_{i=1}^n\sum_{j=1}^n{x_iy_jf(e_i,e_j)}$可見，只要把握了矩陣
$A=(f(e_i,e_j))$就把握了整個雙線性函數，固然，這對無窮維空間不必定成立，而咱們這裏僅討論有限維線性空間。 $A$稱爲 $f$在 $(e_1,\cdots,e_n)$下的矩陣，因而
$f(x,y)=x_0^TAy_0$ $x_0,y_0$是 $x,y$在 $(e_1,\cdots,e_n)$下的座標向量。實際上，
$x_0^TAy_0$也是 $K^n$上的雙線性函數，特別地，咱們討論一類特殊的雙線性函數，實際上，對於內積，還有以下的特色：
$(x,y)=(y,x)$

定義6.2 $V$是 $K$上的線性空間， $f$是定義在 $V$上的雙線性函數，若是 $\forall x,y\in V$，都有
$f(x,y)=f(y,x)$則稱 $f$是對稱的雙線性函數

在對稱的條件下， $A$就是對稱矩陣。下一個問題是，在不一樣的基下，雙線性函數的矩陣有什麼關係。假設 $f$在 $(e_1,\cdots,e_n)$下的矩陣爲 $A$， $(\beta_1,\cdots,\beta_n)$是 $V$的另外一組基，設
$(\beta_1,\cdots,\beta_n)=(e_1,\cdots,e_n)P$設 $x$在 $(\beta_1,\cdots,\beta_n)$下的座標爲 $x_0$，在 $(e_1,\cdots,e_n)$下的座標爲 $Px_0$，設 $y$在 $(\beta_1,\cdots,\beta_n)$下的座標爲 $y_0$，則在 $(e_1,\cdots,e_n)$下的座標爲 $Py_0$，再設 $f$在 $(\beta_1,\cdots,\beta_n)$下的矩陣爲 $B$，則
$f(x,y)=x_0^TBy_0=x_0^TP^TAPy_0$由 $x,y$任意性，對任意的 $x_0,y_0 \in K^n$，都有
$f(x,y)=x_0^TBy_0=x_0^TP^TAPy_0$成立，就有
$B=P^TAP$咱們能夠定義矩陣的合同關係，來描述這種情況

定義6.3 $A,B\in M_n(K)$，若是存在可逆矩陣 $P$，使得
$B=P^TAP$則稱 $A,B$合同

一樣地，容易驗證：合同關係是一種等價關係。前面咱們講到，咱們能夠根據類似關係劃分矩陣的等價類，一樣地，咱們能夠根據合同關係劃分矩陣的等價類。

二次型的定義

定義6.4 $A\in M_n(K)$是 $n$階對稱矩陣， $K^n$上的函數 $f$稱爲 $K^n$上的一個二次型，其中 $f(x,y)=x^TAx$， $A$稱爲二次型 $f$的矩陣

固然，二次型是 $K^n$上對稱的雙線性函數。固然，給出可逆矩陣 $P$，做可逆線性替換 $y=P^{-1}x$，二次型又能夠表示爲
$f(x)=x_1^TAx_2=yP^TAPy$兩個矩陣是合同關係。咱們固然想要構造一個可逆線性變換使得矩陣最簡單。最簡單莫過於對角矩陣了，在對角矩陣下，二次型就能夠表示成:
$f(x,y)=\sum_{i=1}^n{\lambda_i x_i^2}$可不能夠作到呢？答案是確定的，任何對稱矩陣均可以合同於對角陣，下面咱們來證實這一點，不過在證實以前，咱們先以初等變換的角度來理解合同變換。首先，任何可逆矩陣均可以表示成一系列初等矩陣的乘積。對可逆矩陣 $P$，存在有限個初等矩陣 $E_1,\cdots,E_s$使得
$P=E_1\cdots E_s$對於對稱矩陣 $A$，就有
$B=P^TAP=E_s^T\cdots E_1^T A E_1 \cdots E_s$(1)對於交換 $i,j$兩行獲得的初等矩陣
$E(i,j) A E(i,j)^T$至關於交換 $i,j$兩行，同時交換 $i,j$兩列
(2)對於將 $i$行 $k$倍加到 $j$行的初等矩陣 $E(i,j,k)$
$E(i,j,k) A E(i,j,k)^T$至關於將 $i$行 $k$倍加到 $j$行的同時，將 $i$列的 $k$被加到 $j$列
(3)對於將 $i$行乘以 $k$倍的初等矩陣 $E_i(k)$，則
$E_i(k) A E_i^T(k)$至關於 $i$行乘以 $k$倍後 $i$列也乘以 $k$倍

命題6.1 $A\in M_n(K)$是 $n$階對稱矩陣，則 $A$能夠合同於一個對角矩陣

證：
對矩陣階數進行概括 $n=1$時結論顯然成立。
假設結論對全部 $k$階對稱矩陣成立，對 $k+1$階對稱矩陣 $A=(a_{ij})$，不妨設 $a_{11},\cdots,a_{1(k+1)}$不全爲0，不然， $A$可表爲
$A=\left[\begin{matrix} 0&\\ &B \end{matrix}\right]$其中， $B$是 $k$階對稱矩陣，由概括假設，存在 $k$階可逆矩陣 $P$，及 $k$階對角矩陣 $D$，使得 $B=P^TDP$，因而
$Q=\left(\begin{matrix} 1&\\ &P \end{matrix}\right)$就有
$A=Q^T\left[\begin{matrix} 0&\\ &D \end{matrix}\right]Q$設 $a_{1i}\neq 0$，將第 $i$行加到第 $1$行的同時將第 $i$列加到第 $1$列，就獲得與 $A$合同的矩陣，此時 $a_{11}\neq 0$，不妨就設 $a_{11}\neq 0$。將第 $1$行的 $-\frac{a_{1i}}{a_{11}}$倍加到第 $i$行的同時，將第 $1$列的 $-\frac{a_{1i}}{a_{11}}$倍加到第 $j$列， $A$合同於以下形式的矩陣
$\left[\begin{matrix} 0&\\ &B \end{matrix}\right]$在應用概括假設，就能夠證得結論

二次型的標準型和規範性

上節咱們論述了全部的對稱矩陣對合同於一個對角矩陣，這就意味着全部的二次型均可以經過可逆線性變數替換化爲以下的形式
$f(y_1,\cdots,y_n)=\sum_{i=1}^n{\lambda_i y_i^2}$稱爲二次型的標準型。怎麼樣化成標準型呢？方法衆多，最經常使用的方法是配方法。經過配方法，逐步消元，從而找到一個可逆線性替換，配成標準型。咱們下面來舉一例說明配方法的使用。下面分兩種狀況討論：
情形1：對只含交叉項，不含平方項的的二次型

例6.1 $f(x_1,x_2,x_3)=2x_1x_2+2x_1x_3+2x_2x_3$，如何做可逆線性替換使之含平方項。

解：
只須要利用平方差公式，令
$\begin{cases} x_1=y_1-y_2\\ x_2=y_1+y_2\\ x_3=y_3 \end{cases}$即
$\begin{cases} y_1=\frac{1}{2}(x_1+x_2)\\ y_2=\frac{1}{2}{x_2-x_1}\\ y_3=x_3 \end{cases}$代入，就獲得
$f(y_1,y_2,y_3)=2y_1^2-2y_2^2+4y_1y_3$這樣，就使得二次型出現平方項

情形2：對於至少有一個平方項的二次元，能夠利用平方項和徹底平方公式消去一個元。

例6.2 $f(x_1,x_2,x_3)=2x_1^2-2x_2^2+4x_1x_3$，利用徹底平方公式消去 $x_1$

解：
$\begin{cases} y_1=x_1+x_3\\ y_2=x_2\\ y_3=x_3 \end{cases}$
$2x_1^2-2x_2^2+4x_1x_3=2(x_1+x_3)^2-2x_3^2-2x_2^2 =2y_1^2-2y_2^2-2y_3^2$這樣就把二次型化爲了標準型

反覆運用以上兩種手段，二次型就能夠化爲標準型。化爲標準型以後，咱們就須要對實二次型和復二次型做分類討論。

對於實二次型只須要再進行一次伸縮變換。就能夠把二次型化成 $\sum_{i=1}^n{\lambda_i y_i^2}$其中， $\lambda_i=1,0$或 $-1$。咱們稱爲是二次型的規範型。爲了寫法惟一，咱們將係數爲 $-1$的項排在前面， $-1$緊隨其後， $0$的項不寫出來。

下面咱們將說明，實二次型的規範型是惟一的。首先，合同變換不會改變矩陣的秩，因此非零項的個數是固定的。對於實對稱矩陣 $A$，設 $A$合同於 $D_1$和 $D_2$，其中
$D_1=diag(1,\cdots,1,-1,\cdots,-1,0,\cdots,0)$其中 $D_1$的對角元有 $p$個 $1$, $r-p$個 $-1$。再設
$D_2=diag(1,\cdot,1,-1,\cdots,-1,0,\cdots,0)$其中 $D_2$的對角元有 $q$個 $1$， $r-q$個 $-1$。再設 $A=P^TD_1P=Q^TD_2Q$。對二次型 $x^TAx$，做可逆線性替換 $y=Px,z=Qx$就能夠將二次型化爲
$f(x)=f_2(y)=f_3(z)=x^TAx=y^TD_1y=z^TD_2z$構造 $R^n$的兩個子空間
$V_1=\{P^{-1}(y_1,\cdots,y_p,0,\cdots,0)^T:(y_1,\cdots,y_p) \in R^p \}$以及
$V_2=\{Q^{-1}(0,\cdots,0,z_{q+1},\cdots,z_n):(z_{q+1},\cdots,z_n)\in R^{n-q}\}$因而： $\dim(V_1)=p,\dim(V_2)=n-q$，注意到，對於任意的 $(y_1,\cdots,y_p) \in R^p$，都有
$f(P^{-1}(y_1,\cdots,y_p,0,\cdots,0)^T)=\sum_{i=1}^p{y_i^2}\ge 0$即對任意的 $x\in V_1$，都有 $f(x)\ge 0$， $f(x)=0$當且僅當 $x=0$，同理，對任意的 $x\in V_2$， $f(x)\le 0$，對任意的 $x\in V_1\cap V_2$，就有 $f(x)\ge 0,f(x) \le 0$同時成立，因而 $x=0$。所以 $V_1+V_2$是直和， $V_1+V_2$的維數爲 $n-q+p\le n$，就能夠推出 $p\le q$，同理能夠證實 $q\ge p$，因而 $p=q$。

$p$稱爲二次型的正慣性系數， $r-p$稱爲 $p$的負慣性系數， $r$稱爲二次型的秩。二次型就能夠按照秩和正慣性系數進行分類。而對於復二次型，開根運算不受限制，二次型能夠化爲
$y=\sum_{i=1}^r{y_i^2}$復二次型能夠經過簡單的秩進行分類便可。

二次型的正定性

下面咱們給出正定、負定、半正定和半負定的定義。
定義6.5 對實二次型 $f(x)=x^TAx$：
(1)若是 $\forall x\in R^n$， $f(x)\ge 0$，則稱 $f$半正定
(2)若是 $f$半正定，而且 $f(x)=0$可推出 $x=0$，則稱 $f$正定
(3)若是 $-f$半正定，則稱 $f$半負定，若是 $-f$正定，則稱 $f$負定
(4)若是 $f$既不半正定，也不半負定，則稱 $f$不定

按照定義，咱們只須要給出正定和半正定的判斷準則便可。下面咱們給出正定的判斷準則。
命題6.2 對實二次型 $f(x)=x^TAx$，如下命題等價：
(1) $f$正定
(2) $A$合同於 $E$
(3) $A$的全部順序主子式大於0

所謂順序主子式，就是取前 $i$行前 $i$列組成的 $i$階方陣的行列式，記爲
$A\left\{\begin{matrix} 1,\cdots,i\\ 1,\cdots,i \end{matrix} \right\}$
其中 $i=1,\cdots,n$，下面咱們來證實上面的命題。

解：
(1)和(2)等價是顯然的。下面證實(1)和(3)等價。用數學概括法證實，對二次型的階數進行概括，對一個變量的二次型，結論是顯然成立的。
假設結論對 $k$個變量的二次型成立，對 $k+1$個變量的二次型 $f(x)=x^TAx$。先證實必要性。假設 $f$正定：
將 $A$分塊爲
$A=\left[\begin{matrix} A_k&\alpha\\ \alpha^T&a_{(k+1)(k+1)} \end{matrix}\right]$其中， $\alpha=(a_{(k+1)1},\cdots,a_{(k+1)k})^T$。對 $y=(y_1,\cdots,y_k,0)^T$， $g(y_1,\cdots,y_k)=f(y)$是關於 $(y_1,\cdots,y_k)$的正定二次型，而且矩陣爲 $A_k$，由概括假設 $A_k$的全部順序主子式都大於 $0$，只須要證實 $A$的行列式大於0便可。 $e_{k+1}$是除了 $k+1$個元爲 $1$，其餘元爲 $0$的列向量，因而，由正定性
$e_{k+1}^TAe_{k+1}=a_{(k+1)(k+1)}>0$做可逆線性變換
$y=P^{-1}x$其中
$P^{-1}=\left[\begin{matrix} I_k&0\\ \frac{1}{a_{(k+1)(k+1)}}\alpha&1 \end{matrix}\right]$二次型化爲 $y^TBy$,其中
$B=\left[\begin{matrix} B_k&0\\ 0&a_{(k+1)(k+1)} \end{matrix}\right]$實際上，只至關於將 $A$的 $(k+1)$行的 $-\frac{a_{i(k+1)}}{a_{(k+1)(k+1)}}$被加到 $i$行，同時將 $A$的 $(k+1)$列的 $-\frac{a_{i(k+1)}}{a_{(k+1)(k+1)}}$被加到 $i$列，就能夠獲得 $B$，以上初等變換都不改變行列式的秩，故
$\det(A)=\det(B_k)$再利用一樣地方法， $\det(B_k)>0$，故 $\det(A)>0$，這樣就證得了 $A$的全部順序主子式大於0。
再證實充分性，假設 $A$的全部順序主子式都大於0，咱們證實 $x^TAx$正定，將 $A$分塊爲
$A=\left[\begin{matrix} A_k&\alpha\\ \alpha^T&a_{(k+1)(k+1)} \end{matrix}\right]$按概括假設，由 $A$的全部順序主子式都大於 $0$，所以， $A_k$合同於單位矩陣，設 $A_k=P_k^TP_k$，因而，令
$Q=\left[\begin{matrix} P_k^{-1}&0\\ 0&1 \end{matrix}\right]$就有
$Q^TAQ=B=\left[\begin{matrix} I_k&\beta\\ \beta^T&a_{(k+1)(k+1)} \end{matrix} \right]$因而
$\det(B)=[\det(Q)]^2\det(A)>0$設 $\beta=(b_1,\cdots,b_k)^T$，將 $i$行的 $-b_i$倍加到 $k+1$行同時將 $i$列的 $-b_i$倍加到 $k+1$列。就能夠將 $B$化爲
$C=\left[\begin{matrix} I_k&0\\ 0&a \end{matrix}\right]$以上初等變換都不改變行列式的值故
$\det(C)=\det(B)>0$所以， $\det(C)=a>0$，令
$P=\left[\begin{matrix} I_k&0\\ 0&\frac{1}{\sqrt{a}} \end{matrix} \right]$就有
$P^TCP=I_{k+1}$因而 $A$合同於 $I_{k+1}$，所以二次型正定。由數學概括法，(1)和(3)等價。

一樣地，能夠給出半正定的一些斷定條件，只不過，這裏的順序主子式要改爲通常的主子式。

命題6.3 對實二次型 $f(x)=x^TAx$，如下命題等價：
(1) $f$半正定
(2) $A$的負慣性系數爲0
(3) $A$的全部主子式非負

證實是相似的，這裏省略。

內積空間

內積空間的含義

到此爲止，咱們已經完成了定義內積的全部準備，如今，咱們開始研究有限維的內積空間。首先什麼是內積。內積首先是一個雙線性函數，其次具備對稱性，另外咱們知道，在解析幾何中， $(x,x)$表示向量長度的平方， $(x,x)=0$表示向量長度爲 $0$，天然而然地，就有 $x=0$，所以，內積還應當具備正定性。所以，對以上三點性質進行抽象，就獲得內積的定義，內積是 $\underline{正定}$、 $\underline{對稱}$的 $\underline{雙線性函數}$。咱們先來研究實內積空間，實內積空間咱們稱爲歐式空間。

定義6.6 $V$是 $R$上的線性空間， $(.,.)$是定義在 $V\times V$上的正定、對稱的雙線性函數，稱 $(x,y)$爲 $x$和 $y$的內積， $V$稱爲歐式空間。

歐式空間是實線性空間上引入了內積的概念，這樣就能夠定義角度、長度等概念。這就是平面幾何空間、立體幾何空間的抽象。對於複線性空間，咱們要對雙線性函數做特別的規定，即
$(x,y)=\overline{(y,x)}$這樣， $(x,x)$就必定是實數，這個性質稱爲共軛對稱。

定義6.7 $V$是 $C$上的線性空間， $(.,.)$是定義在 $V\times V$上的正定、共軛對稱的雙線性函數，稱 $(x,y)$爲 $x$和 $y$的內積， $V$稱爲酉空間。

歐式空間和酉空間統稱爲內積空間，區別僅僅在於所在的數域不一樣。有了內積的概念，就能夠定義長度和角度。在解析幾何中，角度定義爲
$\arccos(\frac{(x,y)}{||x||||y||})$其中， $||x||=\sqrt{(x,x)},||y||=\sqrt{(y,y)}$這有一個前提是 $|(x,y)|\le ||x|| ||y||$這就是柯西-施瓦茨不等式。

定理6.1(柯西-施瓦茨不等式) $V$是內積空間(歐式空間/酉空間)，則 $|(x,y)|\le \sqrt{(x,x)(y,y)}$等號成立的充要條件是 $x,y$線性相關

解：
先證實歐式空間的情形：對任意的 $x,y\in V$，不妨設 $x\neq 0,y\neq 0$，不然不等式顯然成立
$(x+ty,x+ty)=(x,x)+2t(x,y)+t^2(y,y)$這是一個關於 $t$的二次函數，而且由內積的性質
$(x+ty,x+ty)\ge 0 \quad \forall t\in R$所以
$\Delta =4(x,y)^2-4(x,x)(y,y)\le 0$就能夠獲得結論。而且等號成立的充要條件是存在 $t_0\in R$，使得
$(x+ty,x+ty)=0$等價於 $x+ty=0$，反過來，若是 $x,y$線性相關，則存在 $t\in R$， $x=ty$或 $y=tx$，設 $x=ty$，則
$(x,y)=t(y,y)$
$\sqrt{(x,x)(y,y)}=\sqrt{t^2(y,y)^2}=t(y,y)$因而 $(x,y)=\sqrt{(x,x)(y,y)}$
對於酉空間：對任意的 $x,y\in V$，不妨設 $x\neq 0,y\neq 0$，不然不等式顯然成立。設 $(x,y)=a+bi$，則
$(x+ty,x+ty)=(x,x)+\overline{t}(x,y)+t(y,x)+t\overline{t}(y,y)$對任意的 $t\in C$，令 $t=(x,y)s,s\in R$，就有
$(x+ty,x+ty)=(x,x)+2s(a^2+b^2)+s^2(a^2+b^2)(y,y)\ge 0$對任意的 $s\in R$都成立，所以
$\Delta = 4(a^2+b^2)^2-4(a^2+b^2)(x,x)(y,y)\le 0$即
$|(x,y)|\le \sqrt{(x,x)(y,y)}$若是等號成立，則存在一個 $s$使 $x+s(x,y)y=0$， $x,y$線性相關
反過來，若是 $x,y$線性相關，存在 $t\in C$, $x=ty$或 $y=tx$。
假設 $x=ty$，則
$(x,y)(y,x)=|t|^2(y,y)^2$
$(x,x)(y,y)=|t|^2(y,y)^2$因而
$|(x,y)|=|t|(y,y)=\sqrt{(x,x)(y,y)}$

這樣，在歐式空間上，長度定義爲
$||x||=\sqrt{(x,x)} \quad x\in V$由此誘導的長度，有以下的性質：
(1) $||x||\ge 0,||x||=0$當且僅當 $x=0$
(2) $||ax||=|a|||x||,\forall a \in K(R/C),x\in V$
(3) $||x+y||\le ||x||+||y||$
(1)(2)都是比較容易驗證的，下面咱們證實(3):
$(x+y,x+y)=(x,x)+(x,y)+(y,x)+(y,y)$在酉空間上，設 $(x,y)=a+bi$，則
$(x,y)+(y,x)=2a\le 2\sqrt{a^2+b^2} \le 2\sqrt{(x,x)(y,y)}$所以
$(x+y,x+y)\le (x,x)+2\sqrt{(x,x)(y,y)}+(y,y)= (\sqrt{(x,x)}+\sqrt{(y,y)})^2$歐式空間上證實是相似的。實際上，對線性空間 $V$，知足上面三條性質的非負函數有不少，咱們稱這類函數爲範數，是向量長度的抽象。與通常範數不一樣的是，內積誘導的範數和內積有密切的聯繫，即下面的平行四邊形公式。咱們先給出歐式空間的平行四邊形公式。

命題6.3(平行四邊形公式) $V$是歐式空間， $||.||$是內積誘導的範數，則對任意的 $x,y\in V$
(1) $2||x||^2+2||y||^2=||x+y||^2+||x-y||^2$
(2) $(x,y)=\frac{1}{4}(||x+y||^2-||x-y||^2)$

該命題直接驗證便可，對於酉空間，也有平行四邊形公式，也能夠由範數產生內積。

命題6.4 $V$是酉空間， $||.||$是內積誘導的範數，則對任意的 $x,y\in V$
(1) $2||x||^2+2||y||^2=||x+y||^2+||x-y||^2$
(2) $(x,y)= \frac{1}{4} [(x+y,x+y)-(x-y,x-y)+i(x+iy,x+iy)-i(x-iy,x-iy)]$

在泛函分析中，咱們會證實，只要知足兩個命題中的(1)，就能夠由範數產生內積，賦範空間就成了內積空間。但不是全部的範數都知足平行四邊形公式，於是不是全部的賦範空間都是內積空間，固然，這不是線性代數的內容，這裏再也不深究。

內積空間上的正交性與標準正交基

有了內積的概念，就有角度，就有正交。

定義6.8 $V$是內積空間， $x,y\in V$，若是 $(x,y)=0$，則稱 $x$和 $y$正交，記爲 $x\perp y$

除了定義兩個向量之間的正交，還能夠定義向量和集合之間的正交。

定義6.9 $V$是內積空間， $E\subset V$， $x\in V$，若是對任意的 $y\in E$, $x\perp y$，則稱 $x$和 $E$正交記爲 $x\perp E$

只要有正交，平面上的勾股定理，在通常的內積空間也成立。

定理6.2(勾股定理) $V$是內積空間， $x,y\in V$， $x\perp y$，則
$||x+y||^2=||x||^2+||y||^2$

如今咱們考慮內積空間 $V$的子空間 $M$，設全體與 $M$正交的向量爲 $M^{\perp}$，容易驗證， $M^{\perp}$是 $V$的子空間，咱們稱爲 $M$的正交補空間。而且，若是 $x\in M\cap M^{\perp}$，則 $(x,x)=0,x=0$，所以， $M$和 $M^{\perp}$的和是直和。咱們這裏主要考慮有限維的內積的空間。給定一個子空間 $M$， $M$和 $M^{\perp}$的維度有何關係呢？下面咱們證實：
$\dim(V)=\dim(M)+\dim(M^{\perp})$也就是 $V=M\oplus M^{\perp}$。爲了證實這點，咱們須要找到 $V$的一組特殊的基\ $(e_1,\cdots,e_n)$，知足：
$(e_i,e_j)=0,i\neq j$而且 $||e_i||=1,i=1,\cdots,n$
這樣的基是否存在的呢？答案是確定的，任意給定一組基 $\beta_1,\cdots,\beta_n$，咱們均可以將其成這樣的一組基。首先咱們要求兩兩正交。能夠經過如下的基變換：
$\begin{cases} \gamma_1=\beta_1\\ \gamma_2=\beta_2-\frac{(\gamma_1,\beta_2)}{(\gamma_1,\gamma_1)}\gamma_1\\ \cdots\\ \gamma_k=\beta_k-\sum_{i=1}^{k-1}{\frac{(\gamma_i,\beta_k)}{(\gamma_i,\gamma_i)}\gamma_i}\\ \cdots\\ \gamma_n=\beta_n=\sum_{i=1}^{n-1}{\frac{(\gamma_i,\beta_k)}{(\gamma_i,\gamma_i)}\gamma_i} \end{cases}$而後每一個向量除以範數進行單位化，就獲得這樣的一組基，這組基就稱爲 $V$的標準正交基。以上獲得標準正交基的過程，稱爲Gram-Smidit正交化。

定理6.3 $V$是有限維內積空間，則 $V$必定存在一組標準正交基

對於 $V$的一個子空間 $M$，設 $\dim(V)=n$, $\dim(M)=r$，任取 $M$的一組基 $e_1,\cdots,e_r$，再將其擴張爲 $e_1,\cdots,e_n$，按 $e_1,\cdots,e_n$的順序進行Gram-Smidit正交化和單位化，獲得 $\varepsilon_1,\cdots,\varepsilon_n$，由正交化的表達式不難看出， $\varepsilon_1,\cdots,\varepsilon_r$仍然是 $M$的一組基，而 $\varepsilon_{r+1},\cdots,\varepsilon_n$全在正交補空間內。 $V=M+M^{\perp}$，而 $M$和 $M^{\perp}$的和是直和，所以 $V=M\oplus M^{\perp}$，這樣，就有
$\dim(V)=\dim(M)+\dim(M^{\perp})$這樣，給定 $V$的一個向量 $x$和子空間 $M$， $x$就能夠分解爲
$x=y+z,y\in M,z\in M^{\perp}$就稱爲正交分解定理，正交分解定理在泛函分析中會詳細討論，這裏暫且不做詳細論述。

歐式空間上的線性變換

對稱變換

從本節開始，咱們討論內積空間的上的一類特殊的線性變換。內積空間相比於線性空間，引入了一個特殊的結構——內積。於是，內積空間的線性變換相比通常的線性空間，又有本身的特色。咱們先從歐式空間討論起。

定義6.10 $V$是歐式空間， $f$是 $V$上的線性變換，若是 $f$知足：對任意的 $x,y\in V$，都有
$(f(x),y)=(x,f(y))$則稱 $f$是 $V$上的對稱變換

假設 $\dim(V)=n$，那麼， $e_1,\cdots,e_n$是 $V$的一組標準正交基，則 $f$在這組基下的矩陣有何特色呢？
假設 $f$在 $e_1,\cdots,e_n$下的矩陣爲 $A$， $A=(a_{ij})$。則
$(f(e_i),e_j)=(\sum_{s=1}^n{a_{si}e_s},e_j)=a_{ji}$而
$(e_i,f(e_j))=(e_i,\sum_{s=1}^n{a_{sj}e_s})=a_{ij}$因而
$a_{ji}=a_{ij}$即 $A$是實對稱矩陣，這就是 $f$稱爲"對稱變換"的緣由。

定理6.4 $V$是 $n$維歐式空間， $f$是 $V$上的線性變換，則 $f$是對稱變換的充要條件是 $f$在標準正交基下的矩陣是對稱矩陣

研究對稱變換的特徵值和特徵向量，只須要研究實對稱矩陣的特徵值和特徵向量便可。

命題6.5 $A\in M_n(R)$，則 $A$的特徵值全爲實數

解：
$\lambda$是 $A$的復特徵值， $x$是 $A$的復特徵向量。則
$Ax=\lambda x$兩邊取共軛，就有
$\overline{Ax}=\overline{A}\overline{x}=\overline{\lambda}\overline{x}$再取轉置
$\overline{x}^T A =\overline{\lambda} \overline{x}^T$因而
$\overline{x}^TAx=\lambda \overline{x}^Tx+\overline{\lambda}\overline{x}^Tx$就有
$\lambda=\overline{\lambda}$所以， $\lambda$是實數

以上命題說明，對稱變換或對稱矩陣的特徵方程所有根都在實數域上。

命題6.6 $V$是 $n$維歐式空間， $f$是 $V$上的對稱變換，則 $f$的兩個屬於不一樣特徵值的特徵向量正交

解：
$V$是 $n$維歐式空間， $f$是 $V$上的對稱變換， $\lambda_1,\lambda_2$是 $f$的兩個特徵值， $x_1,x_2$是 $\lambda_1,\lambda_2$的特徵向量。則
$(f(x_1),x_2)=(x_1,f(x_2))=\lambda_1(x_1,x_2)=\lambda_2(x_1,x_2)$從而
$(x_1,x_2)=0$

接下來，咱們將證實，任何對稱矩陣均可以對角化。

定理6.5 $V$是 $n$維歐式空間， $f$是 $V$上的對稱變換，則存在一組基 $e_1,\cdots,e_n$， $f$在這組基下的矩陣是對角矩陣

解：
對維數 $n$進行概括， $n=1$是顯然成立的，假設定理對 $k$維歐式空間成立。
對 $k+1$維歐式空間 $V$上的對稱變換 $f$，取 $f$的任意範數爲1的特徵向量 $e_1$，將其張成 $V$的一組標準正交基 $e_1,e_2,\cdots,e_{k+1}$，則 $f$在這組基下的矩陣形如
$B=\left[\begin{matrix} \lambda_1&0\\ 0&A \end{matrix}\right]$ $A$是對稱矩陣， $M=span\{e_1\}$，則 $M^{\perp}=span\{e_2,\cdots,e_{k+1}\}$。 $f$限制在 $M^{\perp}$上也是對稱變換，在 $e_2,\cdots,e_{k+1}$下的矩陣爲 $A$，則存在 $M^{\perp}$的一組基 $\varepsilon_2,\cdots,\varepsilon_{k+1}$每一個都是 $f$的特徵向量。由數學概括法，對 $k+1$維歐式空間，結論也成立

從以上命題就能夠看出，歐式空間上的對稱變換，相比於通常線性空間上的線性變換，有着良好的性質：
(1)全部的特徵值都在實數域內
(2)必定能夠對角化
通常實線性空間上的線性變換不必定有這兩條性質。

正交變換

內積空間最重要的結構是內積。可以保持內積不變的變換稱爲正交變換。

定義6.11 $V$是歐式空間， $f$是 $V$上的線性變換，若是
$(f(x),f(y))=(x,y)\quad \forall x,y\in V$則稱 $f <$