理解矩陣（轉載）

線性代數課程，不管你從行列式入手仍是直接從矩陣入手，從一開始就充斥着莫名其妙。好比說，在全國通常工科院系教學中應用最普遍的同濟線性代數教材（如今到了第四版），一上來就介紹逆序數這個「前無古人，後無來者」的古怪概念，而後用逆序數給出行列式的一個極不直觀的定義，接着是一些簡直犯傻的行列式性質和習題——把這行乘一個係數加到另外一行上，再把那一列減過來，折騰得那叫一個熱鬧，可就是壓根看不出這個東西有嘛用。大多數像我同樣資質平庸的學生到這裏就有點犯暈：連這是個什麼東西都模模糊糊的，就開始鑽火圈表演了，這未免太「無厘頭」了吧！因而開始有人逃課，更多的人開始抄做業。這下就中招了，由於其後的發展能夠用一句峯迴路轉來形容，緊跟着這個無厘頭的行列式的，是一個一樣無厘頭可是偉大的無以復加的傢伙的出場——矩陣來了！多年以後，我才明白，當老師犯傻似地用中括號把一堆傻了吧嘰的數括起來，而且不緊不慢地說：「這個東西叫作矩陣」的時候，個人數學生涯掀開了何等悲壯辛酸、慘絕人寰的一幕！自那之後，在幾乎全部跟「學問」二字稍微沾點邊的東西里，矩陣這個傢伙從不缺席。對於我這個沒能一次搞定線性代數的笨蛋來講，矩陣老大的不請自來往往搞得我灰頭土臉，頭破血流。長期以來，我在閱讀中一見矩陣，就如同阿Q見到了假洋鬼子，揉揉額角就繞道走。

事實上，我並非特例。通常工科學生初學線性代數，一般都會感到困難。這種情形在國內外皆然。瑞典數學家Lars Garding在其名著Encounter with Mathematics中說：「若是不熟悉線性代數的概念，要去學習天然科學，如今看來就和文盲差很少。」，然而「按照現行的國際標準，線性代數是經過公理化來表述的，它是第二代數學模型，...，這就帶來了教學上的困難。」事實上，當咱們開始學習線性代數的時候，不知不覺就進入了「第二代數學模型」的範疇當中，這意味着數學的表述方式和抽象性有了一次全面的進化，對於從小一直在「第一代數學模型」，即以實用爲導向的、具體的數學模型中學習的咱們來講，在沒有並明確告知的狀況下進行如此劇烈的paradigm shift，不感到困難纔是奇怪的。

大部分工科學生，每每是在學習了一些後繼課程，如數值分析、數學規劃、矩陣論以後，才逐漸可以理解和熟練運用線性代數。即使如此，很多人即便可以很熟練地以線性代數爲工具進行科研和應用工做，但對於不少這門課程的初學者提出的、看上去是很基礎的問題卻並不清楚。好比說：

* 矩陣到底是什麼東西？向量能夠被認爲是具備n個相互獨立的性質（維度）的對象的表示，矩陣又是什麼呢？咱們若是認爲矩陣是一組列（行）向量組成的新的複合向量的展開式，那麼爲何這種展開式具備如此普遍的應用？特別是，爲何恰恰二維的展開式如此有用？若是矩陣中每個元素又是一個向量，那麼咱們再展開一次，變成三維的立方陣，是否是更有用？

* 矩陣的乘法規則究竟爲何這樣規定？爲何這樣一種怪異的乘法規則卻可以在實踐中發揮如此巨大的功效？不少看上去彷佛是徹底不相關的問題，最後居然都歸結到矩陣的乘法，這難道不是很奇妙的事情？難道在矩陣乘法那看上去莫名其妙的規則下面，包含着世界的某些本質規律？若是是的話，這些本質規律是什麼？

* 行列式到底是一個什麼東西？爲何會有如此怪異的計算規則？行列式與其對應方陣本質上是什麼關係？爲何只有方陣纔有對應的行列式，而通常矩陣就沒有（不要以爲這個問題很蠢，若是必要，針對m x n矩陣定義行列式不是作不到的，之因此不作，是由於沒有這個必要，可是爲何沒有這個必要）？並且，行列式的計算規則，看上去跟矩陣的任何計算規則都沒有直觀的聯繫，爲何又在不少方面決定了矩陣的性質？難道這一切僅是巧合？

* 矩陣爲何能夠分塊計算？分塊計算這件事情看上去是那麼隨意，爲何竟是可行的？

* 對於矩陣轉置運算AT，有(AB)T = BTAT，對於矩陣求逆運算A-1，有(AB)-1 = B-1A-1。兩個看上去徹底沒有什麼關係的運算，爲何有着相似的性質？這僅僅是巧合嗎？

* 爲何說P-1AP獲得的矩陣與A矩陣「類似」？這裏的「類似」是什麼意思？

* 特徵值和特徵向量的本質是什麼？它們定義就讓人很驚訝，由於Ax =λx，一個諾大的矩陣的效應，居然不過至關於一個小小的數λ，確實有點奇妙。但何至於用「特徵」甚至「本徵」來界定？它們刻劃的到底是什麼？

這樣的一類問題，常常讓使用線性代數已經不少年的人都感到爲難。就好像大人面對小孩子的刨根問底，最後總會無可奈何地說「就這樣吧，到此爲止」同樣，面對這樣的問題，不少老手們最後也只能用：「就是這麼規定的，你接受而且記住就好」來搪塞。然而，這樣的問題若是不能得到回答，線性代數對於咱們來講就是一個粗暴的、不講道理的、莫名其妙的規則集合，咱們會感到，本身並非在學習一門學問，而是被不禁分說地「拋到」一個強制的世界中，只是在考試的皮鞭揮舞之下被迫趕路，全然沒法領略其中的美妙、和諧與統一。直到多年之後，咱們已經發覺這門學問如此的有用，卻仍然會很是迷惑：怎麼這麼湊巧？

我認爲，這是咱們的線性代數教學中直覺性喪失的後果。上述這些涉及到「如何能」、「怎麼會」的問題，僅僅經過純粹的數學證實來回答，是不能令提問者滿意的。好比，若是你經過通常的證實方法論證了矩陣分塊運算確實可行，那麼這並不可以讓提問者的疑惑獲得解決。他們真正的困惑是：矩陣分塊運算爲何居然是可行的？究竟只是湊巧，仍是說這是由矩陣這種對象的某種本質所必然決定的？若是是後者，那麼矩陣的這些本質是什麼？只要對上述那些問題稍加考慮，咱們就會發現，全部這些問題都不是單純依靠數學證實所可以解決的。像咱們的教科書那樣，凡事用數學證實，最後培養出來的學生，只能熟練地使用工具，卻欠缺真正意義上的理解。

自從1930年代法國布爾巴基學派興起以來，數學的公理化、系統性描述已經得到巨大的成功，這使得咱們接受的數學教育在嚴謹性上大大提升。然而數學公理化的一個備受爭議的反作用，就是通常數學教育中直覺性的喪失。數學家們彷佛認爲直覺性與抽象性是矛盾的，所以絕不猶豫地犧牲掉前者。然而包括我本人在內的不少人都對此表示懷疑，咱們不認爲直覺性與抽象性必定相互矛盾，特別是在數學教育中和數學教材中，幫助學生創建直覺，有助於它們理解那些抽象的概念，進而理解數學的本質。反之，若是一味注重形式上的嚴格性，學生就好像被迫進行鑽火圈表演的小白鼠同樣，變成枯燥的規則的奴隸。

對於線性代數的相似上述所提到的一些直覺性的問題，兩年多來我斷斷續續地反覆思考了4、五次，爲此閱讀了好幾本國內外線性代數、數值分析、代數和數學通論性書籍，其中像前蘇聯的名著《數學：它的內容、方法和意義》、龔昇教授的《線性代數五講》、前面提到的Encounter with Mathematics（《數學概觀》）以及Thomas A. Garrity的《數學拾遺》都給我很大的啓發。不過即便如此，我對這個主題的認識也經歷了好幾回自我否認。好比之前思考的一些結論曾經寫在本身的blog裏，可是如今看來，這些結論基本上都是錯誤的。所以打算把本身如今的有關理解比較完整地記錄下來，一方面是由於我以爲如今的理解比較成熟了，能夠拿出來與別人探討，向別人請教。另外一方面，若是之後再有進一步的認識，把如今的理解給推翻了，那如今寫的這個snapshot也是頗有意義的。

由於打算寫得比較多，因此會分幾回慢慢寫。也不知道是否是有時間慢慢寫完整，會不會中斷，寫着看吧。

--------------------------------------------------------------------------

今天先談談對線形空間和矩陣的幾個核心概念的理解。這些東西大部分是憑着本身的理解寫出來的，基本上不抄書，可能有錯誤的地方，但願可以被指出。但我但願作到直覺，也就是說能把數學背後說的實質問題說出來。

首先說說空間(space)，這個概念是現代數學的命根子之一，從拓撲空間開始，一步步往上加定義，能夠造成不少空間。線形空間其實仍是比較初級的，若是在裏面定義了範數，就成了賦範線性空間。賦範線性空間知足完備性，就成了巴那赫空間；賦範線性空間中定義角度，就有了內積空間，內積空間再知足完備性，就獲得希爾伯特空間。

總之，空間有不少種。你要是去看某種空間的數學定義，大體都是「存在一個集合，在這個集合上定義某某概念，而後知足某些性質」，就能夠被稱爲空間。這未免有點奇怪，爲何要用「空間」來稱呼一些這樣的集合呢？你們將會看到，其實這是頗有道理的。

咱們通常人最熟悉的空間，毫無疑問就是咱們生活在其中的（按照牛頓的絕對時空觀）的三維空間，從數學上說，這是一個三維的歐幾里德空間，咱們先無論那麼多，先看看咱們熟悉的這樣一個空間有些什麼最基本的特色。仔細想一想咱們就會知道，這個三維的空間：1. 由不少（其實是無窮多個）位置點組成；2. 這些點之間存在相對的關係；3. 能夠在空間中定義長度、角度；4. 這個空間能夠容納運動，這裏咱們所說的運動是從一個點到另外一個點的移動（變換），而不是微積分意義上的「連續」性的運動，

上面的這些性質中，最最關鍵的是第4條。第一、2條只能說是空間的基礎，不算是空間特有的性質，凡是討論數學問題，都得有一個集合，大多數還得在這個集合上定義一些結構（關係），並非說有了這些就算是空間。而第3條太特殊，其餘的空間不須要具有，更不是關鍵的性質。只有第4條是空間的本質，也就是說，容納運動是空間的本質特徵。

認識到了這些，咱們就能夠把咱們關於三維空間的認識擴展到其餘的空間。事實上，無論是什麼空間，都必須容納和支持在其中發生的符合規則的運動（變換）。你會發現，在某種空間中每每會存在一種相對應的變換，好比拓撲空間中有拓撲變換，線性空間中有線性變換，仿射空間中有仿射變換，其實這些變換都只不過是對應空間中容許的運動形式而已。

所以只要知道，「空間」是容納運動的一個對象集合，而變換則規定了對應空間的運動。

下面咱們來看看線性空間。線性空間的定義任何一本書上都有，可是既然咱們認可線性空間是個空間，那麼有兩個最基本的問題必須首先獲得解決，那就是：

1. 空間是一個對象集合，線性空間也是空間，因此也是一個對象集合。那麼線性空間是什麼樣的對象的集合？或者說，線性空間中的對象有什麼共同點嗎？

2. 線性空間中的運動如何表述的？也就是，線性變換是如何表示的？

咱們先來回答第一個問題，回答這個問題的時候實際上是不用拐彎抹角的，能夠直截了當的給出答案。線性空間中的任何一個對象，經過選取基和座標的辦法，均可以表達爲向量的形式。一般的向量空間我就不說了，舉兩個不那麼平凡的例子：

L1. 最高次項不大於n次的多項式的全體構成一個線性空間，也就是說，這個線性空間中的每個對象是一個多項式。若是咱們以x0, x1, ..., xn爲基，那麼任何一個這樣的多項式均可以表達爲一組n+1維向量，其中的每個份量ai其實就是多項式中x(i-1)項的係數。值得說明的是，基的選取有多種辦法，只要所選取的那一組基線性無關就能夠。這要用到後面提到的概念了，因此這裏先不說，提一下而已。

L2. 閉區間[a, b]上的n階連續可微函數的全體，構成一個線性空間。也就是說，這個線性空間的每個對象是一個連續函數。對於其中任何一個連續函數，根據魏爾斯特拉斯定理，必定能夠找到最高次項不大於n的多項式函數，使之與該連續函數的差爲0，也就是說，徹底相等。這樣就把問題歸結爲L1了。後面就不用再重複了。

因此說，向量是很厲害的，只要你找到合適的基，用向量能夠表示線性空間裏任何一個對象。這裏頭大有文章，由於向量表面上只是一列數，可是其實因爲它的有序性，因此除了這些數自己攜帶的信息以外，還能夠在每一個數的對應位置上攜帶信息。爲何在程序設計中數組最簡單，卻又威力無窮呢？根本緣由就在於此。這是另外一個問題了，這裏就不說了。

下面來回答第二個問題，這個問題的回答會涉及到線性代數的一個最根本的問題。

線性空間中的運動，被稱爲線性變換。也就是說，你從線性空間中的一個點運動到任意的另一個點，均可以經過一個線性變化來完成。那麼，線性變換如何表示呢？頗有意思，在線性空間中，當你選定一組基以後，不只能夠用一個向量來描述空間中的任何一個對象，並且能夠用矩陣來描述該空間中的任何一個運動（變換）。而使某個對象發生對應運動的方法，就是用表明那個運動的矩陣，乘以表明那個對象的向量。

簡而言之，在線性空間中選定基以後，向量刻畫對象，矩陣刻畫對象的運動，用矩陣與向量的乘法施加運動。

是的，矩陣的本質是運動的描述。若是之後有人問你矩陣是什麼，那麼你就能夠響亮地告訴他，矩陣的本質是運動的描述。

但是多麼有意思啊，向量自己不是也能夠當作是n x 1矩陣嗎？這實在是很奇妙，一個空間中的對象和運動居然能夠用相類同的方式表示。能說這是巧合嗎？若是是巧合的話，那可真是幸運的巧合！能夠說，線性代數中大多數奇妙的性質，均與這個巧合有直接的關係。
接着理解矩陣。

上一篇裏說「矩陣是運動的描述」，到如今爲止，好像你們都還沒什麼意見。可是我相信遲早會有數學系出身的網友來拍板轉。由於運動這個概念，在數學和物理裏是跟微積分聯繫在一塊兒的。咱們學習微積分的時候，總會有人照本宣科地告訴你，初等數學是研究常量的數學，是研究靜態的數學，高等數學是變量的數學，是研究運動的數學。你們口口相傳，差很少人人都知道這句話。可是真知道這句話說的是什麼意思的人，好像也很少。簡而言之，在咱們人類的經驗裏，運動是一個連續過程，從A點到B點，就算走得最快的光，也是須要一個時間來逐點地通過AB之間的路徑，這就帶來了連續性的概念。而連續這個事情，若是不定義極限的概念，根本就解釋不了。古希臘人的數學很是強，但就是缺少極限觀念，因此解釋不了運動，被芝諾的那些著名悖論（飛箭不動、飛毛腿阿喀琉斯跑不過烏龜等四個悖論）搞得死去活來。由於這篇文章不是講微積分的，因此我就很少說了。有興趣的讀者能夠去看看齊民友教授寫的《重溫微積分》。我就是讀了這本書開頭的部分，才明白「高等數學是研究運動的數學」這句話的道理。

不過在我這個《理解矩陣》的文章裏，「運動」的概念不是微積分中的連續性的運動，而是瞬間發生的變化。好比這個時刻在A點，通過一個「運動」，一會兒就「躍遷」到了B點，其中不須要通過A點與B點之間的任何一個點。這樣的「運動」，或者說「躍遷」，是違反咱們平常的經驗的。不過了解一點量子物理常識的人，就會馬上指出，量子（例如電子）在不一樣的能量級軌道上跳躍，就是瞬間發生的，具備這樣一種躍遷行爲。因此說，天然界中並非沒有這種運動現象，只不過宏觀上咱們觀察不到。可是無論怎麼說，「運動」這個詞用在這裏，仍是容易產生歧義的，說得更確切些，應該是「躍遷」。所以這句話能夠改爲：

「矩陣是線性空間裏躍遷的描述」。

但是這樣說又太物理，也就是說太具體，而不夠數學，也就是說不夠抽象。所以咱們最後換用一個正牌的數學術語——變換，來描述這個事情。這樣一說，你們就應該明白了，所謂變換，其實就是空間裏從一個點（元素/對象）到另外一個點（元素/對象）的躍遷。好比說，拓撲變換，就是在拓撲空間裏從一個點到另外一個點的躍遷。再好比說，仿射變換，就是在仿射空間裏從一個點到另外一個點的躍遷。附帶說一下，這個仿射空間跟向量空間是親兄弟。作計算機圖形學的朋友都知道，儘管描述一個三維對象只須要三維向量，但全部的計算機圖形學變換矩陣都是4 x 4的。說其緣由，不少書上都寫着「爲了使用中方便」，這在我看來簡直就是企圖矇混過關。真正的緣由，是由於在計算機圖形學裏應用的圖形變換，其實是在仿射空間而不是向量空間中進行的。想一想看，在向量空間裏相一個向量平行移動之後還是相同的那個向量，而現實世界等長的兩個平行線段固然不能被認爲同一個東西，因此計算機圖形學的生存空間其實是仿射空間。而仿射變換的矩陣表示根本就是4 x 4的。又扯遠了，有興趣的讀者能夠去看《計算機圖形學——幾何工具算法詳解》。

一旦咱們理解了「變換」這個概念，矩陣的定義就變成：

「矩陣是線性空間裏的變換的描述。」

到這裏爲止，咱們終於獲得了一個看上去比較數學的定義。不過還要多說幾句。教材上通常是這麼說的，在一個線性空間V裏的一個線性變換T，當選定一組基以後，就能夠表示爲矩陣。所以咱們還要說清楚到底什麼是線性變換，什麼是基，什麼叫選定一組基。線性變換的定義是很簡單的，設有一種變換T，使得對於線性空間V中間任何兩個不相同的對象x和y，以及任意實數a和b，有：
T(ax + by) = aT(x) + bT(y)，
那麼就稱T爲線性變換。

定義都是這麼寫的，可是光看定義還得不到直覺的理解。線性變換到底是一種什麼樣的變換？咱們剛纔說了，變換是從空間的一個點躍遷到另外一個點，而線性變換，就是從一個線性空間V的某一個點躍遷到另外一個線性空間W的另外一個點的運動。這句話裏蘊含着一層意思，就是說一個點不只能夠變換到同一個線性空間中的另外一個點，並且能夠變換到另外一個線性空間中的另外一個點去。無論你怎麼變，只要變換先後都是線性空間中的對象，這個變換就必定是線性變換，也就必定能夠用一個非奇異矩陣來描述。而你用一個非奇異矩陣去描述的一個變換，必定是一個線性變換。有的人可能要問，這裏爲何要強調非奇異矩陣？所謂非奇異，只對方陣有意義，那麼非方陣的狀況怎麼樣？這個提及來就會比較冗長了，最後要把線性變換做爲一種映射，而且討論其映射性質，以及線性變換的核與像等概念才能完全講清楚。我以爲這個不算是重點，若是確實有時間的話，之後寫一點。如下咱們只探討最經常使用、最有用的一種變換，就是在同一個線性空間以內的線性變換。也就是說，下面所說的矩陣，不做說明的話，就是方陣，並且是非奇異方陣。學習一門學問，最重要的是把握主幹內容，迅速創建對於這門學問的總體概念，沒必要一開始就考慮全部的細枝末節和特殊狀況，自亂陣腳。

接着往下說，什麼是基呢？這個問題在後面還要大講一番，這裏只要把基當作是線性空間裏的座標系就能夠了。注意是座標系，不是座標值，這二者但是一個「對立矛盾統一體」。這樣一來，「選定一組基」就是說在線性空間裏選定一個座標系。就這意思。

好，最後咱們把矩陣的定義完善以下：

「矩陣是線性空間中的線性變換的一個描述。在一個線性空間中，只要咱們選定一組基，那麼對於任何一個線性變換，都可以用一個肯定的矩陣來加以描述。」

理解這句話的關鍵，在於把「線性變換」與「線性變換的一個描述」區別開。一個是那個對象，一個是對那個對象的表述。就好像咱們熟悉的面向對象編程中，一個對象能夠有多個引用，每一個引用能夠叫不一樣的名字，但都是指的同一個對象。若是還不形象，那就乾脆來個很俗的類比。

好比有一頭豬，你打算給它拍照片，只要你給照相機選定了一個鏡頭位置，那麼就能夠給這頭豬拍一張照片。這個照片能夠當作是這頭豬的一個描述，但只是一個片面的的描述，由於換一個鏡頭位置給這頭豬拍照，能獲得一張不一樣的照片，也是這頭豬的另外一個片面的描述。全部這樣照出來的照片都是這同一頭豬的描述，可是又都不是這頭豬自己。

一樣的，對於一個線性變換，只要你選定一組基，那麼就能夠找到一個矩陣來描述這個線性變換。換一組基，就獲得一個不一樣的矩陣。全部這些矩陣都是這同一個線性變換的描述，但又都不是線性變換自己。

可是這樣的話，問題就來了若是你給我兩張豬的照片，我怎麼知道這兩張照片上的是同一頭豬呢？一樣的，你給我兩個矩陣，我怎麼知道這兩個矩陣是描述的同一個線性變換呢？若是是同一個線性變換的不一樣的矩陣描述，那就是本家兄弟了，見面不認識，豈不成了笑話。

好在，咱們能夠找到同一個線性變換的矩陣兄弟們的一個性質，那就是：

若矩陣A與B是同一個線性變換的兩個不一樣的描述（之因此會不一樣，是由於選定了不一樣的基，也就是選定了不一樣的座標系），則必定能找到一個非奇異矩陣P，使得A、B之間知足這樣的關係：

A = P-1BP

線性代數稍微熟一點的讀者一下就看出來，這就是類似矩陣的定義。沒錯，所謂類似矩陣，就是同一個線性變換的不一樣的描述矩陣。按照這個定義，同一頭豬的不一樣角度的照片也能夠成爲類似照片。俗了一點，不過能讓人明白。

而在上面式子裏那個矩陣P，其實就是A矩陣所基於的基與B矩陣所基於的基這兩組基之間的一個變換關係。關於這個結論，能夠用一種很是直覺的方法來證實（而不是通常教科書上那種形式上的證實），若是有時間的話，我之後在blog裏補充這個證實。

這個發現過重要了。原來一族類似矩陣都是同一個線性變換的描述啊！難怪這麼重要！工科研究生課程中有矩陣論、矩陣分析等課程，其中講了各類各樣的類似變換，好比什麼類似標準型，對角化之類的內容，都要求變換之後獲得的那個矩陣與先前的那個矩陣式類似的，爲何這麼要求？由於只有這樣要求，才能保證變換先後的兩個矩陣是描述同一個線性變換的。固然，同一個線性變換的不一樣矩陣描述，從實際運算性質來看並非不分好環的。有些描述矩陣就比其餘的矩陣性質好得多。這很容易理解，同一頭豬的照片也有美醜之分嘛。因此矩陣的類似變換能夠把一個比較醜的矩陣變成一個比較美的矩陣，而保證這兩個矩陣都是描述了同一個線性變換。

這樣一來，矩陣做爲線性變換描述的一面，基本上說清楚了。可是，事情沒有那麼簡單，或者說，線性代數還有比這更奇妙的性質，那就是，矩陣不只能夠做爲線性變換的描述，並且能夠做爲一組基的描述。而做爲變換的矩陣，不但能夠把線性空間中的一個點給變換到另外一個點去，並且也可以把線性空間中的一個座標系（基）表換到另外一個座標系（基）去。並且，變換點與變換座標系，具備殊途同歸的效果。線性代數裏最有趣的奧妙，就蘊含在其中。理解了這些內容，線性代數裏不少定理和規則會變得更加清晰、直覺。