[轉載]MIT牛人解說計算機中的數學

[轉載]MIT牛人解說計算機中的數學 一、爲何要深刻數學的世界 學習數學的目的，是要想爬上巨人的肩膀，但願站在更高的高度，能把我本身研究的東西看得更深廣一些。在深刻探索科學研究的過程當中，遇到了不少不少的問題，如何描述一個通常的運動過程，如何創建一個穩定而且普遍適用的原子表達，如何刻畫微觀運動和宏觀分佈變換的聯繫，還有不少。在這個過程當中，我發現了兩個事情： 我原有的數學基礎已經遠遠不能適應我對這些問題的深刻研究。 在數學中，有不少思想和工具，是很是適合解決這些問題的，只是沒有被不少的應用科學的研究者重視。 因而，我決心開始深刻數學這個浩瀚大海，但願在我再次走出來的時候，我已經有了更強大的武器去面對這些問題的挑戰。個人遊歷並無結束，個人視野相比於這個博大精深的世界的依舊顯得很是狹窄。在這裏，我只是說說，在個人眼中，數學如何一步步從初級向高級發展，更高級別的數學對於具體應用究竟有何好處。 二、集合論：現代數學的共同基礎 現代數學有數不清的分支，可是，它們都有一個共同的基礎——集合論——由於它，數學這個龐大的家族有個共同的語言。集合論中有一些最基本的概念：集合(set)，關係(relation)，函數(function)，等價 (equivalence)，是在其它數學分支的語言中幾乎必然存在的。對於這些簡單概念的理解，是進一步學些別的數學的基礎。我相信，理工科大學生對於這些都不會陌生。 不過，有一個很重要的東西就不見得那麼家喻戶曉了——那就是「選擇公理」 (Axiom of Choice)。這個公理的意思是「任意的一羣非空集合，必定能夠從每一個集合中各拿出一個元素。」——彷佛是顯然得不能再顯然的命題。不過，這個貌似日常的公理卻能演繹出一些比較奇怪的結論，好比巴拿赫-塔斯基分球定理——「一個球，能分紅五個部分，對它們進行一系列剛性變換（平移旋轉）後，能組合成兩個同樣大小的球」。正由於這些徹底有悖常識的結論，致使數學界曾經在至關長時間裏對因而否接受它有着激烈爭論。如今，主流數學家對於它應該是基本接受的，由於不少數學分支的重要定理都依賴於它。在咱們後面要說到的學科裏面，下面的定理依賴於選擇公理： 拓撲學：Baire Category Theorem 實分析（測度理論）：Lebesgue 不可測集的存在性 泛函分析四個主要定理：Hahn-Banach Extension Theorem, Banach-Steinhaus Theorem (Uniform boundedness principle), Open Mapping Theorem, Closed Graph Theorem 在集合論的基礎上，現代數學有兩你們族：分析(Analysis)和代數(Algebra)。至於其它的，好比幾何和機率論，在古典數學時代，它們是和代數並列的，可是它們的現代版本則基本是創建在分析或者代數的基礎上，所以從現代意義說，它們和分析與代數並非平行的關係。 三、分析：在極限基礎上創建的宏偉大廈 先說說分析(Analysis)吧，它是從微積分(Caculus)發展起來的——這也是有些微積分教材名字叫「數學分析」的緣由。不過，分析的範疇遠不僅是這些，咱們在大學一年級學習的微積分只能算是對古典分析的入門。分析研究的對象不少，包括導數(derivatives)，積分(integral)，微分方程(differential equation)，還有級數(infinite series)——這些基本的概念，在初等的微積分裏面都有介紹。若是說有一個思想貫穿其中，那就是極限——這是整個分析（不只僅是微積分）的靈魂。 四、微積分：分析的古典時代——從牛頓到柯西 一個不少人都據說過的故事，就是牛頓(Newton)和萊布尼茨 (Leibniz)關於微積分發明權的爭論。事實上，在他們的時代，不少微積分的工具開始運用在科學和工程之中，可是，微積分的基礎並無真正創建。那個長時間一直解釋不清楚的「無窮小量」的幽靈，困擾了數學界一百多年的時間——這就是「第二次數學危機」。直到柯西用數列極限的觀點從新創建了微積分的基本概念，這門學科纔開始有了一個比較堅實的基礎。直到今天，整個分析的大廈仍是創建在極限的基石之上。 柯西(Cauchy)爲分析的發展提供了一種嚴密的語言，可是他並無解決微積分的所有問題。在19世紀的時候，分析的世界仍然有着一些揮之不去的烏雲。而其中最重要的一個沒有解決的是「函數是否可積的問題」。咱們在如今的微積分課本中學到的那種經過「無限分割區間，取矩陣面積和的極限」的積分，是大約在1850年由黎曼(Riemann)提出的，叫作黎曼積分。可是，什麼函數存在黎曼積分呢（黎曼可積）？數學家們很早就證實了，定義在閉區間內的連續函數是黎曼可積的。但是，這樣的結果並不使人滿意，工程師們須要對分段連續函數的函數積分。 五、實分析：在實數理論和測度理論上創建起現代分析 在19世紀中後期，不連續函數的可積性問題一直是分析的重要課題。對於定義在閉區間上的黎曼積分的研究發現，可積性的關鍵在於「不連續的點足夠少」。只有有限處不連續的函數是可積的，但是不少有數學家們構造出不少在無限處不連續的可積函數。顯然，在衡量點集大小的時候，有限和無限並非一種合適的標準。在探討「點集大小」這個問題的過程當中，數學家發現實數軸——這個他們曾經覺得已經充分理解的東西——有着許多他們沒有想到的特性。在極限思想的支持下，實數理論在這個時候被創建起來，它的標誌是對實數完備性進行刻畫的幾條等價的定理 （確界定理，區間套定理，柯西收斂定理，Bolzano-Weierstrass Theorem和Heine-Borel Theorem等等）——這些定理明確表達出實數和有理數的根本區別：完備性（很不嚴格的說，就是對極限運算封閉）。隨着對實數認識的深刻，如何測量「點集大小」的問題也取得了突破，勒貝格創造性地把關於集合的代數，和Outer content（就是「外測度」的一個雛形）的概念結合起來，創建了測度理論(Measure Theory)，而且進一步創建了以測度爲基礎的積分——勒貝格(Lebesgue Integral)。在這個新的積分概念的支持下，可積性問題變得一目瞭然。 上面說到的實數理論，測度理論和勒貝格積分，構成了咱們如今稱爲實分析 (Real Analysis)的數學分支，有些書也叫實變函數論。對於應用科學來講，實分析彷佛沒有古典微積分那麼「實用」——很難直接基於它獲得什麼算法。並且，它要解決的某些「難題」——好比到處不連續的函數，或者到處連續而到處不可微的函數——在工程師的眼中，並不現實。可是，我認爲，它並非一種純數學概念遊戲，它的現實意義在於爲許多現代的應用數學分支提供堅實的基礎。下面，我僅僅列舉幾條它的用處： 黎曼可積的函數空間不是完備的，可是勒貝格可積的函數空間是完備的。簡單的說，一個黎曼可積的函數列收斂到的那個函數不必定是黎曼可積的，可是勒貝格可積的函數列一定收斂到一個勒貝格可積的函數。在泛函分析，還有逼近理論中，常常須要討論「函數的極限」，或者「函數的級數」，若是用黎曼積分的概念，這種討論幾乎不可想像。咱們有時看一些paper中提到Lp函數空間，就是基於勒貝格積分。 勒貝格積分是傅立葉變換（這東西在工程中處處都是）的基礎。不少關於信號處理的初等教材，可能繞過了勒貝格積分，直接講點面對實用的東西而不談它的數學基礎，可是，對於深層次的研究問題——特別是但願在理論中能作一些工做——這並非總能繞過去。 在下面，咱們還會看到，測度理論是現代機率論的基礎。 六、拓撲學：分析從實數軸推廣到通常空間——現代分析的抽象基礎 隨着實數理論的創建，你們開始把極限和連續推廣到更通常的地方的分析。事實上，不少基於實數的概念和定理並非實數特有的。不少特性能夠抽象出來，推廣到更通常的空間裏面。對於實數軸的推廣，促成了點集拓撲學(Point- set Topology)的創建。不少原來只存在於實數中的概念，被提取出來，進行通常性的討論。在拓撲學裏面，有4個C構成了它的核心： Closed set（閉集合）。在現代的拓撲學的公理化體系中，開集和閉集是最基本的概念。一切今後引伸。這兩個概念是開區間和閉區間的推廣，它們的根本地位，並非 一開始就被認識到的。通過至關長的時間，人們才認識到：開集的概念是連續性的基礎，而閉集對極限運算封閉——而極限正是分析的根基。 Continuous function （連續函數）。連續函數在微積分裏面有個用epsilon-delta語言給出的定義，在拓撲學中它的定義是「開集的原像是開集的函數」。第二個定義和第 一個是等價的，只是用更抽象的語言進行了改寫。我我的認爲，它的第三個（等價）定義才從根本上揭示連續函數的本質——「連續函數是保持極限運算的函數」 ——好比y是數列x1, x2, x3, … 的極限， 那麼若是 f 是連續函數，那麼 f(y) 就是 f(x1), f(x2), f(x3), …的極限。連續函數的重要性，能夠從別的分支學科中進行類比。好比羣論中，基礎的運算是「乘法」，對於羣，最重要的映射叫「同態映射」——保持「乘法」的 映射。在分析中，基礎運算是「極限」，所以連續函數在分析中的地位，和同態映射在代數中的地位是至關的。 Connected set （連通集合）。比它略爲窄一點的概念叫(Path connected)，就是集合中任意兩點都存在連續路徑相連——多是通常人理解的概念。通常意義下的連通概念稍微抽象一些。在我看來，連通性有兩個重 要的用場：一個是用於證實通常的中值定理(Intermediate Value Theorem)，還有就是代數拓撲，拓撲羣論和李羣論中討論根本羣(Fundamental Group)的階。 Compact set（緊集）。Compactness彷佛在初等微積分裏面沒有專門出現，不過有幾條實數上的定理和它實際上是有關係的。好比，「有界數列必然存在收斂子 列」——用compactness的語言來講就是——「實數空間中有界閉集是緊的」。它在拓撲學中的通常定義是一個聽上去比較抽象的東西——「緊集的任意 開覆蓋存在有限子覆蓋」。這個定義在討論拓撲學的定理時很方便，它在不少時候能幫助實現從無限到有限的轉換。對於分析來講，用得更多的是它的另外一種形式 ——「緊集中的數列必存在收斂子列」——它體現了分析中最重要的「極限」。Compactness在現代分析中運用極廣，沒法盡述。微積分中的兩個重要定 理：極值定理(Extreme Value Theory)，和一致收斂定理(Uniform Convergence Theorem)就能夠藉助它推廣到通常的形式。 從某種意義上說，點集拓撲學能夠當作是關於「極限」的通常理論，它抽象於實數理論，它的概念成爲幾乎全部現代分析學科的通用語言，也是整個現代分析的根基所在。 七、微分幾何：流形上的分析——在拓撲空間上引入微分結構 拓撲學把極限的概念推廣到通常的拓撲空間，但這不是故事的結束，而僅僅是開始。在微積分裏面，極限以後咱們有微分，求導，積分。這些東西也能夠推廣到拓撲空間，在拓撲學的基礎上創建起來——這就是微分幾何。從教學上說，微分幾何的教材，有兩種不一樣的類型，一種是創建在古典微積分的基礎上的「古典微分幾何」，主要是關於二維和三維空間中的一些幾何量的計算，好比曲率。還有一種是創建在現代拓撲學的基礎上，這裏姑且稱爲「現代微分幾何」——它的核心概念就是「流形」(manifold)——就是在拓撲空間的基礎上加了一套能夠進行微分運算的結構。現代微分幾何是一門很是豐富的學科。好比通常流形上的微分的定義就比傳統的微分豐富，我本身就見過三種從不一樣角度給出的等價定義——這一方面讓事情變得複雜一些，可是另一個方面它給了同一個概念的不一樣理解，每每在解決問題時會引出不一樣的思路。除了推廣微積分的概念之外，還引入了不少新概 念：tangent space, cotangent space, push forward, pull back, fibre bundle, flow, immersion, submersion 等等。 近些年，流形在machine learning彷佛至關時髦。可是，坦率地說，要弄懂一些基本的流形算法， 甚至「創造」一些流形算法，並不須要多少微分幾何的基礎。對個人研究來講，微分幾何最重要的應用就是創建在它之上的另一個分支：李羣和李代數——這是數學中兩你們族分析和代數的一個漂亮的聯姻。分析和代數的另一處重要的結合則是泛函分析，以及在其基礎上的調和分析。 八、代數：一個抽象的世界關於抽象代數 回過頭來，再說說另外一個你們族——代數。 若是說古典微積分是分析的入門，那麼現代代數的入門點則是兩個部分：線性代數(linear algebra)和基礎的抽象代數(abstract algebra)——聽說國內一些教材稱之爲近世代數。 代數——名稱上研究的彷佛是數，在我看來，主要研究的是運算規則。一門代數， 其實都是從某種具體的運算體系中抽象出一些基本規則，創建一個公理體系，而後在這基礎上進行研究。一個集合再加上一套運算規則，就構成一個代數結構。在主要的代數結構中，最簡單的是羣(Group)——它只有一種符合結合率的可逆運算，一般叫「乘法」。若是，這種運算也符合交換率，那麼就叫阿貝爾羣 (Abelian Group)。若是有兩種運算，一種叫加法，知足交換率和結合率，一種叫乘法，知足結合率，它們之間知足分配率，這種豐富一點的結構叫作環(Ring)， 若是環上的乘法知足交換率，就叫可交換環(Commutative Ring)。若是，一個環的加法和乘法具備了全部的良好性質，那麼就成爲一個域(Field)。基於域，咱們能夠創建一種新的結構，能進行加法和數乘，就構成了線性代數(Linear algebra)。 代數的好處在於，它只關心運算規則的演繹，而無論參與運算的對象。只要定義恰當，徹底可讓一隻貓乘一隻狗獲得一頭豬:-)。基於抽象運算規則獲得的全部定理徹底能夠運用於上面說的貓狗乘法。固然，在實際運用中，咱們仍是但願用它 乾點有意義的事情。學過抽象代數的都知道，基於幾條最簡單的規則，好比結合律，就能導出很是多的重要結論——這些結論能夠應用到一切知足這些簡單規則的地方——這是代數的威力所在，咱們再也不須要爲每個具體領域從新創建這麼多的定理。 抽象代數有在一些基礎定理的基礎上，進一步的研究每每分爲兩個流派：研究有限的離散代數結構（好比有限羣和有限域），這部份內容一般用於數論，編碼，和整數方程這些地方；另一個流派是研究連續的代數結構，一般和拓撲與分析聯繫在一塊兒（好比拓撲羣，李羣）。我在學習中的focus主要是後者。 九、線性代數：「線性」的基礎地位 對於作Learning, vision, optimization或者statistics的人來講，接觸最多的莫過於線性代數——這也是咱們在大學低年級就開始學習的。線性代數，包括創建在它基礎上的各類學科，最核心的兩個概念是向量空間和線性變換。線性變換在線性代數中的地位，和連續函數在分析中的地位，或者同態映射在羣論中的地位是同樣的——它是保持基礎運算（加法和數乘）的映射。 在learning中有這樣的一種傾向——鄙視線性算法，標榜非線性。也許在不少場合下面，咱們須要非線性來描述複雜的現實世界，可是不管何時，線性都是具備根本地位的。沒有線性的基礎，就不可能存在所謂的非線性推廣。咱們經常使用的非線性化的方法包括流形和kernelization，這二者都須要在某個階段迴歸線性。流形須要在每一個局部創建和線性空間的映射，經過把許多局部線 性空間鏈接起來造成非線性；而kernerlization則是經過置換內積結構把原線性空間「非線性」地映射到另一個線性空間，再進行線性空間中所能進行的操做。而在分析領域，線性的運算更是無處不在，微分，積分，傅立葉變換，拉普拉斯變換，還有統計中的均值，統統都是線性的。 十、泛函分析：從有限維向無限維邁進 在大學中學習的線性代數，它的簡單主要由於它是在有限維空間進行的，由於有限，咱們無須藉助於太多的分析手段。可是，有限維空間並不能有效地表達咱們的世界——最重要的，函數構成了線性空間，但是它是無限維的。對函數進行的最重要的運算都在無限維空間進行，好比傅立葉變換和小波分析。這代表了，爲了研究函數（或者說連續信號），咱們須要打破有限維空間的束縛，走入無限維的函數空間——這裏面的第一步，就是泛函分析。 泛函分析(Functional Analysis)研究的是通常的線性空間，包括有限維和無限維，可是不少東西在有限維下顯得很trivial，真正的困難每每在無限維的時候出現。在泛函分析中，空間中的元素仍是叫向量，可是線性變換一般會叫做「算子」(operator)。除了加法和數乘，這裏進一步加入了一些運算，好比加入範數去 表達「向量的長度」或者「元素的距離」，這樣的空間叫作「賦範線性空間」(normed space)，再進一步的，能夠加入內積運算，這樣的空間叫「內積空間」(Inner product space)。 你們發現，當進入無限維的時間時，不少老的觀念再也不適用了，一切都須要從新審視。 全部的有限維空間都是完備的（柯西序列收斂），不少無限維空間倒是不完備的（好比閉區間上的連續函數）。在這裏，完備的空間有特殊的名稱：完備的賦範空間叫巴拿赫空間(Banach space)，完備的內積空間叫希爾伯特空間(Hilbert space)。 在有限維空間中空間和它的對偶空間的是徹底同構的，而在無限維空間中，它們存在微妙的差異。 在有限維空間中，全部線性變換（矩陣）都是有界變換，而在無限維，不少算子是無界的(unbounded)，最重要的一個例子是給函數求導。 在有限維空間中，一切有界閉集都是緊的，好比單位球。而在全部的無限維空間中，單位球都不是緊的——也就是說，能夠在單位球內撒入無限個點，而不出現一個極限點。 在有限維空間中，線性變換（矩陣）的譜至關於所有的特徵值，在無限維空間 中，算子的譜的結構比這個複雜得多，除了特徵值組成的點譜(point spectrum)，還有approximate point spectrum和residual spectrum。雖然複雜，可是，也更爲有趣。由此造成了一個至關豐富的分支——算子譜論(Spectrum theory)。 在有限維空間中，任何一點對任何一個子空間總存在投影，而在無限維空間中， 這就不必定了，具備這種良好特性的子空間有個專門的名稱切比雪夫空間(Chebyshev space)。這個概念是現代逼近理論的基礎(approximation theory)。函數空間的逼近理論在Learning中應該有着很是重要的做用，可是如今看到的運用現代逼近理論的文章並很少。 十一、繼續往前：巴拿赫代數，調和分析，和李代數 基本的泛函分析繼續往前走，有兩個重要的方向。第一個是巴拿赫代數 (Banach Algebra)，它就是在巴拿赫空間（完備的內積空間）的基礎上引入乘法（這不一樣於數乘）。好比矩陣——它除了加法和數乘，還能作乘法——這就構成了一 個巴拿赫代數。除此之外，值域完備的有界算子，平方可積函數，都能構成巴拿赫代數。巴拿赫代數是泛函分析的抽象，不少對於有界算子導出的結論，還有算子譜 論中的許多定理，它們不只僅對算子適用，它們其實能夠從通常的巴拿赫代數中獲得，而且應用在算子之外的地方。巴拿赫代數讓你站在更高的高度看待泛函分析中 的結論，可是，我對它在實際問題中能比泛函分析能多帶來什麼東西還有待思考。 最能把泛函分析和實際問題在一塊兒的另外一個重要方向是調和分析 (Harmonic Analysis)。我在這裏列舉它的兩個個子領域，傅立葉分析和小波分析，我想這已經能說明它的實際價值。它研究的最核心的問題就是怎麼用基函數去逼近 和構造一個函數。它研究的是函數空間的問題，不可避免的必須以泛函分析爲基礎。除了傅立葉和小波，調和分析還研究一些頗有用的函數空間，好比Hardy space，Sobolev space，這些空間有不少很好的性質，在工程中和物理學中都有很重要的應用。對於vision來講，調和分析在信號的表達，圖像的構造，都是很是有用的工具。 當分析和線性代數走在一塊兒，產生了泛函分析和調和分析；當分析和羣論走在一 起，咱們就有了李羣(Lie Group)和李代數(Lie Algebra)。它們給連續羣上的元素賦予了代數結構。我一直認爲這是一門很是漂亮的數學：在一個體系中，拓撲，微分和代數走到了一塊兒。在必定條件下， 經過李羣和李代數的聯繫，它讓幾何變換的結合變成了線性運算，讓子羣化爲線性子空間，這樣就爲Learning中許多重要的模型和算法的引入到對幾何運動 的建模創造了必要的條件。所以，咱們相信李羣和李代數對於vision有着重要意義，只不過學習它的道路可能會很艱辛，在它以前須要學習不少別的數學。 十二、現代機率論：在現代分析基礎上再生 最後，再簡單說說不少Learning的研究者特別關心的數學分支：機率論。 自從Kolmogorov在上世紀30年代把測度引入機率論以來，測度理論就成爲現代機率論的基礎。在這裏，機率定義爲測度，隨機變量定義爲可測函數，條件隨機變量定義爲可測函數在某個函數空間的投影，均值則是可測函數對於機率測度的積分。值得注意的是，不少的現代觀點，開始以泛函分析的思路看待機率論的基礎概念，隨機變量構成了一個向量空間，而帶符號機率測度則構成了它的對偶空間，其中一方施加於對方就造成均值。角度雖然不同，不過這兩種方式異曲同工，造成的基礎是等價的。 在現代機率論的基礎上，許多傳統的分支獲得了極大豐富，最有表明性的包括鞅論 (Martingale)——由研究賭博引起的理論，如今主要用於金融（這裏能夠看出賭博和金融的理論聯繫，:-P），布朗運動(Brownian Motion)——連續隨機過程的基礎，以及在此基礎上創建的隨機分析(Stochastic Calculus)，包括隨機積分（對隨機過程的路徑進行積分，其中比較有表明性的叫伊藤積分(Ito Integral)），和隨機微分方程。對於連續幾何運用創建機率模型以及對分佈的變換的研究離不開這些方面的知識。