PRML讀書隨筆(1)

　　這一系列隨筆，是一個並無足夠數學基礎的人寫的——這注定會致使不少不足。但筆者也覺得，能以這樣的身份去讀書，也是一個充滿挑戰和新奇的角度，說不定有一番別樣的收穫。

---

「……每一個數字對應一個 28 × 28 像素的圖像，所以能夠表示爲一個由784個實數組成的向量 x 。目標是創建一個機器，可以以這樣的向量 x 做爲輸入，以數字0到9爲輸出。」

　　我雖然見過許多這種表述，但目前依然不能很好的適應。習慣上，咱們都把x當成一個數值，一個標量（這個稱呼尚且陌生）——即便學習了向量和矩陣的知識，知道它們均可以用字母表示（矩陣是大寫字母）。在學習機器學習的過程當中，這種對字母表示向量的直覺是理應儘早樹立的——如何纔能有這種直覺？我所能想到的只有多練習，在草稿紙上隨便寫寫畫畫，好比……

「運行機器學習算法的結果能夠被表示爲一個函數 y(x) ，它以一個新的數字的圖像 x 爲輸入，產生向量 y ，與目標向量的形式相同。函數 y(x) 的精確形式在訓練（ training ）階段被肯定，這個階段也被稱爲學習（ learning ）階段，以訓練數據爲基礎。」

　　引文中的「函數」，也是一個全新的概念。以往接觸的函數，都是以數爲自變量——而這裏所說的函數，是以向量爲自變量，因此嚴格地說這甚至不應叫「函數」（可是能怎樣呢？只能暫且這麼稱呼了）。而且「以向量爲自變量」不一樣於「多元函數」，這裏的函數依然只有一個自變量，即便它們看起來徹底等價——不過若是某個函數更進一步，把矩陣當作自變量，就沒法與多元函數對應了。而且這裏的「函數」是一個抽象概念，它不只僅是不能畫出圖像，它甚至沒有圖像，由於這裏的函數「尚未肯定」，用函數這一詞彙，僅僅是表示輸入和輸出直接存在惟一對應關係，而後爲這個關係賦予一個名稱，看起來就像傳統的反比例函數或三角函數同樣——然而它僅僅表示一種對應關係【存在】。

「對於大部分實際應用，原始輸入向量一般被預處理（ pre-processed ），變換到新的變量空間。人們指望在新的變量空間中模式識別問題能夠更容易地被解決。例如，在數字識別的問題中，數字的圖像一般被轉化縮放，使得每一個數字可以被包含到一個固定大小的盒子中。」

　　若是是說「對圖像的預處理」，那麼這無疑是形象而易於理解的；但爲了有一種統一的說法，總結後的句子不免晦澀，如同著名的「幾何學是研究空間在變換羣下不變性質的一門學科」（——埃爾朗根綱領，克萊因）。實際理解中，具體的例子幾乎是必要的，本書的做者爲了解釋這一總結，也及早給出了例子。但總結也依然是必要的，若是隻有例子，也許只有說話者知道其中所強調的共性（技術交流中這甚至是常見的）。——另外，這裏的「變換」也至關反直覺，函數給人的印象一直是「連續的」，「光滑的」，即便這是解析函數纔有的性質，咱們仍是習慣把狄利克雷函數看作另類。當自變量成爲了向量，連「輸入向量，輸出向量的長度」均可以算函數，此時要如何適應這些表述呢？此次我真的沒有辦法了，也許多見一些例子就好吧，雖然奇怪的函數能夠有任意多種，總會遇到詭異的函數——不過假如用到的很少，靠經驗彌補直覺仍是頗有效的。

　　先寫這麼多吧。這些是PRML的第一頁內容，的一小部分……

（2018-6-18 於地球）