【讀書筆記】數學之美（下）

做者：LogM

本文原載於 https://segmentfault.com/u/logm/articles，不容許轉載~

文章中的數學公式若沒法正確顯示，請參見：正確顯示數學公式的小技巧

本文爲《數學之美》的讀書筆記。

---

第19章 談談數學模型的重要性

• 數學很重要

---

第20章 談談最大熵模型

• 思想：對一個隨機事件的機率分佈進行預測時，咱們的預測應當知足所有已知條件，而對未知的狀況不要作任何主觀假設。
• $$P(d|x_1,x_2,...,x_{20}) = \frac{1}{Z(x_1,x_2,...,x_{20})} e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}$$
• 歸一化因子：
  $$Z(x_1,x_2,...,x_{20}) = \sum{e^{\lambda_1 (x_1,d)+ \lambda_2(x_2,d)+ ... + \lambda_{20}(x_{20},d)}}$$

---

第21章 拼音輸入法的數學原理

• 語言模型

---

第22章 天然語言處理的教父馬庫斯和他的優秀弟子們

• 人物傳記

---

第23章 布隆過濾器

• 本質和哈希表同樣，區別是映射函數精心設計過，在可接受的衝突率前提下，減小了內存的佔用。

---

第24章 貝葉斯網絡（信念網絡）

• 馬爾科夫鏈假設依賴關係是一維的，因此創建一維的鏈。但實際問題很複雜，不少依賴關係不能用鏈上的狀態轉移描述，須要用圖描述。
• 爲了計算方便，依舊保持馬爾科夫假設成立，即每個狀態只與和它直接相連的狀態有關。

---

第25章 條件隨機場、文法分析及其它

• 條件隨機場：在隱馬爾科夫模型中，$x_1,x_2,...$ 爲觀測值，$y_1,y_2,...$ 爲隱狀態，$x_i$ 只與 $y_i$ 有關。而條件隨機場中，$x_i$ 與 $y_i$、$y_{i-1}$、$y_{i+1}$ 都有關。
• 能夠認爲條件隨機場是一種特殊的機率圖模型。仍遵照馬爾科夫假設。條件隨機場是無向圖。
• 條件隨機場一般用最大熵模型建模：
  $$P(x_1,x_2,..,x_n,y_1,y_2,...,y_m) = \frac{e^{f_1+f_2+...+f_k}}{Z}$$

---

第26章 Viberti 算法

• 隱馬爾科夫模型能夠轉換爲籬笆網絡。Viberti 使用動態規劃思想在這個網絡中求最短路徑。

---

第27章 指望最大化算法

---

第28章 邏輯迴歸和搜索廣告

• 搜索廣告的發展：競價排名 -> 預測用戶點擊 -> 全局優化
• 預測廣告點擊率通常用邏輯迴歸作

---

第29章 各個擊破算法和 Google 雲計算的基礎

• MapReduce

---

第30章 Google 大腦和人工神經網絡

• 人工神經網絡

• 人工神經網絡與貝葉斯網絡的關係：

  • 有向圖，且聽從馬爾科夫假設
  • 訓練方法類似
  • 對於不少模式分類問題，兩種方法效果相近
• Google 大腦：分佈式的人工神經網絡

---

第31章 大數據的威力

• 數據很重要