機器學習中那些必要又困惑的數學知識

如今不少想從事於機器學習的朋友都存在不少困惑，主要是不少相關的書看不懂，尤爲是數學部分，機器學習的基礎是數學。數學並不是是一個可選可不選的理論方法，而是不可或缺的支柱。對於機器學習算法工程師而言，微積分、線性代數、機率論毫無疑問是須要掌握的。

 

爲何要強調數學？

毫無疑問機器學習中數學是重要的，例如你須要：

1.選擇合適的算法，包括考慮精度、訓練時間、模型的複雜性、參數和數量特徵；

2.選擇參數設置和驗證策略；

3.經過了解誤差方差權衡來識別擬合不足與過分擬合；

4.估計正確的置信區間和不肯定性。

 

你必需具有的數學知識

機率論

• 離散型和連續型隨機變量
• 主要分佈（伯努利分佈、二項式分佈、正態分佈、 指數分佈、 泊松分佈、Beta 和 Gamma 分佈）
• 矩估計和最大似然估計
• 貝葉斯統計
• 相關性係數和協方差（Correlation and Covariance）

 

機率是機器學習算法中頻繁用到的。不過基礎的機率知識在統計學中已經包括了，而比較深刻的機率知識其實在機器學習算法設計的時候並不常常用到。

 

線性代數

• 向量和矩陣
• 矩陣的行列式
• 特徵向量和特徵值
• 矩陣分解（如 SVD）

 

線性代數在深度學習領域有着舉足輕重的做用，它是深度學習各類算法的基本數學工具。尤爲是矩陣的各類變換，由於大量機器學習算法都是在和矩陣打交道。

 

微積分

• 極限與導數
• 微分和積分
• 數值計算與最優化方法

 

好比，如今無比熱門的神經網絡，優化方法幾乎全是基於梯度降低，而梯度降低，其實就是鏈式求導。不過，理工科應該都學過這方面的課程。

 

最好要掌握：

離散數學：畢竟離散數學是描述計算機問題的基礎。許多算法的思想也是基於離散數學的。離散數學研究的一些問題對於描述計算機問題也有很大啓發。

 

隨機過程，實分析：機器學習往深裏作確定須要用這種，高級的數學語言去對問題進行描述。

 

泛函：泛函分析是一門很是抽象的課程。 泛函的不少內容都是從數學分析，線性代數，實分析等抽象出來的，同時也是它們的推廣，泛函研究更普遍更通常的空間，研究共性的問題。而數學分析，高等代數研究的是個性的問題，都很具體。

 

各類算法和理論用到的數學知識 下面咱們一張圖來看典型算法和理論結論所用到的數學知識：

 

推薦書目

• 《An Introduction Statistical to Learning 》

• 《 The Elements of Statistical Learning 》 它們講述的都是統計學習，或者機器學習的方法。其中前一本能夠當作是後一本的簡化版。它更通俗、更簡單一些，後面這個稍微有些難。這兩本書能夠反覆閱讀，每次都有不一樣的收穫。

   

相關推薦：

機器學習中的數學（視頻教學）