機器學習須要的數學總結

數學知識

數學知識總括

• 微積分(高等數學)
• 線性代數
• 機率論與數理統計
• 凸優化

微積分

微積分學，數學中的基礎分支。內容主要包括函數、極限、微分學、積分學及其應用。函數是微積分研究的基本對象，極限是微積分的基本概念，微分和積分是特定過程特定形式的極限

微積分/高等數學。在機器學習中，微積分主要用到了微分部分，做用是求函數的極值，就是不少機器學習庫中的求解器（solver）所實現的功能。在機器學習裏會用到微積分中的如下知識點：

• 導數和偏導數的定義與計算方法
• 梯度向量的定義
• 極值定理，可導函數在極值點處導數或梯度必須爲0
• 雅克比矩陣，這是向量到向量映射函數的偏導數構成的矩陣，在求導推導中會用到
• Hessian矩陣，這是2階導數對多元函數的推廣，與函數的極值有密切的聯繫
• 凸函數的定義與判斷方法
• 泰勒展開公式
• 拉格朗日乘數法，用於求解帶等式約束的極值問題

其中最核心的是記住多元函數的泰勒展開公式，根據它咱們能夠推導出機器學習中經常使用的梯度降低法，牛頓法，擬牛頓法等一系列最優化方法：

線性代數

線性代數的理論是計算技術的基礎，同系統工程，優化理論及穩定性理論等有着密切聯繫，隨着計算技術的發展和計算機的普及，線性代數做爲理工科的一門基礎課程日益受到重視。線性代數這門課程的特色是概念比較抽象，概念之間聯繫很密切。內容包括行列式，矩陣，向量空間，線性方程組，矩陣的類似對角化，二次型，線性空間與線性變換等, 機器學習中主要用到如下知識點

• 向量和它的各類運算，包括加法，減法，數乘，轉置，內積
• 向量和矩陣的範數，L1範數和L2範數
• 矩陣和它的各類運算，包括加法，減法，乘法，數乘
• 逆矩陣的定義與性質
• 行列式的定義與計算方法
• 二次型的定義
• 矩陣的正定性
• 矩陣的特徵值與特徵向量
• 矩陣的奇異值分解
• 線性方程組的數值解法，尤爲是共軛梯度法

機率論與數理統計

主要內容包括：機率論的基本概念、隨機變量及其機率分佈、數字特徵、大數定律與中心極限定理、統計量及其機率分佈、參數估計和假設檢驗、迴歸分析、方差分析、馬爾科夫鏈等內容, 機器學習中主要用到如下知識點

• 隨機事件的概念，機率的定義與計算方法
• 隨機變量與機率分佈，尤爲是連續型隨機變量的機率密度函數和分佈函數
• 條件機率與貝葉斯公式
• 經常使用的機率分佈，包括正態分佈，伯努利二項分佈，均勻分佈
• 隨機變量的均值與方差，協方差
• 隨機變量的獨立性
• 最大似然估計

凸優化

凸優化，或叫作凸最優化，凸最小化，是數學最優化的一個子領域，研究定義於凸集中的凸函數最小化的問題。凸優化在某種意義上說較通常情形的數學最優化問題要簡單，譬如在凸優化中局部最優值一定是全局最優值。凸函數的凸性使得凸分析中的有力工具在最優化問題中得以應用

凸優化是機器學習中常常會說起的一個概念，這是一類特殊的優化問題，它的優化變量的可行域是凸集，目標函數是凸函數。凸優化最好的性質是它的全部局部最優解就是全局最優解，所以求解時不會陷入局部最優解。若是一個問題被證實爲是凸優化問題，基本上已經宣告此問題獲得瞭解決。在機器學習中，線性迴歸、嶺迴歸、支持向量機、logistic迴歸等不少算法求解的都是凸優化問題。