深度學習/機器學習入門基礎數學知識整理（二）：梯度與導數，矩陣求導，泰勒展開等

導數與梯度

導數：一個一元函數函數在某一點的導數描述了這個函數在這一點附近的變化率。

f′(a)=limh→0f(a+h)−f(a)h

梯度:多元函數的導數就是梯度。

• 一階導數，即梯度（gradient）：

∇f(X)=∂f(X)∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂f(X)∂x1∂f(X)∂x2⋮∂f(X)∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

• 二階導數，Hessian矩陣：
  
  H(x)=∇2f(X)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂2f(X)∂x12∂2f(X)∂x2∂x1⋮∂2f(X)∂xn∂x1∂2f(X)∂x1∂x2∂2f(X)∂x22⋮∂2f(X)∂xn∂x2⋯⋯⋱⋯∂2f(X)∂x1∂xn∂2f(X)∂x2∂xn⋮∂2f(X)∂xn2⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

一階導數和二階導數經常記爲 f′(x)和f′′(x)

泰勒展開：一元函數的泰勒展開：

f(⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥

一階導數和二階導數經常記爲 f′(x)和f′′(x)

泰勒展開：一元函數的泰勒展開：

f(xk+δ)≈f(xk)+f′(x⎥⎥⎥

一階導數和二階導數經常記爲 f′(x)和f′′(x)

泰勒展開：一元函數的泰勒展開：

f(xk+δ)≈f(xk)+f′(xk

一階導數和二階導數經常記爲