導數、方向導數與梯度

導數，方向導數，切線、梯度是從高中就開始接觸的概念，然而對這幾個概念的認識不清，困惑了我很長時間，下面我將以圖文並茂的形式，對這幾個概念作詳細的解釋。

1， 導數

定義：設函數y=f(x)在點x0的某個鄰域內有定義，當自變量x在x0處有增量Δx，(x0+Δx)也在該鄰域內時，相應地函數取得增量Δy=f(x0+Δx)-f(x0)；若是當Δx→0時， Δy與Δx之比極限存在，則稱函數y=f(x)在點x0處可導，並稱這個極限爲函數y=f(x)在點x0處的導數，記做：

                 

下面以一元二次函數做爲例子：

      

A是曲線方程 y = f(x)上的點，l是通過A的切線， ∠HAB的正切值表明了切線的斜率， △x -> 0的過程當中，點C不斷逼向點H，最終二者重合。

 

簡單起見，令 θ = ∠HAB，當 △x 取極限時，曲線上某點的導數 = 過該點切線的斜率。須要澄清的一個概念是： 雖然導數有正有負，它仍然是一個標量。

 2，方向導數

從一元擴展到多元方程時，狀況就變得有點複雜了。首先，多元函數表明的函數圖像再也不是一條曲線，而是一個曲面（超曲面），經過曲面上的某一點，能夠做無數條切線（這裏我只討論可導的狀況），這就引出了方向導數的概念，仍是先看數學定義：

定義：設函數 z = f(x, y)在點 p(x, y) 的某一鄰域 U(p) 內有定義，自點 p 引射線 l， 設 x 軸到射線的轉角位 φ， 並設 p'(x + △x, y + △y) 爲 l 上的另外一點且 p' ∈U(p)，咱們考慮函數的增量 f(x + △x, y + △y) - f(x, y) 與 p、p'兩點距離 ρ = sqrt( (△x)² + (△y)² )的比值， 當 p' 沿 l 趨向 p 時， 若是這個比的極限存在，則成這個極限爲函數 f(x, y) 在點 p 沿方向 l 的方向導數，即：

 

這個定義是我從其餘的地方抄的，看不懂 ？ 不要緊，如今咱們分步講解。

 

上圖展現瞭如何求一個二元函數的方向導數，整個過程可分兩步來理解：

2.1 方向性

方向導數，顧名思意，是某個方向上的導數，須要從方向性與導數性兩方面來考慮。方向性比較容易理解：點A（不必定是原點）是 f(x, y) 上的點， 從點A出發，作一條射線 l， 射線 l 指向的方向就是咱們須要研究的對象， 很明顯，射線 l 平行於 xoy平面 或 l 在 xoy平面上。

2.2 導數性

沿射線 l 做 一個垂直於 xoy 的平面，該平面與二元函數的圖像相交，造成一條空間上的曲線（圖中標黃色的部分），若是這條曲線以射線 l 的方向做爲橫軸，Z方向做爲縱軸，則能夠理解爲一個以 Z-A-L 爲座標系的一元函數曲線，利用一元函數的性質，能夠很容易求出該曲線在 A 點的導數，爲了表達清晰，我將A、B、C三點平移到 A'、B'、C'，∠B'A'C'的正切值就是A點的導數值，這個導數就是咱們所說的方向導數。

須要注意的是，方向導數雖然有方向這個帽子，但它任然是標量。

3，偏導數

 若是選定方向平行於X軸，則改該方向導數稱爲 f(x,y) 對 x 的偏導數，若是選定方向平行於Y軸，則改方向導數稱爲 f(x,y) 對 y 的偏導數，記爲：

 

偏導數是方向導數的特殊狀況。

4， 全導數

前面討論的方向導數、偏導數都是多元函數裏面的概念，全導數則是複合函數裏面的概念，這是須要咱們仔細區分的，例如：

設u=u(x)、v=v(x)在x可導，z = f(u,v) 在相應點 (u,v) 有連續偏導數，則複合函數 z=f(u(x), v(x)) 在x可導，且有：　　

稱 ∂z/∂x 爲函數 z = f(u, v) 相對變量 x 的全導數， 而 z 相對於自變量 u、v來講是二元函數， 不存在全導數之說。

5， 全微分

定義： 若是函數 z = f(x, y) 在定義域 D 內的點 (x, y) 處的全增量 △z = f(x + △x, y + △y)， 可表示成

其中：

其中，A、B不依賴於 △x， △y，僅與 x， y 有關，o(ρ)是關於ρ的高階無窮小， 則稱 f(x,  y)在點 (x,  y)處可微，A△x + B△y 稱爲函數 f(x,  y)在點 (x,  y)的全微分，記作：

在講解全微分以前，須要對導數與微分他們微妙的差異作一下區分！

咱們在討論導數時，老是會先肯定一個自變量和一個因變量，而後把變化量取極限時的比例定義爲導數（好比方向向量中的 ∂f 與 ∂l），對應的物理意義就是切線的斜率

微分研究的對象則是：在函數的某個鄰域D內，當變化量取極限時，因變量的變化 (△z) 是否能夠用一個自變量的變化（△x，△y）的線性方程來表示，注意這個鄰域是一個空間的概念，這是區分可導與可微的關鍵。

可導 --> 可微 (不成立)

可微 --> 可導 (成立)

上面是一幅微分逼近的示意圖，前面咱們在討論方向導數時，明確規定 △x， △y 是沿着直線 l 對函數 f 進行逼近，而全微分研究的範圍是某個鄰域D，也就是說 l 是一條曲線，△x， △y沿着任意曲線對函數 f 進行逼近也是能夠的，能夠看到可微對函數的質量（光滑度）要求高的多（可導只能保證線性方向是線性光滑的，可微表示鄰域內的任意位置都是線性性光滑的）。

6， 方向導數與偏導數

給定一個二元函數，咱們如何求其方向導數。從定義上將，咱們須要做出這條表明方向的射線，看其在函數上的投影曲線，做出投影曲線的切線，再量出切線與 xoy平面的夾角，求其正切值獲得方向導數，但實際應用中，咱們幾乎無法做出投影曲線，更不可能量出切線的夾角，如何求方向導數？

高等數學給了咱們一個簡便的工具用來計算方向導數，可是使用這個工具前對咱們的函數有一個小小的要求，那就是要求函數在該點可微（幸虧咱們實際應用中的大部分問題都知足這一條件）！

根據全微分的定義有：

兩邊同時除以 ρ：

左邊就是方向導數的定義

再來看右邊，由於 o(ρ) 是 ρ 的高階無窮小，在作除法時能夠忽略不計，根據勾股定理（看前面關於全微分的定義）△x、△y，ρ是構成了直角三角形的三條邊，令:

化簡以後就可變成了咱們方向導數的計算表達式：

這裏之因此都使用餘弦表示是爲了方便向更高維擴展，並且向高維擴展時，知足關係式：

7，梯度

 定義： 設函數 z = f(x, y) 在平面區域D可微分（很多參考資料將這裏描述爲具備一階連續偏導數，我的認爲此條件過於寬泛，實際上後面的推導都是基於全微分的前提下進行的），則對於每一點(x, y) ∈ D，均可定出一個向量：

稱這個向量爲函數 z = f(x, y)的梯度， 記做：

上面以二元函數爲例進行定義，擴展到高維你們自行想象。

注意，梯度是不一樣於咱們前面所述的任何一個概念，它是一個矢量，即有大小，又有方向。

梯度向量處於 xoy 平面， 向量[∂f/∂x, ∂f/∂y] 決定了了梯度的方向，能夠把梯度的角色理解成前面所說的直線 l （方向導數中表明方向的射線），實際上它就是一個特殊的 l：

沿着梯度方向的方向導數最大，而且方向導數最大值爲梯度的長度。

這是一條很重要的性質，下面就來對其證實：

根據方向導數的計算表達式（以可微爲前提）：

u是梯度向量，v是方向 l 所表明的單位向量，||v||的結果爲1， 函數 f 與點 P 肯定以後，||u||的值也惟一肯定，如今只能經過改變 u 和 θ 來該表方向導數的大小

從定義式能夠看出， θ  = 0 時，方向導數達到最大，最大的方向導數：

8， 梯度與等高線

在實際的工程應用中，常常會用等高線描述通常的數學問題分析，好比說梯度降低法，SVM算法中的KKT條件，神經網絡中的BP算法等等。

以二元函數 $ z = f(x, y) =\sqrt{1 - x^2 - y^2} $爲例進行說明：

 

上圖是函數在三維空間下的側視圖，A是函數圖像上的點，AC是過該點的切線，ABC正好組成了直角三角形。

$ \vec{AB} = \frac{∂z}{∂x} + \frac{∂z}{∂y} $

則根據定義，$ \vec{AB} $ 對應函數在 A 點的梯度，沿着梯度方向，函數增加率達到最大，注意，梯度是水平方向的$ \vec{AB} $ ，不是$ \vec{AC} $ ！

而後咱們俯視函數圖像，用二維的透視圖表明三維的函數圖像，並將函數值相等的點用曲線鏈接在一塊兒，就造成了以下形式的等高線圖：

由於這裏二次方式是標準的半球面方程，因此畫出來的等高線是一圈一圈標準的圓，中心原點取得函數最大值，梯度向量AB映射以後與等高線相交，能夠證實：

梯度方向與等高線切線方向垂直。

如下是證實過程：

任意等高線能夠看作是如下函數聯合而成：

$\begin{equation}
\left\{
\begin{array}{lr}
z = f(x, y), & \\
z = c &
\end{array}
\right.
\end{equation}$

稱 $ z = f(x, y) = c $ 爲等高線方程，它對應着 xoy 平面的一條曲線， $ \frac{dy}{dx} $ 爲對應切線的斜率，根據性質：

$ -\frac{1}{\frac{dy}{dx}} = -\frac{\frac{1}{dy}}{\frac{1}{dx}}  = -\frac{\frac{df}{dy}}{\frac{df}{dx}} = -\frac{f_{y}}{f_{x}} $  爲其法線的斜率。

又根據梯度的定義：

梯度方向的直接方程的斜率爲：

$ \frac{\frac{∂f}{∂y}}{\frac{∂f}{∂x}} = \frac{f_{y}}{f_{x}} $

從同一點A出發，能夠作出法線與梯度方向的直線，二者斜率僅相差一個負號，因此梯度方向與過該點的等高線的切線垂直。

 --------------------------------------------------------------------------------------------------------------------------------------------------------------------------

                                                                                                                                                                                路漫漫其修遠兮，吾將上下而求索