深度學習基礎系列（四）| 理解softmax函數

　　深度學習最終目的表現爲解決分類或迴歸問題。在現實應用中，輸出層咱們大多采用softmax或sigmoid函數來輸出分類機率值，其中二元分類能夠應用sigmoid函數。

　　而在多元分類的問題中，咱們默認採用softmax函數，具體表現爲將多個神經元的輸出，映射到0 ~ 1的區間中，按機率高低進行分類，各機率之和爲1。

　　某分類的機率數學表達式爲：y_i = eⁱ / ∑_j=1e^j  

　　具體來講，假設有四個輸出單元，分別爲：

• 　　y₁ = e^x1 / (e^x1 + e^x2 + e^x3 + e^x4 )，假設其機率爲0.4
• 　　y₂ = e^x2/ (e^x1 + e^x2 + e^x3 + e^x4 )，假設其機率爲0.15
• 　　y₃ = e^x3/ (e^x1 + e^x2 + e^x3 + e^x4 )，假設其機率爲0.15
• 　　y₄= e^x4/ (e^x1 + e^x2 + e^x3 + e^x4 )， 假設其機率爲0.3

　　能夠看出 y₁ + y₂ + y₃ + y₄ = 1。而且其中某神經元的輸出若增長，則其餘神經元的輸出則減小，反之也成立。

　　最後再看看softmax函數如何求導，令y = e^xi / ∑e^xk ，分兩種狀況：

　　1. i爲softmax值，咱們對e^xi 求導，

　　    與此相關的基礎求導公式：(u/v)^' = (u^' v - uv^') / v² 和  (e^x)^' = e^x ，並應用鏈式法則可得求導過程：

　　　dy/de^xi = ( e^xi / ∑e^xk)^' 

　　　　　　 =  (e^xi * ∑e^xk  - e^xi * e^xi ) / (∑e^xk)² 

　　　　　　 =  e^xi / ∑e^xk   -  (e^xi / ∑e^xk ) * (e^xi / ∑e^xk )

　　　　　　 = y_xi - y_xi²

　　2. i不爲softmax值，咱們依然對e^xi 求導，其過程爲：

　　　dy/de^xi =  ( e^xj / ∑e^xk)^'     注：i ≠ j

　　　　　　 = (0 * ∑e^xk - e^xj * e^xi) / (∑e^xk)² 

　　　　　　 = -1 * (e^xi / ∑e^xk ) * (e^xj / ∑e^xk)

　　　　　　 = - y_xi * y_xj