神經網絡與機器學習第3版學習筆記-第0章 導言

神經網絡與機器學習第3版學習筆記 

                           -初學者的筆記，記錄花時間思考的各類疑惑

    本文主要闡述該書在數學推導上一筆帶過的地方。參考學習，在流暢理解書本內容的同時，還能溫顧學過的數學知識，達到事半功倍的效果。

第0章 導言

一、第9頁

1.1 logistic函數在原點的傾斜率等於a/4？

     $\,\,\varphi \left( v \right) =\frac{1}{1+e^{-av}}\Rightarrow \,\,\varphi’\left( v \right) =\frac{ae^{-av}}{\left( 1+e^{-av} \right) ^2}\Rightarrow \varphi \left( 0 \right) =\frac{a}{4}$

     ※logistic函數 $f\left( x \right) =\frac{1}{1+e^{-x}}$ 相關知識補充。

     $\because \,\,f’\left( x \right) =\frac{e^{-x}}{\left( 1+e^{-x} \right) ^2}$

     $\therefore \,\,f’\left( x \right) =f\left( x \right) \cdot \left( 1-f\left( x \right) \right) $

1.2 signum函數  $sgn \left( x \right) =\frac{x}{\left| x \right|}$

    中文名：正負號函數，又稱爲符號函數。

    ※與絕對值函數 $f\left( x \right) =\left| x \right|$ 的關係：$sgn \left( x \right) =f’\left( x \right) $。

二、第11頁

2.1 二項式 $\left( 1-wz^{-l} \right) ^{-l}$ 展開結果爲 $\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}w^l}z^{-l}$ ？

    $\because $廣義二項式定理：$\left( x+y \right) ^{\alpha}=\underset{k=0}{\overset{\infty}{\varSigma}}C_{\alpha}^{k}x^{\alpha -k}y^k$

    $\therefore \left( 1-x \right) ^{-n}=\frac{1}{\left( 1-x \right) ^n}=\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}C_{n}^{l}x^l}$

    $\therefore \left( 1-wz^{-1} \right) ^{-1}=\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}C_{1}^{l}\left( wz^{-1} \right) ^l}=\frac{1}{\underset{l=0}{\overset{\infty}{\varSigma}}w^l}z^{-l}$

三、第12頁

3.1 圖14中的輸出信號指的是第一次的輸入信號所產生的輸出，而不是該次的總輸出。