pytorch學習筆記（七）——激活函數

pytorch學習筆記（七）——激活函數 目錄 激活函數的由來 sigmoid激活函數 tanh激活函數 ReLU激活函數 目錄 激活函數的由來 1959年，生物科學家研究青蛙神經元的時候發現，青蛙的神經元有多個輸入，神經元中間有一個多輸入加權後的相應，當該響應小於閾值時沒有輸出，當該響應大於閾值是會有一個固定的輸出。當時的計算機科學家借鑑於此發明了一個計算機模型，如下圖： 假設z爲輸入經過加權後

>>阅读原文<<