6.1激活函數-數據預處理筆記

文章目錄 處理過程 激活函數 sigmoid函數 問題1 首先是飽和神經元將使梯度消失 問題2 sigmoid是非0中心函數 問題3 exp（）是一個計算成本高的函數 tanh激活函數 ReLU激活函數 ReLU改進 leaky relu 實踐 數據預處理 初始化網絡權重 處理過程 處理過程包括 激活函數 數據預處理 權重初始化 批量歸一化 訓練過程監控 超參的優化 激活函數 當輸入數據，在全連接

>>阅读原文<<