2020李宏毅學習筆記——5.Optimization for Deep Learning

一:概述 當你想訓練好一個神經網絡時,你需要做好三件事情:一個合適的網絡結構,一個合適的訓練算法,一個合適的訓練技巧: 合適的網絡結構:包括網絡結構和激活函數,你可以選擇更深的卷積網絡,然後引入殘差連接。可以選擇relu做爲激活函數,也可以選擇tanh,swish等。 合適的訓練算法:通常採用SGD,也可以引入動量和自適應學習速率,也許可以取得更好的效果。  合適的訓練技巧:合理的初始化,對於較深
相關文章
相關標籤/搜索