深度學習課堂筆記 5.21

深度學習課堂筆記 Alexnet 特點：採用了ReLU激活函數 1、計算簡單 2、反向傳播計算容易 3、不容易出現梯度發散問題 4、很多隱層輸出爲0，使得網絡稀疏 5、某些節點壞死，始終輸出爲0（因爲輸出爲0的節點沒法更新權重） 6、容易改變數據的分佈（可以使用BN來緩解） Dropout技術 有選擇地忽視某些神經元，起到稀疏的作用 最大池化技術（Maxpool） 避免平均池化的模糊效果 步長小於

>>阅读原文<<