邱錫鵬 神經網絡與深度學習課程【十一】——網絡優化與正則化3和注意力機制和外部記憶1

正則化 思考泛化性:重新思考模型複雜度和泛化之間的關係  所有損害優化的方法都是正則化  正則化方法:  δ1和δ2的正則化  提前停止:  權重衰減:  丟棄法:Dropout  Dropout意義:  循環神經網絡上的丟棄法:要丟都丟  數據增強:  標籤平滑:  總結: 注意力機制和外部記憶1 網絡能力  注意力機制: 例子:閱讀理解 傳統RNN會出問題 :1.長程依賴問題2.模型容量問題
相關文章
相關標籤/搜索