邱錫鵬 神經網絡與深度學習課程【十一】——網絡優化與正則化3和注意力機制和外部記憶1

正則化 思考泛化性：重新思考模型複雜度和泛化之間的關係  所有損害優化的方法都是正則化  正則化方法：  δ1和δ2的正則化  提前停止：  權重衰減：  丟棄法：Dropout  Dropout意義：  循環神經網絡上的丟棄法：要丟都丟  數據增強：  標籤平滑：  總結： 注意力機制和外部記憶1 網絡能力  注意力機制： 例子：閱讀理解 傳統RNN會出問題 ：1.長程依賴問題2.模型容量問題

>>阅读原文<<