AI從業者需要應用的10種深度學習方法(下)

6-批量歸一化 當然,包括深度網絡在內的神經網絡需要仔細調整權重初始化和學習參數。批量歸一化有助於讓中國過程更簡單一點。 權重問題: ·       無論那種權重的初始化,隨機還是憑經驗選擇,它們都和學習權重差別很大。考慮一個小批量數據集,在最初的時期,在特徵激活時都會有許多異常值。 ·       深度神經網絡本身脆弱的,即初始層的微小擾動都會導致後面層很大的變化。 在反向傳播期間,這些現象會導
相關文章
相關標籤/搜索