直播 | 曠視研究院最新理論成果:批歸一化和權重衰減的球面優化機制

一直以來,批歸一化(Batch Normalization,BN)和權重衰減(weight decay,WD)都以其出色穩定的表現成爲了當今各種深度學習模型的標準配置,但它們的理論機制卻僅有模糊的定性分析。爲此曠視研究院針對該問題進行了深度研究並取得重要成果,相關論文成果已經發布至 arXiv。 論文地址:https://arxiv.org/pdf/2006.08419.pdf 在本次直播分享中,
相關文章
相關標籤/搜索