谷歌重磅:可以優化自己的優化器!手動調參或將成爲歷史!?

文 | 小軼 編 | 夕小瑤 背景 Google Brain團隊發佈的一篇最新論文在外網引發熱議,或將成爲Deep Learning發展歷程上里程碑式的工作。它所討論的,是所有AI行業者都要面對的——Deep Learning中的優化問題。也就是,如何更好地訓練一個模型。 深度模型的訓練過程是非常困難的,常見的挑戰包括:陷入局部極小值、梯度消失/爆炸、長期依賴(long dependency)等等
相關文章
相關標籤/搜索