優化在深度學習中的挑戰

參考：https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter07_optimization/7.1_optimization-intro 優化在深度學習中有很多挑戰。下面描述了其中的兩個挑戰，即局部最小值和鞍點。 1. 局部最小值 深度學習模型的目標函數可能有若干局部最優值。當一個優化問題的數值解在局部最優解附近時，由於目標函數有關解的梯度接近或變

>>阅读原文<<