《動手學深度學習Pytorch版》Task7-優化算法進階；word2vec；詞嵌入進階

優化算法進階 ill-conditioned 海森矩陣(Hessian Matrix)是一個多元函數的二階偏導數構成的方陣，當海森矩陣的特徵值中 最大最小的比值很大時，就稱之爲ill-conditioned。梯度下降時，這種情況會使得不同參數收斂速度差異很大，不容易收斂。 下圖就是 f ( x ) = 0.1 x 1 2 + 2 x 2 2 f(x)=0.1x_1^2+2x_2^2 f(x)=0

>>阅读原文<<