動手學深度學習Task7

一、優化算法進階 二、word2vec 三、詞嵌入進階 一、優化算法進階 在 Section 11.4 中，我們提到，目標函數有關自變量的梯度代表了目標函數在自變量當前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根據自變量當前位置，沿着當前位置的梯度更新自變量。然而，如果自變量的迭代方向僅僅取決於自變量當前位置，這可能會帶來一些問題。

>>阅读原文<<