李宏毅機器學習筆記（3）—Gradient Descent

Gradient Descent 的技巧 下圖是對偏微分的書寫形式的補充說明，可以用倒三角來表示偏微分組成的向量，也就是梯度。所以下圖左側的式子可以寫成下圖右側的式子。這種使用某一字符代表向量的寫法可以大大簡化書寫，倒三角表示偏微分向量也能夠簡化書寫。 Tip 1: Tuning your learning rates 第一個技巧也就是改變 learning rates 的速率。可以預見的是過小的

>>阅读原文<<