cs231n_ optimizer

     從上一張的loss function過渡都這一張的optimizer，我們深度學習的訓練過程其實就是一個優化的過程，優化的過程我覺得就想是一個盲人下山的問題，盲人想通過最快的速度到達山底，就相當於我們找函數最小值，山底代表我們的loss function的最小值，盲人採用的小碎步往下走，可是他該往哪個方向走最快呢？是的，他可以憑藉他身體的感受，在他的周圍，用腳去感受，哪個方向最抖，即斜率

>>阅读原文<<