CS231n 學習筆記（五）

時間：2019/3/27 內容：優化 課時8：優化 注意： x可能是整個向量 梯度是偏導數組成的向量，它和x的形狀一樣，它指向函數增長最快的方向；負梯度指向函數下降最快的方向 任意方向的斜率等於這一點上梯度和該點單位方向向量的點積 在計算機上計算梯度的一個簡單方法是有限差分法 迭代計算所有W維度，一直重複下去直到計算完dW。這種方法是數值梯度法，過程非常慢。實際上，我們會使用另一種分析梯度法，提前

>>阅读原文<<