CS231n學習筆記——反向傳播

CS231n學習筆記——反向傳播 首先引入計算圖的概念 計算圖就是用來 表示任意函數的圖，圖中的節點表示要執行的每一步計算， 圖中R（W）是正則項。 一旦能用計算圖來表示一個函數，那麼就能使用所謂的反向傳播技術遞歸地調用鏈式法則來計算計算圖中每個變量的梯度。 可見，反向傳播就是沿着計算圖從輸出端開始，對總結果的loss一路求導或者求偏導回到輸入的變量，這樣求出來的數值組合在一起就是這一次的梯度，對

>>阅读原文<<