《AutoDiff理解》 之第一篇， 自動求導技術在深度學習中的應用

文章目錄 前言 什麼是自動求導 自動求導的實現方式 關於計算圖 Reference 前言 自動求導技術(AutoDiff) [1] 是在諸多領域有着廣泛應用的技術，特別是在深度學習中，其參數更新大多數依賴於梯度的傳遞，對於自動求導的使用就更加的頻繁了。本系列文章將會基於代碼[2]去介紹如何基於計算圖的方式去反向自動求導，並且通過value feed的方式去lazy run整個計算圖和反向梯度計算圖

>>阅读原文<<