cs231n訓練營學習筆記(7)

反向傳播 計算複雜函數的解析梯度,(每個變量的導數指明瞭整個表達式對於該變量的值的敏感程度) 利用計算圖這個框架 圓形節點表示運算,也被叫做門(gate) 複雜函數梯度根據鏈式法則反向遞歸得到,每個圓形節點可得到局部梯度 下面是一個例子,爲了方便理解   更復雜的情況是,各個變量,比如上面局部梯度的x,y,z是向量的時候,局部梯度就變成了雅可比矩陣 但是當維數太大以及一次需要同時處理很多輸入的時候
相關文章
相關標籤/搜索