實現屬於自己的TensorFlow(二) - 梯度計算與反向傳播

前言 上一篇中介紹了計算圖以及前向傳播的實現，本文中將主要介紹對於模型優化非常重要的反向傳播算法以及反向傳播算法中梯度計算的實現。因爲在計算梯度的時候需要涉及到矩陣梯度的計算，本文針對幾種常用操作的梯度計算和實現進行了較爲詳細的介紹。如有錯誤歡迎指出。 首先先簡單總結一下, 實現反向傳播過程主要就是完成兩個任務: 實現不同操作輸出對輸入的梯度計算 實現根據鏈式法則計算損失函數對不同節點的梯度計算

>>阅读原文<<