反向傳播與神經網絡初步

反向傳播分爲正向和反向兩部分。正向計算損失函數，然後反向計算出每一部分的梯度（鏈式求導法則）。 鏈式求導法則是反向傳播算法的理論基礎。 雅可比矩陣是一個二維矩陣 雅可比仍然是特定大小的矩陣，但是卻只是在對角線上有值。   神經網絡初步： 其中所經過的MAX函數代表的是nolinearity or action function(激活方程)，激活方程的種類有很多種。 每一個單個的神經元都可以看作是一

>>阅读原文<<