反向傳播和其他微分算法

當我們使用前饋神經網絡接收輸入，併產生輸出時，信息通過網絡前向流動。輸入x並提供初始信息，然後傳播到每一層的隱藏單元，最終產生輸出。這稱之爲前向傳播。在訓練過程中，前向傳播可以持續前向直到它產生一個標量代價函數。反向傳播算法，經常簡稱爲backprop，允許來自代價函數的信息通過網絡向後流動，以便計算梯度。 計算梯度的解析表達式是很直觀的，但是數值化地求解這樣的表達式在計算上的代價可能很大。反向傳

>>阅读原文<<