李宏毅深度學習筆記2-2Backpropagation

1、背景 梯度下降 對於參數θ (weight and bias)先選擇一個初始的 θ 0 \theta^0 θ0，計算 θ 0 \theta^0 θ0的損失函數（Loss Function）設一個參數的偏微分計算完這個向量（vector）偏微分，然後就可以去更新θ。 而對於百萬級別的參數（millions of parameters）：反向傳播（Backpropagation）是一個比較有效率的

>>阅读原文<<