003-神經網絡基礎-最優化，前向傳播，反向傳播

  最優化： 包括前向傳播和反向傳播   前向傳播：   由w和x到損失函數loss的過程叫做前向傳播   反向傳播： 根據梯度下降的概念，找到最優的w的過程叫做反向傳播。 做一件什麼事情呢？ 根據前向傳播的w得到的loss，將loss反饋給上一次前向傳播的w進行比較兩次的w，看看哪個w使得loss小，那麼就用小loss的w。 然後就一直去更新w。就叫做反向傳播。 也就相當於迴歸算法中的參數更新，

>>阅读原文<<