BP learning算法簡單推導

從後向前逐層更新網絡的參數集合。 求解優化問題： 其中： BP的改進：可以通過改進連接方式、改進訓練樣本、改進損失函數、改進學習速率進行優化。 改進連接方式：稀疏局部連接策略和權重共享策略。 改進訓練樣本：規範化訓練樣本、適當擾動訓練樣本。 改進損失函數：改進前饋網絡整體損失函數 改進學習速率：增加動量項和陡度因子和可變學習速率的策略。 算法缺點： 1 訓練過程中容易過擬合，不可避免地存在局部最小

>>阅读原文<<