【深度學習筆記】優化算法（ Optimization Algorithm）

本文依舊是吳恩達《深度學習工程師》課程的筆記整理與拓展。 一、優化算法的目的與挑戰     優化算法主要是用來加快神經網絡的訓練速度，使得目標函數快速收斂。     優化問題面臨的挑戰有病態解、鞍點、梯度爆炸與梯度消失……具體可見參考文獻【1】241頁到249頁。     其中深度學習不太可能陷入局部最優，因爲loss函數通常涉及多個維度(w1,w2...) 二、常見的優化算法 1、基本算法 小批

>>阅读原文<<