深度學習500問閱讀筆記——爲什麼歸一化能提高求解最優解速度?

這是深度學習500問系列筆記之一，幫助我深入記憶知識，如有不足，隨時歡迎交流和探討。 9.爲什麼歸一化能提高求解最優解速度？ 如下圖所示，兩張圖代表數據是否均一化的最優解尋解過程（圓圈可以理解爲等高線）。左圖表示未經歸一化操作的尋解過程，右圖表示經過歸一化後的尋解過程。 當使用梯度下降法尋求最優解時，很有可能走「之字形」路線（垂直等高線走），從而導致需要迭代很多次才能收斂；而右圖對兩個原始特徵進行

>>阅读原文<<