使用matlab的fminunc函數自動設置學習率α

個人博客文章鏈接： http://www.huqj.top/article?id=164 應用梯度下降法中最爲關鍵的一個步驟就是學習率α的選擇，根據梯度下降的數學原理可知：如果學習率過大，可能導致梯度下降發無法收斂甚至發散，而學習率過小又會導致迭代次數過多，影響學習效率。所以通常我們會選擇各種學習率測試，最終選擇一個比較合適的值作爲最終學習率。     但是在一些高級的參數調優算法中，不需要我們手

>>阅读原文<<