自適應學習速率?

前言 在監督學習中，我們都或多或少的意識到學習速率 η 是一個對模型相當重要的參數。 η 太大收斂快，但是也可能導致算法在最優值附近徘徊而無法收斂。 η 太小，參數更新及其緩慢，收斂也相應的十分緩慢。更重要的是，學習速率「太大」和「太小」完全是由經驗判斷的。在某些模型下 η 取 10−5 就算小了，但是在其他模型下 η 取這個值可能就很大。 那麼有木有方法，能夠讓學習速率也可以自適應的調整？ 我們

>>阅读原文<<