7.1 優化器的定義、基本屬性和基本方法

      上節課講了損失函數，損失函數是衡量模型的輸出與真實標籤之間的差異。有了這個差異之後，怎麼使用這個loss更新模型中的參數，使得我們的loss逐步降低呢？這就是優化器的工作。     1. 什麼是優化器   更新的策略，通常採用梯度下降。   導數： 方向導數： 梯度：       2. optimizer的基本屬性（4個）   defaults:優化器的超參數，主要存儲一些學習率、mo

>>阅读原文<<