關於MAML的那些事

多餘的元學習廢話也不多說,直接上乾貨: 算法: 關於學習率: 兩個學習率a、b,要知道,爲了一步優化探測task最優參數的位置(inner loop),我們必須使用稍微大點的學習率a,這叫一步到位。 而優化你真正模型參數的學習率應該是很小的(outer loop),因爲他必須在參數空間中經過漫長的迭代,慢慢找到最合適的位置。 關於損失函數:分類交叉熵,迴歸MSE 關於1階和2階的MAML: 首先,
相關文章
相關標籤/搜索