【Meta-learning】入門

何爲meta learning

　　Meta learning的初衷是learning to learn，即學會學習。對比於依賴巨量訓練的加強學習，元學習可以充分利用知識快速指導新任務學習，是通用人工智能的關鍵。

　　元學習的主要挑戰是以系統的、數據驅動的方式從先前的經驗中學習。首先，須要收集描述先前學習任務和先前學習模型的元數據。元數據包括用於訓練模型的算法配置，超參數設置，機器學習的網絡架構，獲得的模型評估，學習的模型參數，以及任務自己的可測量屬性。其次，須要從這個先前的元數據中學習，提取和傳遞指導新任務的最佳模型知識。

Meta learning VS 傳統機器學習

　　傳統機器學習：根據資料找一個函數f

　　元學習：根據資料找一個函數F，F能夠幫助找到f。這裏的f包括了網絡架構、參數初始化、參數更新方式等。元學習的最終學習成果是在給定訓練資料的條件下，機器可以找到針對這筆資料的SGD最佳訓練流程。f是由包含儘可能多（步驟）和豐富組合方式的不一樣訓練流程組成的。

Why meta

　　"Meta" is a prefix meaning "referring to itself."

　　meta learning = learning of learning (學習怎麼去學，如今通常指自動地學習用哪一個模型擬合給定分佈的數據)

少樣本學習

　　充足的訓練樣本能讓判別器精準找到真假樣本的分界線，讓生成器精確擬合出精確的生成分佈，可是少樣本沒法準確擬合數據的分佈規律。

Meta learning 和 GANs

　　GANs學習的本質在於擬合數據的淺分佈，而數據淺分佈很大程度上取決於訓練數據所具備的樣本廣度和樣本質量，因此其訓練很容易受到訓練數據質量的影響。meta learning 能夠幫助GAN訓練中數據不匹配和數據缺少問題，由於meta learning可以探索數據集的規律再製定學習策略，從傳統的GAN訓練：設計模型→尋找數據→驗證模型，變爲：尋找數據→設計模型→驗證模型。從用數據去匹配模型變爲用模型去匹配數據，解決生成模型的少樣本學習問題。

Meta learning方案

　　Meta learning的訓練資料是Dtrain和f^*的組合，f是由包含儘可能多和豐富的組合方式的不一樣訓練流程來組成的,F能夠選擇各類不一樣的訓練流程f，最重要的是定義F的損失函數和下降F的損失。Taski在F下學到訓練算法fi，Taski在訓練算法fi下測試結果的損失值爲li，這裏能夠是分類損失，也能夠是降低速率的損失，取決於但願F學習到什麼樣的算法效果。最終F的損失函數是全部任務上的損失函數總和。

參考文獻：

⭕  李宏毅b站視頻

⭕  學習筆記