各類 機器學習方法 / 學習範式 彙總

各類機器學習方法（學習範式）彙總

強化學習

入門資料

《深刻淺出強化學習原理入門》. 郭憲等編著. 電子工業出版社

An Introduction to Reinforcement Learning, Sutton and Barto, 1998

Algorithms for Reinforcement Learning, Szepesvari, 2009

特色

1. 沒有監督數據、只有獎勵信號
2. 獎勵信號不必定是實時的，而極可能是延後的，有時甚至延後不少
3. 時間（序列）是一個重要因素
4. 當前的行爲影響後續接收到的數據

對偶學習

微軟亞洲研究院秦濤博士等人在向 NIPS 2016 提交的論文中提出了一種全新的機器學習範式——對偶學習。

入門資料

微軟亞洲研究院秦濤：對偶學習的對稱之美 | 硬創公開課總結. https://zhuanlan.zhihu.com/p/27513847

對偶學習：一種新的機器學習範式，數據標註成本從2000萬美圓降到200萬. 新智源. http://www.sohu.com/a/121198568_473283

Di He, Yingce Xia, Tao Qin, Liwei Wang, Nenghai Yu, Tie-Yan Liu, and Wei-Ying Ma, Dual Learning for Machine Translation, NIPS 2016. （https://papers.nips.cc/paper/6469-dual-learning-for-machine-translation ）

夏應策.對偶學習的理論和實驗研究[D].中國科學技術大學,2018

解決的問題

下降對大規模標註數據的依賴性

深度學習的巨大成功得益於大規模的帶標籤的數據。可是存在兩個侷限性：1，人工標註獲取標籤的代價很高；2，在不少任務中沒辦法收集到大規模的標註數據，例如在醫療或小語種間的相互翻譯。

核心思路

對偶學習解決的是實際應用中訓練數據不足的問題。

不少人工智能的應用涉及兩個互爲對偶的任務，例如機器翻譯中從中文到英文翻譯和從英文到中文的翻譯互爲對偶、語音處理中語音識別和語音合成互爲對偶、圖像理解中基於圖像生成文本和基於文本生成圖像互爲對偶、問答系統中回答問題和生成問題互爲對偶，以及在搜索引擎中給檢索詞查找相關的網頁和給網頁生成關鍵詞互爲對偶。這些互爲對偶的人工智能任務能夠造成一個閉環，使從沒有標註的數據中進行學習成爲可能。

對偶學習之因此有效，是由於兩個對偶任務背後有着很是強的機率聯繫。

對機器學習領域產生的影響

第一， 不少深度學習的研究人員認爲人工智能和深度學習的下一個突破是從未標註的數據進行學習。

第二， 強化學習在複雜的實際應用中的成功仍是比較有限。而對偶學習提供了一種爲強化學習獲取獎勵信息的方式，並證明了強化學習在複雜應用（如翻譯）中成功的可能。

博弈學習 Game-Theoretic Learning

https://www.zhihu.com/question/300967426/answer/638195353

《劉鐵巖：博弈機器學習是什麼？》. 微軟研究院AI頭條. 微信公衆平臺

遷移學習

入門資料

王晉東. 《遷移學習簡明手冊》. 2018

Pan S J , Yang Q . A Survey on Transfer Learning[J]. IEEE Transactions on Knowledge & Data Engineering, 2010, 22(10):1345-1359.

權威學者

香港科技大學 楊強教授

解決的問題

1. 有標註的數據不足
2. 計算能力不足
3. 個性化需求：進一步提升模型的泛化能力
4. 特定應用的需求，好比，推薦系統的冷啓動問題

聯合學習

入門資料

《Google研究 | 聯合學習：無需集中存儲訓練數據的協同機器學習》. 微信公衆號：谷歌開發者

解決的問題

標準的機器學習方法須要將訓練數據集中到一臺機器上或一個數據中心內。爲了處理此數據，改善服務，須要構建一套安全、強大的雲基礎架構。

經過聯合學習，移動電話能夠協同窗習共享的預測模型，同時將全部訓練數據保留在設備上，從而無需將數據存儲在雲中，便可進行機器學習。同時，經過將模型訓練引入到設備上，超越了以往使用本地模型預測移動設備的模式。

工做原理

您的設備下載當前模型，經過學習手機中的數據改進模型，而後以小幅更新的形式彙總所作的變動。經過加密通訊僅將此模型的更新發送至雲，在雲中，當即與其餘用戶更新進行平均，以改進共享模型。全部訓練數據仍保留在您的設備上，雲中未存儲任何個別用戶的更新。

優點

創建更智能的模型，縮短延遲時間，減少功耗，同時確保隱私性。除了爲共享模型提供更新以外，還能夠即時使用手機中通過改進的模型，根據您使用手機的方式，提供個性化的體驗。

主動學習 Active Learning

在線學習 Online Learning

Online machine learning is a method of machine learning in which data becomes available in a sequential order and is used to update our best predictor for future data at each step, as opposed to batch learning techniques which generate the best predictor by learning on the entire training data set at once. [wikipedia]

Multi-view Learning

Meta Learning

Multi-label Learning

Multi-output Regression

競合學習 Coopetitive Learning

https://www.zhihu.com/question/300967426/answer/638195353

解決的問題

把一個複雜的優化問題轉化爲局部優化，每一個局部問題用一個智能體來解決，並經過局部智能體之間的約束，保證局部優化和全局優化之間有很是強的聯繫。

輕量學習 Lightweight Learning

https://www.zhihu.com/question/300967426/answer/638195353

有時候巧妙的算法比算力更重要，不須要那麼多的計算資源也能夠解決很大規模的問題。

分佈式學習 Distributed Learning

https://www.zhihu.com/question/300967426/answer/638195353

《分佈式機器學習：算法、理論與實踐》

成百上千臺機器共同處理一個計算任務時，不能保證每臺機器運算速度一致，這時同步通訊就好似有短板的水桶，最後整個系統被短板拖垮。近年的熱點是異步通訊，但異步通訊會受到延遲的困擾。當一個很慢的機器把它的陳舊的模型更新同步到全局服務器上時，可能毀掉那個被其它快機器更新了不少次的新模型。