終身機器學習：一種可持續學習的範式

前言：

最近發現了一篇頗有意思的論文，有關集成學習中的可持續性的研究，這裏翻譯了一下，供瞭解和學習使用

劉兵：美國芝加哥大學的計算機科學教授。他的研究包括情緒分析和意見挖掘、終身機器學習、數據挖掘、機器學習和天然語言處理。他目前擔任ACM SIGKDD的主席，ACM Fellow, AAAI Fellow, and IEEE Fellow。

下面是正文內容：

引言：

　　機器學習(ML)對數據分析和人工智能(AI)的廣告都有幫助。最近，深度學習的成功使它達到了一個新的高度。在工業、科學和工程領域，幾乎全部的應用程序都成功地使用了ML算法。

　　目前對ML的主流範例是在給定的數據集上運行一個ML算法來生成一個模型。該模型隨後應用於現實生活中的任務中。咱們把這種範式稱爲孤立學習，由於它不考慮任何其餘相關的信息或過去的知識。這種孤立學習的根本問題在於它沒有記憶。它不保留過去的知識，並利用它來幫助將來的學習。所以，須要大量的訓練樣本纔能有效地學習。對於監督學習，訓練數據標籤一般是手工完成的，這是很是耗費人力和時間的。因爲世界上有太多可能的任務，所以幾乎不可能爲每一個任務標記大量的示例，以便進行一個ML算法來學習。更糟的是，每件事都在不斷變化，所以標籤須要不斷地進行，這是一項艱鉅的任務。當前的孤立學習模式可能不適合構建一個真正智能的系統，但只適合在很是狹窄的領域中解決問題。

　　咱們人相似乎學到了不少不一樣的東西。咱們從不孤立地學習。相反，咱們老是保留並積累過去學到的知識，並在將來的學習中無縫地使用它。隨着時間的推移，咱們學習得愈來愈多，知識愈來愈淵博，學習愈來愈有效。終生機器學習(簡稱LML)(簡稱終生學習)旨在模仿人類學習過程和能力。這種類型的學習是很天然的，由於咱們周圍的事物都是緊密相關的和相互關聯的。過去的概念和它們之間的關係能夠幫助咱們更好地理解一個新的主題，由於不少事情在不一樣的領域和任務中都是共享的。例如，咱們人類不須要1000個正面評價和1000個負面評論，由於一個ML算法須要創建一個精確的分類來識別關於電影的負面評論和負面評論。事實上，對於這個任務，若是沒有單獨的訓練回顧，咱們就能夠執行分類任務了。怎麼能這樣呢?緣由很簡單。這是由於咱們在過去已經積累了不少關於人們如何讚賞和批評事物的知識，儘管這些讚賞和批評可能都是在線評論的形式。事實上，若是沒有過去的知識，人類可能很難在2000年的積極和消極的訓練評估中手動創建一個好的分類器。

終身機器學習的定義：

　　定義：終身機器學習(LML)是一個接二連三的學習過程，在這個過程當中，學習者已經完成了N個學習任務，T1，T2，..TN。當面對(N+1)的任務TN+1和它的數據DN+1時，學習者能夠利用其知識庫(知識庫)(內存)中的先驗知識來幫助學習TN+1。知識庫存儲並維護在過去學習N個任務時所學習和積累的知識。在學習了TN+1以後，知識庫更新了從TN+1中學習的(中間和最後的)結果。

　　陳等人[1]的這必定義代表，LML的關鍵特徵是 1)持續學習，2) 知識積累在知識庫(知識庫)中，3)利用知識庫中的知識來幫助將來的學習。這些特色使它有別於其餘相關的學習任務，如轉移學習[2]和多任務學習[3]。

　　遷移學習(TL)：使用一個源域來幫助一個目標獲取域學習。它假設源域S有大量的標記訓練數據，目標域T只有不多或沒有標記的訓練數據，但有大量未標記的數據。TL利用被標記的數據來幫助在目標域中學習。因爲幾個緣由，TL與LML不一樣。首先，TL不是連續的。它只使用源域來幫助目標域學習。其次，TL並無積累所學的知識。第三，TL是單向的，使用源來幫助目標。LML能夠在任何方向上進行。第四，TL假設源與目標很是類似。這種類似性是由人類用戶決定的。LML並無作出這樣一個強有力的假設。人類用戶一般不參與肯定任務的類似性。

　　多任務學習(MTL)：的目標是執行多個類似學習任務的聯合優化，這樣它們就能夠共享彼此的知識，從而得到更好的總體效果。然而，MTL仍然在傳統的範式中工做。在優化單個任務的過程當中，它會優化幾個任務。若是咱們把幾個任務看做一個更大的任務，它就會減小到傳統的優化，這在MTL的大多數優化公式中都是如此。隨着時間的推移，它不會積累任何知識，它也沒有持續學習的概念，這是LML的關鍵特性。儘管有人會說MTL能夠在添加新任務時聯合優化全部任務，可是在單個進程中同時優化全部任務是至關困難的，由於任務是很是不一樣的，並且是很是numer的。

終身機器學習的歷史：

　　LML的概念是在1995年由Thrun和Mitchell [4]提出的。從那時起，它就被研究了四個主要方向:

　　終身監督學習，Thrun [5] 開始學習終身概念學習，每個過去或新任務都是一個階級或概念。在基於記憶的學習和中立的網絡環境中，提出了幾種LML技術。在參考文獻[6]中，神經網絡方法獲得了改進。費等[7]將這種形式的LML擴展到累積學習，在遇到新類時，構建了一個新的多類分類器，能夠對全部的過去和新類進行分類。它還檢測測試中未見的類。這爲自我學習鋪平了道路，由於它可以探測到看不見的類，從而使它學習新的東西。Ruvolo和Eaton[8]提出一種有效的LML算法(ELLA)來改進一種多任務學習方法。陳等[1] 人在樸素貝葉斯分類的背景下提出了一種LML技術。對LML的理論研究是由Pentina和Pentina [9]所作的。

　　陳和劉[10]首先提出了終身無監督學習的終身學習模式。隨後，他們也報告了其餘幾個模型。所提出的技術能夠從許多過去的任務中學習知識，並利用這些知識幫助在新任務中生成更一致的主題。劉[11]等人提出了一種利用LML方法提取信息的方法，劉[12]提出了一種終生的圖形標記方法，將兩種類型的表達式分離開來。

　　終生的半監督學習在這個領域的工做是由永無止境的語言學習者(NELL)系統[13]所表明的。自從2010年1月以來，NELL一直在爲信息提取而不斷地閱讀網絡，而且已經擁有了數百萬的實體和關係。

　　終生強化學習Thrun和Mitchell [4]第一次學習終生強化學習(LRL)，用於機器人學習。Tanaka和Yamamura [14]提出了一種「LRL」方法，將每個環境視爲一項任務。Bou Ammar等[15]人提出了一種政策梯度有效的LRL算法。

總結：

　　雖然LML已經存在了20多年，但到目前爲止尚未進行大量的研究。一個緣由多是，過去20年裏的ML研究側重於統計和算法的方法。LML一般須要系統方法。然而，隨着統計機器學習的日益成熟，研究人員意識到它的侷限性，LML將變得愈來愈重要。能夠確定的是，若是沒有LML的能力來積累學習的知識並在過去的知識的幫助下學習新的任務，那麼咱們將沒法創建一個真正的智能系統。咱們只能在很是狹窄的領域內解決問題。

 

參考文獻：

1.Chen Z Y, Ma N Z, Liu B. Lifelong learning for sentiment classification. In: Proceedings of ACL Conference. 2015

2.Pan S J, Yang Q. A survey on transfer learning. IEEE Transaction on Knowledge and Data Engineering, 2010, 22(10): 1345–1359

3.Caruana R. Multitask learning. Machine Learning, 1997, 28(1)

4.Thrun S, Mitchell T M. Lifelong robot learning. In: Steels L, ed. The Biology and Technology of Intelligent Autonomous Agents. Berlin: Springer, 1995, 165–196

5.Thrun S. Is learning the n-th thing any easier than learning the first? Advances in Neural Information Processing Systems, 1996: 640–646

6.Silver D L, Mercer R E. The task rehearsal method of life-long learning: overcoming impoverished data. In: Proceedings of the 15th Conference of the Canadian Society for Computational Studies of Intelligence on Advances in Artificial Intelligence. 2002, 90–101

7.Fei G L, Wang S, Liu B. Learning cumulatively to become more knowledgeable. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016, 1565–1574

8.Ruvolo P, Eaton E. ELLA: an efficient lifelong learning algorithm. In: Proceedings of International Conference on Machine Learning. 2013, 507–515

9.Pentina A, Lampert C H. A PAC-Bayesian bound for lifelong learning. In: Proceedings of International Conference on Machine Learning. 2014, 991–999

10.Chen Z Y, Liu B. Topic modeling using topics from many domains, lifelong learning and big data. In: Proceedings of International Conference on Machine Learning. 2014

11.Liu Q, Liu B, Zhang Y L, Kim D S, Gao Z Q. Improving opinion aspect extraction using semantic similarity and aspect associations. In: Proceedings of the 30th AAAI Conference on Artificial Intelligence. 2016

12.Shu L, Liu B, Xu H, Kim A. Separating entities and aspects in opinion targets using lifelong graph labeling. In: Proceedings of Conference on Empirical Methods in Natural Language Processing, 2016

13.Mitchell T, Cohen W, Hruschka E, Talukdar P, Betteridge J, Carlson A, Dalvi B, Gardner M, Kisiel B, Krishnamurthy J, Lao N, Mazaitis K, Mohamed T, Nakashole N, Platanios E, Ritter A, Samadi M, Settles B, Wang R, Wijaya D, Gupta A, Chen X, Saparov A, Greaves M, Welling J. Never-ending learning. In: Proceedings of the 29th AAAI Conference on Artificial Intelligence. 2015, 2302–2310

14.Tanaka F, Yamamura M. An approach to lifelong reinforcement learning through multiple environments. In: Proceedings of the 6th European Workshop on Learning Robots. 1997, 93–99

15.Bou Ammar H, Eaton E, Ruvolo P, Taylor M. Online multi-task learning for policy gradient methods. In: Proceedings of the 31st International Conference on Machine Learning. 2014, 1206–1214

 

原文連接：https://link.springer.com/article/10.1007%2Fs11704-016-6903-6