兩年AI研究經驗(教訓)總結，進來看看吧！

時間 2019-12-11

原文原文鏈接

雲棲君導讀：人工智能研究這個領域是有必定門檻的。對於初學者來講，通常一般的作法是直接購買一些熱門的書籍，好比「西瓜書」、「花書」、「xx天從入門到精通」、「xx天從入門到放棄」等等，但大多數書籍都是講的基礎知識，稍顯乏味和枯燥，此外內容太深奧，初學者可能看一段時間就想放棄了。本文做者以過來人的身份將自身2年的研究經驗毫無保留地分享給你們，但願對即將開始從事人工智能研究的朋友有所幫助。html

起步微信

找一個你隨時方便提問的人網絡

剛進入公司時，經常會對一些基本問題猶豫不決，這些問題可能會暴露出自身缺少專業知識。可是過了幾個月後，個人提問才慢慢感到天然，提問都是精心擬定的。在此以前，我會積累大量的問題，但如今只要遇到一個問題，我就會立馬提問，這樣不會形成問題積壓以致於愈來愈困惑。機器學習

尋找不一樣領域的研究靈感函數

如今不是單打獨鬥的時代，講究合做。知識也不例外，多學科交流。對於每一個人而言，決定從事什麼方向多是研究中最困難的部分，如下是我所看到的一些具備長期記錄的研究人員所採用的策略：工具

1.與不一樣領域的研究人員交流。諮詢他們感興趣的問題，詢問是否有想要分析的數據集、現有技術存在哪些不足。機器學習中最有效的工做是與生物學、化學、物理、社會科學或純數學的碰撞。例如，我正在思考Matthew Johnson 在2016年NIPS的文章以及Justin Gilmer在2017年ICML的文章，兩篇文章分別是關於鼠標行爲數據集的分析以及量子化學的應用；學習

2.編寫一個簡單的基線以得到對問題的感受。好比，嘗試編寫一些用於控制倒立擺的校準代碼。在寫基線代碼時，會遇到不少狀況、各類問題或者一些臨時產生的想法，這些都可以加深對問題的理解。優化

3.擴展喜歡的某篇論文的實驗部分。仔細閱讀一篇論文，瞭解其採用的方法和得到的實驗結果，設法找到一些能夠完善的地方。首先考慮最簡單的擴展，而後思考下論文的方法是否合理，實驗結果有沒有不完善的地方。阿里雲

重視可視化工具和技能人工智能

運行可視化腳本容許咱們快速驗證代碼是否與想法匹配。更重要的是，良好的可視化每每使得想法和代碼中的錯誤變得更加明顯以及可解釋性。

對於一個實際任務，想出解決問題的正確方法是很困難的。若是採用的是迭代優化模型（好比深度學習），那麼繪製出損失函數會是一個好的開端。此外，對於深度學習這個「黑匣子」方法，可視化也可以部分解釋其學習到的神經網絡參數。好比，當處理圖形模型事，可視化其一維或二維變量的分佈，當它改變時，能夠推斷出不少信息。可視化是技術有效性的晴雨表，每次可視化分析結果都能對所採用的的方法或代碼起到必定的反饋。

TensorFlow可視化工具Tensorboard

分佈圖

Q值學習圖

弄清楚研究者和論文的最初動機

在學術界能夠發現很好玩的現象，研究人員在同一個會議上發表論文，使用相同的技術行話，但兩我的的研究動機能夠是徹底相反的。動機分爲如下三個動機——「數學」動機、「工程」動機和「認知」動機：

有些論文不止一個動機，此外，每一個研究者的動機不可能一直保持不變，這和工程師的興趣有關。優秀的論文和研究人員將在一開始就說明其研究動機，但有些論文每每表述的不是很清楚，這就須要讀者們仔細閱讀，此外，在本身寫做時也要注意這一點，以防動機不明顯而被退稿或退修。

深刻研究

學會找論文

網絡上充斥着大量的人工智能論文，大多數人首先會發表在arXiv上，因爲該平臺能夠先發表再通過審稿，所以須要學會從中辨別。另外，建議在社交軟件上跟蹤你最喜歡的研究人員的動態。此外，還有各類會議也值得關注。三大會議分別是NIPS、ICML以及ICRL。其它著名的通常會議包括AAAI、IJCAI和UAI。對於每個分支學科而言，都有更加具體的會議。好比計算機視覺領域有CVPR、ECCV和ICCV；天然語言領域有ACL、EMNLP和NAACL；機器人學領域有CoRL、ICAPS、ICRA、IROS和RSS；與理論工做相關的會議有AISTAS、COLT和KDD。此外還有一些期刊也值得關注，JAIR和JMLR是人工智能領域最突出的兩個期刊，不過在Nature和Science期刊中也會有很好的論文。

對於一些早期論文的查找也是很是重要的，那些被奉爲「經典論文」的論文每每會在參考論文中出現。另一種發現早期論文的方法是從資深教授的我的主頁開始查找，其成名做通常會掛在上面。此外還能夠經過一些搜索助手，好比谷歌學術、百度學術等查詢關鍵詞。

讀論文要花多少時間？

關於如何讀論文，人們常常給出兩個建議。第一個就是在研究生的第一學期或者第一年度把全部相關的論文都讀一遍；第二個是當讀了大量論文後，不要再泛讀，而是找到突破口，想出創新的辦法。

我我的贊成第一個建議，但不一樣意第二個建議。只要有足夠的時間用於原始研究，那麼就應該儘量多地閱讀論文。對於專業研究員而言，不可能總依靠我的幸運來發現創新的解決辦法，有時候你想到的方法別人可能已經嘗試過，只是你不知道而已。

絕大多數的研究者都是耐心的跟蹤研究方向的進展以及發展趨勢，有條不紊地思考並解決問題。閱讀相關論文也是弄清楚目前所處的階段以及接下來須要作什麼的一個好方法。

關於儘量多地閱讀論文有一個重要的提示：花時間理解消化一篇論文和閱讀一篇論文一樣重要，閱讀的時候能夠作些筆記，而不是囫圇吞棗，只求數量，不求質量。

對話 >> 視頻 >> 論文 >> 會談

論文無疑是瞭解不熟悉的研究理論最容易獲取的來源，可是什麼路徑是最有效的呢？不一樣的人可能感覺不同。對我而言，我發現對話（與那些已經理解的人）是迄今爲止最快且最有效的理解途徑。若是找不到和這樣的人對話的機會，能夠找下關於問題的相關視頻，例如論文做者訪談視頻，這樣的視頻能夠提供很好的觀點。此外，當演講者向現場觀衆演講時，他們每每優先考慮的是清晰度而不是簡潔性。在大多數論文寫做中，做者將優先權順序互換了，其中詞數爲王，背景知識解釋得太多反而顯得做者對該領域不熟悉。排在最後的是會談，簡單的會談每每顯得比較正式，與主持人的談話內容可能會很是有價值。

謹防炒做

人工智能取得一系列的成果吸引了公衆的關注，使得更多的人投入這個領域，進而促令人工智能取得更多突破性的進展。整個循環是良性的，但有一個反作用就是存在大量的炒做。視圖得到點擊量的記者、熱錢投資者、創業型公司都是誇大炒做泡沫的罪魁禍首。所以，在咱們閱讀新聞或論文時，要注意「標題黨」，以避免被誤導。

在2017年的NIPS的問答環節，一位著名的教授拿着麥克風（表明炒做警察）告誡做者在論文標題中慎重使用「想象」一詞。這和咱們看新聞時同樣，標題很吸引人，但裏面的內容卻跟標題關係不大，使得閱讀者大失所望。閱讀論文一樣如此，嚴防炒做，咱們須要作的是根據實驗方法和結果來評估一篇論文是否對本身有所幫助。

研究是場馬拉松

老是在不斷進步

在早期探索研究項目時，通常我會花幾個小時開展頭腦風暴，但願一些模糊的直接可以指引一個具體的方向。有時候項目沒有任何進展，但在黑暗中摸索也算是整個研究過程當中的一部分。當不知道下一步應該作什麼時，能夠基於目前已有的狀況將最模糊的想法寫下來，並在寫的過程當中進行一一排除（寫出排除的緣由）。在沒有任何想法的狀況下，能夠採起閱讀或與同事交流的形式以得到靈感。

從死衚衕中學會判別和止損

大牛們通常花更多的時間在好的想法上，可以區分想法的好與壞在很大程度上依賴於我的的經驗。儘管如此，任何水平的研究人員都會不斷遭遇如下決定：研究思路是否有缺陷、是否應該挽救或進一步支持所提出的想法、是否徹底放棄所提出的想法？尤爲是在早期時，研究人員踏入死衚衕後會停留很長一段時間，而不肯放棄。雖然放棄意味着以前的花費的時間白費了，但有的時候要懂得及時止損。

寫做

一些大牛給出的早期職業建議是：寫做。平時能夠寫寫博客和論文，但更重要的是把本身的想法記錄下來。最值得看的書由於寫做有助於咱們理解與思考相關知識。

心理健康和身體健康是科研的先決條件

學術研究者在追求科學發現的過程當中常常會遇到熬夜、顧不上吃飯等問題，這些都不是好習慣。不少博士都開始禿頭，甚至碩士就開始掉頭髮。鍛鍊身體並放空本身心裏也是對科研的投資，並非阻礙科研。睡8個小時後再工做4個小時，其效率比睡4個小時工做8個小時要高得多。有的時候會遇到卡殼，即便使出渾身解數也沒法取得一絲進步，這個時候建議離開工做崗位，稍微活動一下並作長呼吸，放空下本身。

做者信息

Tom Silver，專一於計算科學與數學、人工智能
本文由阿里云云棲社區組織翻譯。
文章原標題《Lessons from My First Two Years of AI Research》，譯者：海棠，審校：Uncle_LLD。

搜索浪尖qq加微信羣：158570986

qq羣及本公衆號二維碼，以下：

文章來源：https://blog.csdn.net/rlnLo2pNEfx9c/article/details/80190961