和 Nature 封面論文一做，聊了聊天機芯的科研故事

鄧磊，清華首位類腦計算博士、美國加州大學聖芭芭拉分校博士後。8 月 1 日《 Nature 》雜誌的封面上，展現了文章《面向人工通用智能的異構天機芯片架構》，他做爲第一做者，負責了芯片的設計和算法細節。

該論文實現了中國在芯片及 AI 領域《天然》論文零的突破，左邊爲論文第一做者鄧磊

上週四，由清華大學科協星火論壇聯合清華大學類腦計算研究中心，以及 HyperAI超神經，舉辦了「從 AlphaGo 到類腦天機芯片，人工智能走向何處」的主題論壇。鄧磊做爲特邀嘉賓受邀出席，以圓桌論壇的形式分享了本身的一些觀點。本文將跟隨論壇上的問題，回顧他在 AI 和類腦計算領域的一些洞見。

學並探索着：類腦計算中心的第一個博士

提問：您是怎麼進入到類腦計算這個研究方向的？這個學科具體涉及到哪些內容？

當年讀類腦計算博士的時候，類腦計算還未普及，當時還搜索了一下，並無查到太多有效信息，以後還特地詢問了導師……

做爲類腦計算研究中心的第一個博士，我見證了類腦中心從零開始走到如今。包括後來的開公司、作研究。2017 年以後，我畢業去了美國，以後轉到偏計算機的方向。如今有 50% 是作理論， 50% 是作芯片。

我本科是作機械的，後來發現作機械沒有太多天賦，就慢慢轉到作儀器，後來還去作過機器人，研究過一些材料和微電，以後開始作 AI 的一些算法、理論，最後纔到芯片，慢慢進入到類腦計算。一路上不斷走不斷學，大概是這樣一個過程。

鄧磊於 2017 年完成博士學位答辯,當時清華類腦計算研究中心全體合影

注：清華大學類腦計算研究中心，於 2014 年 9 月創立，涉及基礎理論、類腦芯片、軟件、系統和應用等多個層面。此中心由清華大學校內 7 家院系所聯合而成，融合了腦科學、電子、微電子、計算機、自動化、材料以及精密儀器等學科。

類腦計算的研究涉及到了多學科交叉融合。源頭確定仍是醫學（腦科學），如今的人工智能最初脫胎於心理學和醫學，它們爲模型提供了一些依據。

接下來的就是機器學習，之後它們確定仍是會走到一塊兒，但如今分開來說，是由於機器學習有更多作產品的經驗，一般是從應用的角度來進行思考。

此外還有計算機科學，如今有 GPU 解決不了的問題，因此阿里華爲都開始作本身的專用芯片，對計算架構方向的學生，也能夠考慮往這個方向發展。

再往下就是芯片等硬件，這涉及到微電子甚至材料，由於要提供一些新的器件，如今仍是用的一些很基礎存儲單元，但將來確定會有一些新的器件，好比說碳納米管、石墨烯等材料能不能應用進來。

另外還有自動化方向，不少作機器學習的人，一般是計算機系和自動化系的，由於自動化是作控制作優化，這和機器學習有殊途同歸的地方。在類腦計算中，這些學科很好的融合在了一塊兒。

做爲清華類腦計算研究中心的第一位博士,博士在讀期間，他發表了 9 篇學術論文，申請了 22 項專利

提問：當時是有什麼樣的驅動，或者說什麼樣的契機，最終選擇了這個方向?

用一句話來講，這個方向最大的魅力在於它作不完。

我曾經想過一個哲學悖論，研究類腦計算跟人腦分不開，但用人腦來思考人腦，並不知道會達到什麼程度，對它的研究也就永無止盡。

由於人類對本身的思考，是永遠會存在的，老是會經歷高潮，而後進入平淡期，忽然又出現了突破，它永遠不會中止。這個角度去看是很值得研究的。

提問：您目前所在的博士後階段，研究上有哪些不一樣？

之前在清華作芯片，更多的是從實用的角度，想的是我能作一個設備，或者一個儀器出來。

可是去美國後，更多的是從學科的角度來考慮這個事情，就像計算專業的計算架構，就像 ACM 不少圖靈獎，都是歷來這方面來看待問題，雖然作一樣的事情，思考的角度就不同了。

若是從計算架構的角度來看，任何一個芯片無非就是計算單元、存儲單元、通訊就這三個方面，無論怎麼作，都是這三個事情的範疇。

天機芯和類腦計算：自行車不是重點

提問：Nature 的這篇文章，是一個里程碑的事件。在過去的幾十年中，您認爲的里程碑事件有哪些？在類腦計算領域，又有哪些事件推進了行業的發展？

類腦計算這個領域相對複雜，我從人工智能的脈絡來梳理，會更明顯一些。

人工智能不是單一的學科，基本上能夠分爲四個方向。第一個是算法方面，第二個是數據，第三個是算力，最後是編程工具。里程碑的事件能夠從這四個方向來看。

就算法來說，固然是深度神經網絡，這個是毋庸置疑的；從數據的角度來講，ImagNet 是一個里程碑，以前沒有大數據的加持，深度神經網絡幾乎被埋沒。

在算力的角度，GPU 是一個很偉大的誕生。編程的工具，像 Google 的 TensorFlow 之類普及的應用，是推進發展的一個重要因素。

這些事情促進了 AI 的前進，並且它們是一個迭代發展的過程，缺了一個都不會有今天的局面。但 AI 也有本身的侷限性，好比 AlphaGo ，它只能進行單任務，除了下棋別的就作很差。這跟大腦是不同的。

第二個就是可解釋性，咱們用深度神經網去進行擬合，包括用增長強化學習，但它們內部發生了什麼事情，仍是不清楚的，一些人正在試圖將這個過程可視化或弄清楚它的原理。

第三個是魯棒性， AI 不像人同樣穩定。好比自動駕駛，如今的 AI 也只是被用於輔助駕駛，是由於它還不能保證絕對的安全。

由於這些缺點，必需要去關注腦科學的發展，引入更多的腦科學的機制。在我看來，最迫切的就是讓智能更通用化。

鄧磊在週四的星火論壇中發言

至於里程碑的事件，AlphaGo 算得上一個。由於它把 AI 擡到公衆的視野中，讓全部人去關注 AI，並且強化學習也是在以後才火起來的。

從芯片的角度來講，有側重算法和受生物腦啓發兩類芯片，在這兩類芯片的發展中，分別有兩個里程碑。

第一類是機器學習方面，如今深度神經網絡都是在 GPU 上計算，但 GPU 不是最高效的，有一批公司像寒武紀，在尋找替代 GPU 的方案，這是一個重要的事件。

另外一類不侷限於機器學習，是從大腦的角度找模型作專用的芯片，這方面 IBM 或者英特爾作的比較好。

天機芯片之因此很受關注，就在於將這兩類各自的優點，集成到了一個架構上去。

提問：大家團隊發佈了天機芯在自行車上的測試，能具體介紹一下這方面嗎？

在網上你們都被自行車所吸引，但咱們團隊都知道，自行車不是咱們的重點，它只是一個 Demo 的平臺，由於當時咱們在想，要找一個好的平臺去給你們展現。

應用了天機芯的自行車,能夠完美的自行運動，躲避障礙

自行車的演示中，有視覺、聽覺還有運動控制，經過一個芯片去完成這些功能，是一個比較理想的平臺。當時是從這個角度去考慮的，自行車控制並非很難，咱們只是想展現一種新的模式。

類腦計算的將來：打破馮諾依曼架構

提問：將來的人工智能或者類腦計算，和現有的馮諾依曼架構有什麼聯繫？它們是否會朝着人腦的形態演變？

這是一個很重要的問題，如今的半導體行業，就有一個基本的趨勢，包括 18 年的圖靈獎，也是頒給了作計算架構研究的研究者。

試圖讓 GPU 提升性能，有兩個方向，第一是把晶體管作小，就是物理微縮，遵循摩爾定律。但這兩年你們意識到摩爾定律開始失效了，相關的發展愈來愈慢，總有一天會沒法作小了。

摩爾定律正在減緩

另外一個方向就是作計算架構，設法經過設計框架，讓計算單元、存儲單元、通訊，這個三部分都發揮很高的效率。

人腦就很神奇，經過學習的積累，每一代人知識都在增加，咱們要去借鑑這種知識的演化。

上個世紀，通用處理器的發展基本上遵循摩爾定律，由於之前晶體管能越作越小，計算架構的發展被必定程度埋沒。如今摩爾定律受阻以及 AI 這類須要追求高處理效率的應用，使得計算架構的研究又從新受到重視，將來十年也將是專用處理器的黃金時期。

對於類腦研究，你們問得最多的問題是，類腦計算能幹什麼？

這是一個很致命的問題，如今不少作人工智能或作腦科學的人，都不清楚其背後的機理是什麼。就拿腦科學來講，有三個層次目前還比較脫節。

第一個是神經細胞究竟如何工做。這個問題，不少醫學家或者生物學家，都還在進行艱難的探索研究。

第二個是神經細胞之間是怎麼鏈接的，大腦裏面有 10 的 11 次方量級的神經細胞，它們是如何聯繫起來的，也比較難理清楚，須要藉助光學和物理學的力量。

最後，還要知道它們怎麼學習的，這也是最難但最重要的一個問題。

每個方面都有一個鴻溝，但困難不能成爲放棄探索的理由。若是絕不做爲，就一點機會都沒有。在每一個層面上作一些事情，最後老是會誕生一些新的東西，然後不斷地進行迭代。

圓桌論壇現場，左二爲鄧磊博士

若是要等到腦科學搞清楚了再去進行，那就晚了，別人確定就超前了。

好比作 CPU 這件事情，就不像你們想的那麼簡單，不是說中國人不聰明，發動機也是同樣，原理你們都懂，可是要想作好卻不容易，工程難度和技術積累非一日之功。

其中一個緣由在於，許多東西都有很大的產業鏈，若是最開始沒有去作，就失去了不少試錯的機會。

這個領域不會實現快速的突破，只能去腳踏實地進行。至於之後，如今的人工智能、強人工智能，人工智能 2.0 和類腦計算，我以爲它們最後都會異曲同工，由於他們都源於大腦，只是導向不一樣而已。

提問：前段時間在 Nature 上還有另一篇文章，研究人員畫出了線蟲所有神經元的完整圖譜，以及所有神經元之間全部的 7000 個鏈接。

提問：這個工做和類腦研究有沒有聯繫？能不能用現有技術，或者馮諾依曼的 CPU 去模擬線蟲這個工做，另外接下來 3 到 5 年，咱們能夠期待什麼樣的事情發生？

科學家繪製的線蟲腦部神經元連接

我看過那個線蟲結構的研究，它對類腦研究有很大的影響。其實如今的 AI 模型，無論是類腦計算，仍是人工智能，它的鏈接結構大多仍是脫胎於如今的層級深度神經網絡，其實是十分粗淺的。

咱們大腦不是一個簡單的層狀網絡，大腦更像一個圖。並且各個腦區之間的聯繫，是很複雜的。這個研究的意義，在於讓咱們思考是否能借鑑這種鏈接方式。

以前有一個觀點，是說在神經網絡的結構中，鏈接結構的做用實際上大於每個鏈接的具體權值，也就是鏈接的意義是大於每個參數的意義。

卷積神經網絡爲何可以比之前的神經網絡要厲害一些，就在於它的鏈接結構不一樣，因此它提取特徵的能力就會強一些，這也說明鏈接結構會致使結果的變化。

能不能在傳統的處理器上去作到這個成果，實際上是有點困難的。馮諾依曼架構裏面最典型的是，須要一個很明確的存儲單元，一個很明確的計算單元。

傳統的馮諾依曼架構示意圖

但咱們大腦裏面沒有那麼明確的界限，雖然咱們有海馬體專門負責長期記憶，但從神經元網絡層面來說你並不清楚大腦哪一團細胞必定就是存儲，哪些只是計算。大腦更像是一個混沌的網絡，計算和存儲難以區分，因此從這個角度上來說的話，很難用之前傳統的那些芯片或者處理器的技術來作。

因此咱們必需要開發一些新的非馮諾依曼的方法，用新的架構方式支持，去作類腦方式的研究。

好比 2018 的圖靈獎，就宣告專用領域的芯片會愈來愈火。英偉達如今推廣的，就是異構架構，在一個平臺裏面有各類各樣的小的芯片 IP 核，可能這個就相似人的腦區同樣。

因此，如今再也不像從前用一個 CPU 解決全部的事情，也沒有一個芯片可以高效解決全部的事情。將來會逐漸走向各類高效專用的發展技術，這是目前的一個趨勢。

鄧磊認爲，將來類腦計算和 AI 研究最終會異曲同工

如今你們對腦科學或者類腦計算的理解，沒有人工智能那麼透徹，有一個很重要的緣由，是投資者以及產業界，尚未過多的介入。

所以，無論是數據算力仍是工具，都難以作起來。類腦計算就處於一個這樣的初級階段，相信之後當愈來愈多的大學和公司投入進來，就會明朗不少。

提問：類腦芯片的架構，和傳統的馮諾依曼架構有哪些方面的不一樣？

將類腦芯片進行拆分，能夠分爲類腦和計算。在類腦的角度上，它不是僅有 AI 裏面的深度神經網絡，還結合了一些腦科學的計算。

從架構方面，馮諾依曼體系中有一個瓶頸，整個半導體行業的架構其實都在面臨這個難題：存儲的容量愈來愈大，它速度就愈來愈慢，

若是想擴大規模又想高速，就不可能實現。基本上作設計架構的人，可能是在研究優化存儲層級，怎麼樣讓它變快。

天機和其餘架構不同，沒有用到那些須要擴展的存儲器。天機芯片更像一個大腦，至關於細胞連成了不少小回路，小回路又擴展成了不少網絡，最後構成功能區和系統，它是一個容易擴展的結構，而不是像 GPU 那樣。

天機芯片單片和 5×5 陣列擴展板

天機芯的衆核去中心化架構決定了，它能比較容易地擴展成大的系統，沒有存儲牆的約束，其實是存算融合的非馮諾依曼架構。這是在架構層面和現有處理器最大的一個區別，前面是模型層面的區別，基本上就這兩大類的區別。