AI人工智能正在改變計算的整個本質

本文由公衆號 AIU人工智能 出品，轉載自行諮詢原創者受權

機器學習，特別是深度學習，迫使從新評估芯片和系統的設計方式，這將改變將來幾十年的行業方向。

從芯片到軟件再到系統，計算領域將在將來幾年內因機器學習的普及而發生巨大變化。咱們可能仍然將這些計算機稱爲「通用圖靈機」，正如咱們已有八十年或更長時間。但在實踐中，它們將與迄今爲止構建和使用的方式不一樣。

任何關心計算機工做的人以及對全部形式的機器學習感興趣的人都會感興趣。

今年2月，Facebook負責人工智能研究的負責人Yann LeCun在舊金山舉行的國際固態電路會議上發表了演講，該會議是世界上運行時間最長的計算機芯片會議之一。在ISSCC，LeCun明確了計算機技術對人工智能研究的重要性。 LeCun說：「硬件功能和軟件工具既激勵又限制了AI研究人員想象並將容許本身追求的想法類型，咱們所掌握的工具比咱們認可的更能影響咱們的想法」。

不難看出狀況是怎樣的。從2006年開始，深度學習的興起不只是由於大量數據和機器學習中的新技術，例如「輟學」，並且還由於計算能力愈來愈強。特別是，愈來愈多地使用來自Nvidia的圖形處理單元或「GPU」，致使計算的更大並行化。這使得對比以往更大的網絡的培訓成爲可能。20世紀80年代提出的「並行分佈式處理」的前提，即人工網絡的節點同時被訓練，最終成爲現實。

一些人認爲，機器學習如今有望接管世界上大部分的計算活動。在2月份的ISSCC期間，LeCun 向ZDNet講述了計算方向的變化。LeCun說：「若是你走了五年，將來十年，你會看到計算機花費時間作些什麼，大多數狀況下，我認爲他們會作一些像深度學習這樣的事情 - 就計算量而言」。他還指出，深度學習可能沒法經過收入佔據計算機銷售的大部分，可是，「就咱們如何每秒花費咱們的毫瓦或咱們的運營而言，他們將花在神經網絡上。

深度學習成倍增加

隨着深度學習成爲計算的焦點，它正在推進當今計算機可以作到的界限，在某種程度上推進神經網絡進行預測的「推理任務」，但對於訓練神經網絡更是如此，計算密集型功能。

注：據OpenAI稱，自2012年以來，深度學習網絡對計算的需求每3.5個月翻一番。

諸如OpenAI的GPT-2之類的現代神經網絡須要並行訓練超過十億個參數或網絡權重。做爲Facebook的熱門機器學習培訓庫PyTorch的產品經理，5月份告訴ZDNet，「模型愈來愈大，它們真的很是大，並且培訓成本很是高。」 現在最大的模型一般不能徹底存儲在GPU附帶的存儲器電路中。

此外：谷歌表示人工智能的「指數」增加正在改變計算的本質

計算週期的需求速度愈來愈快。根據OpenAI提供的數據，早在2012年建立的使人尊敬的AlexNet圖像識別系統在總培訓時間內耗費了至關於每秒1000萬次浮點運算的「千萬億次浮點運算」，總時間達到一天。但AlphaZero是由谷歌的DeepMind在2016年創建的神經網絡，它擊敗了世界上的國際象棋冠軍，而且每秒消耗超過一千天的千萬億次飛越。AlexNet和AlphaZero之間計算週期的增長使得每3.5個月的計算消耗量翻了一番。這是2016年收集的數據。到目前爲止，步伐無疑會增長。

計算機芯片危機

世界甚至沒有佩戴千萬億次籌碼，用於深度學習培訓的頂級芯片，如Nvidia的Tesla V100，每秒運行112萬億次。所以，你必須運行其中的八天1000天，不然將許多人彙集成一個耗費愈來愈多能量的系統。

更糟糕的是，近年來芯片改進的步伐已經觸底。正如加州大學伯克利分校教授大衛帕特森和英國航空公司董事長約翰軒尼詩在今年早些時候的一篇文章中所指出的那樣，摩爾定律即每十二至十八個月芯片功率增長一倍的經驗法則，已經耗盡了氣體。英特爾長期以來一直否定這一點，但數據是帕特森和軒尼詩的一面。正如他們在報告中提到的那樣，芯片性能如今每一年僅增加3％。

這兩位做者都認爲，這意味着芯片的設計，衆所周知，它們的架構必須完全改變，以便從不會產生性能優點的晶體管中得到更高的性能。（帕特森幫助谷歌建立了「Tensor Processing Unit」芯片，所以他對硬件如何影響機器學習很是瞭解，反之亦然。）

因爲處理器的改進停滯不前，但機器學習需求每隔幾個月翻一番，就必須付出代價。使人高興的是，若是以正確的方式看待，機器學習自己能夠成爲芯片設計的福音。由於機器學習須要不多的遺留代碼支持 - 它沒必要運行Excel或Word或Oracle DB - 而且正如他們所說的，對於芯片設計師，因爲其最基本計算的高度重複性，機器學習是一種綠地機會。

建造一臺新機器

卷積神經網絡和長期短時間記憶網絡的核心，深度學習的兩個主要支柱，甚至在像谷歌的變形金剛這樣的更現代的網絡中，大多數計算都是線性代數計算，稱爲張量數學。最多見的是，將一些輸入數據轉換爲矢量，而後將該矢量乘以神經網絡權重矩陣的列，並將全部這些乘法的乘積相加。稱爲乘法相加，這些計算使用所謂的「乘法 - 累加」電路或「MAC」在計算機中呈現。所以，只需改進MAC並在芯片上建立更多的MAC來增長並行化，就能夠當即改善機器學習。

主導AI培訓的Nvidia和其CPU主導機器學習推理的英特爾都試圖調整他們的產品以利用那些原子線性代數函數。Nvidia爲其Tesla GPU添加了「張量核心」，以優化矩陣乘法。英特爾已花費300億美圓收購那些從事機器學習的公司，包括Mobileye，Movidius和Nervana Systems，其中最後一個應該在某個時候致使「Nervana神經網絡處理器」，儘管有延遲。

到目前爲止，這些舉措並不能知足機器學習的需求，例如Facebook的LeCun。在2月與ZDNet聊天期間，LeCun認爲，「咱們須要的是競爭對手，如今，你知道，主導供應商Nvidia」。 他還指出，這不是由於Nvidia沒有作出好的籌碼。這是「由於他們作出了假設，而且擁有一套不一樣的硬件能夠用來作當前GPUS擅長的補充事物，這樣作會很不錯。

另外：爲何人工智能報告如此糟糕？

他說，其中一個有缺陷的假設是假設訓練神經網絡將是一個能夠操做的「整齊陣列」的問題。相反，將來的網絡可能會使用大量的網絡圖，其中神經網絡的計算圖的元素做爲指針流式傳輸處處理器。LeCun表示，芯片必須進行大量的乘法增長，但對於如何將這些乘法增長呈現給處理器的指望不一樣。

做爲TPU芯片貢獻者之一的谷歌軟件工程師Cliff Young，去年10月在硅谷舉行的芯片活動上發表了主題演講時更直言不諱。Young說：「很長一段時間，咱們都拒絕了，並說英特爾和Nvidia很是擅長構建高性能系統，」「五年前咱們超越了這個門檻」。

創業公司的崛起

在這個漏洞中，新的芯片來自谷歌等人工智能巨頭，還有一大批風險投資支持的創業公司。

除了谷歌的TPU，如今已經進行了第三次迭代，微軟還有一個可編程處理器，一個名爲Project Brainwave的「FPGA」，客戶能夠經過其Azure雲服務租用它。亞馬遜表示，它將在今年晚些時候推出本身的定製芯片，名爲「Inferentia」。當LeCun在2月份與ZDNet談話時，他提到Facebook有本身的籌碼。

他指出，像谷歌和Facebook這樣擁有大量產品的公司，對你本身的引擎工做是有道理的，這方面有內部活動。

創業公司包括Graphcore，一家位於布裏斯托爾的五年創業公司，一個位於倫敦西南一個半小時的港口城市; Cornami，Effinix和Flex Logix，全部這些都是由ZDNet描述的和硅谷的洛斯阿爾託斯的s系統公司仍然處於祕密模式。

許多這些初創公司都有一個共同點，那就是大大增長用於矩陣乘法的計算機芯片區域的數量，即MAC單元，以便在每一個時鐘週期內擠出最多的並行化。Graphcore是全部初創公司中最遠的，是第一個真正向客戶發送生產芯片的公司。關於它的第一個芯片最引人注目的事情之一是大量的內存。爲了記念世界上第一臺數字計算機，Colossus 被稱爲芯片，面積巨大，面積爲806平方毫米。首席技術官Simon Knowles稱其爲「迄今爲止最複雜的處理器芯片」。

Colossus由1,024個被稱爲「智能處理單元」的獨立核心組成，每一個核心均可以獨立處理矩陣數學。衆所周知，每一個IPU都有本身的專用內存，256千字節的快速SRAM內存。總共有304兆字節的內存是芯片中最經常使用的內存。

沒有人知道芯片上存在如此多的內存會如何改變構建的神經網絡的種類。多是經過訪問愈來愈多的內存，訪問速度很是低，更多的神經網絡將專一於以新的和有趣的方式重用存儲在內存中的值。

軟件難題

對於全部這些芯片的努力，問題固然是因爲該公司的「CUDA」編程技術，他們沒有爲Nvidia創建多年的軟件。Graphcore和其餘人的答案將是雙重的。一個是用於機器學習的各類編程框架，例如TensorFlow和Pytorch，提供了一種避免芯片自己細節並專一於程序結構的方法。全部進入市場的芯片都支持這些框架，他們的創造者認爲這些框架與Nvidia的競爭環境。

第二點是Graphcore和其餘人正在構建本身的編程技術。他們能夠證實他們的專有軟件既能夠轉換框架，也能夠智能地將並行計算分配給芯片上的衆多MAC單元和向量單元。這就是Graphcore爲其「Poplar」軟件所作的論證。Poplar將神經網絡的計算圖分解爲「codelets」，並將每一個codelet分配到Colossus的不一樣核心，以優化並行處理。

在過去的二十年中，大數據和快速並行計算成爲常態，推進了機器學習，帶來了深度學習。下一波計算機硬件和軟件多是關於大量的內存和神經網絡，它們是動態構建的，以利用高度並行的芯片架構。將來看起來頗有趣。

本文翻譯自：AI is changing the entire nature of compute（Machine learning, especially deep learning, is forcing a re-evaluation of how chips and systems are designed that will change the direction of the industry for decades to come.）