後通用芯片時代：專用芯片興起背後的經濟學

 

文章發佈於公號【數智物語】 （ID：decision_engine），關注公號不錯過每一篇乾貨。

 

 

 

來源 |  StarryHeavensAbove

 

最近，MIT 學者 Neil Thompson 和 Svenja Spanuth 發表了一篇名爲「The Decline of Computers as a General Purpose Technology」的 working paper，重點分析了爲何摩爾定律的終結與深度學習的興起會加速計算技術的專用化趨勢。

 

衆所周知，生產率(productivity)是衡量經濟增加和經濟水平的一個很重要的因素。計算機自 20 世紀中葉誕生以來用史無前例的速度改變着咱們的生活，以美國爲例，計算機技術帶動了自 1974 年以來的 1/3 生產率增加，居功至偉。

 

從產業發展的角度來看，通用計算的進步與普惠離不開堅實的經濟後盾：一項新技術經過商業上的成功取得收益，而後繼續投入創新項目進一步擴大生產；科技的進步讓咱們有機會用更加低廉的價格買到更強的算力。

 

同時，經濟學原理告訴咱們，需求(demand)的增加會繼續拉動供給(supply)，這樣的良性循環在過去幾十年裏不斷地推進着通用計算產業的進步，CPU 也成了芯片的代名詞。

 

Intel 公司的先知 GordonMoore 先生預見性地提出了以他名字命名的摩爾定律 （摩爾定律內容爲：當價格不變時，集成電路上可容納的元器件的數目，約每隔18-24個月便會增長一倍，性能也將提高一倍。換言之，每一美圓所能買到的電腦性能，將每隔18-24個月翻一倍以上。這必定律揭示了信息技術進步的速度）幾十年增加氣勢如虹。

 

然而，當摩爾定律走向盡頭，通用計算髮展的步伐也不得不逐漸放緩。以 2008 年爲轉折點，芯片的一個重要衡量指標性價比(performance/dollar)從以前的每一年平均 48% 增加下降到了 10% 如下。

 

近年來，咱們正看到一些芯片設計正在朝着專用化的方向演進– 對比 CPU，專用芯片的適用範圍很窄，但在特定領域能作得更好，性能達到數十倍甚至百倍的提高。咱們看到以深度學習和比特幣挖礦爲表明的新技術的興起，都將加速計算芯片技術專用化的進程– 那些能獲得專用芯片加速的應用將會在「快車道」上越走越快，而那些不能獲得加速的應用將會隨着通用計算的沒落而一塊兒停滯不前。

 

很是有意思的是，Neil 還預言，這樣的專用化趨勢會最終影響到計算技術的進步，並進而影響到社會經濟的發展。我深覺得然，隨着信息和資本流動全球化，科技發展的馬太效應會愈來愈多地影響到社會經濟的兩極分化。這樣的蝴蝶效應值得更多有識之士關注。

 

 

01「天下大勢，分久必合，合久必分」

 

在過去的幾十年裏，絕大多數人都在適用高度同質化(homogeneous)的 x86 計算機，而 CPU 的快速發展迭代可以把技術紅利集中地、「有感知地」釋放給大衆。然而，當計算系統變得更加專用化以後，分層就會顯現，異構(heterogeneous)的進程就會加快。在進一步討論其中的經濟學原理以前，咱們先來回顧一下芯片發展的一些歷史。

 

 

02通用芯片歷史

 

 

1969年，一家叫 Busicom 日本公司打算爲其計算器(calculator)產品線從新設計一款芯片。在這以前，計算器產品都是高度專用化的設計，即高效地作好規定操做。

 

因爲專用芯片缺少靈活性，芯片設計完成以後就不能增長新的功能了。Intel 做爲一家剛剛成立一年的初創公司進入了 Busicom 的視野。

 

偉大的公司天然有其過人之處，Intel 從一開始就從戰略上選擇作一款可編程的通用芯片，並與 Busicom 一拍即合。這就是第一個通用處理器 4004 的開始，經過重寫軟件實現各類不用的應用功能極大地釋放了生產力，也今後開啓了 Intel 的芯片王朝。

 

 

從 4004 開始，CPU 的性能至今已經有了超過 40 萬倍的提高。從 2000 到 2010 年，PC 機的年增加率高達 9%（遠高於同期美國 GDP增加）。截至 2018 年，全球 PC 機的保有量超過 20 億臺。

 

而這些成就的取得並非沒有代價的，根據 Intel 的 SEC filling，在過去十年總共投入了 $1,830 億美圓用於研發和 Fab 的建設。

 

放眼世界，因爲新的晶圓生產線成本居高不下，有能力生產最前沿芯片製程的廠商，也從 2000 年的 25 家驟減到現在的 4 家。

 

從 2014 年起，Intel 的固定成本(R&D + Additional PP&E)已經開始超過了其可變成本(COGS = Net Revenue – Gross Margin)支出（見下圖財務報表）。

 

 

正是因爲成本結構的變化，Intel 在 2016 財年的 10-K filing 裏面明確了將放緩科技迭代，並從以前的 tick-tock 轉向 process-architecture-optimization 模式。一場變革正在悄然醞釀之中，最明顯的就是 TOP500 計算機中使用專用加速芯片的比例正在逐年提升。

 

 

 

03專用加速芯片的興起

 

 

Domain Specific 的專用芯片是計算機體系結構黃金時代大復興的四個方向之一。總結一下專用芯片適用的四個主要場景：

 

1. 計算可以大量並行處理的(parallelism)。

2. 計算 pattern 是很是整齊的(regularity)。

3. 不須要過多訪問 memory 的(locality)。

4.  能夠用更低精度(precision)等效替代的。

 

因爲專用芯片不須要在通用性和兼容性上作太多妥協，每每在性價比和能效上(energyefficiency)上更優。

 

而一款專用芯片的成功與否和其開發生態也息息相關。就拿我讀研究生時候同時期出來的 Cell 和 GT8800 爲例，雖然 Cell 芯片在不少技術點上有可取之處，又成功在 PS3 遊戲機上落地，但因爲很是難開發（還有人記得斯坦福開發的 Sequoia 麼？），三年以後不得不灰溜溜得退出市場，今後沒有第二代（插曲：記得當時有恐怖分子買了大量 Playstation 後來被截獲，本來準備拆了當導彈芯片的，那真是有勇氣啊）。

 

而 NVIDIA 的 GT8800 配合 CUDA 橫空出世，不只一舉爲皮衣教主在十年後的 AI 賽道上封神打下了堅實的基礎，也讓我等晚輩看到了並行計算的光明前景由此入了 GPU 的行。而以後， ImageNet 挑戰賽讓 GPU 以算力打開了深度學習新局面的故事想必你們也都已經耳熟能詳。如今炒得火熱的 AI 芯片們有多大的決心作生態作軟件，也將很大程度上決定他們將來的命運。

 

 

 

04通用和專用之爭

 

 

在比較芯片以前，咱們再來看歷史上另外一個關於通用和專用的爭論，或許能對咱們如今討論的芯片專用化的趨勢有所啓示。

 

20 世紀之初，家用廚房用具開始逐漸電器化，而小型馬達的價格在那時仍是居高不下。以一個帶電動馬達的縫紉機爲例，其 1917 年的售價高達 $35 美圓，至關於一戶普通人家一個月 28% 的收入。 Hamilton-Beach 公司看到了用戶的痛點，並快速設計出了一款售價只有 $11.5 美圓，並能匹配大部分家電的通用馬達。

 

按照一般的邏輯發展，通用馬達應該成爲標準。根據以前提到的產品改進->擴大市場->追加投資的理論，彷佛 Hamilton-Beach 公司在不斷改良下降成本以後，通用馬達應該成爲家家戶戶電器裏必備的裝備。

 

 

然而事實的發展並不是如此，在 100 多年後的今天，咱們看到家裏電器的馬達並不是是通用的。咱們的家電設備由於功率、體積和用途的不一樣，其馬達都是專用的！

 

究其緣由，Neil 認爲無非是兩邊性價比誰提升得快的問題（在同等的狀況下理性人一般會願意選擇功能更多的通用產品），例如假設一個能帶動大功率攪拌機的通用馬達能比一個小電扇的專用馬達價格更低，天然會有受衆。

 

然而，工程師們沒法設計出一種既省錢又好用的通用產品。因爲通用的馬達並不能給全部的產品帶來收益，相反大功率馬達價格 premium 居高不下，而低成本的馬達也一樣也有足夠大的市場，產品分層帶來的各類專用化最終打敗了通用。

 

 

對於芯片行業來講，通用 CPU 藉助摩爾定律高速發展在最初幾十年很好地回答了上面性價比的問題，而當摩爾定律的魔力不在之時，CPU 則很難避免通用馬達通常的命運。

 

當咱們把專用芯片的性能做爲常數，而通用芯片的進步模擬成一個階梯函數，則通用和專用芯片的優點對比能夠簡單地用下圖模型表示（Neil在文中還推理了一個比較複雜的數學公式，這裏也不展開贅述）。藍色（通用佔優）和灰色（專用佔優）面積孰大孰小則表示應該選取哪一種芯片。

 

 

收益與經濟規模也有很大關係，根據 Neil 的複雜公式推理，若是一個專用芯片有 10 倍於通用的性能，那至少須要 167,000 塊芯片的出貨量來支撐。

 

而若是僅有 2 倍的 speedup，則須要至少有 1 百萬塊芯片來攤薄固定成本！且不論這個數學模型精確與否，比特幣礦機和 TPU 的出現已經能充分說明這類經濟規律的合理性——只要有足夠大的市場和足夠高的收益（性能提高），人們會絕不猶豫地搞專用化。

 

 

 

05經濟規律和總結

 

 

芯片的專用化已經很好地在比特幣和深度學習的場景中展示，那讓咱們來推演一下其中哪些經濟規律和邏輯在這場變革中起着主導做用，並不斷推波助瀾。

 

1. 如前文所述，能生產最早進製程芯片的廠商愈來愈少。這意味着每家廠商的平均市場份額從當年的 4% 提升到了 25%，至關於年均 14% 的增加，行業的 consolidation 足以抵消成本上升帶來的影響。然而，這樣的合併是不可持續的（若是按照以前的趨勢，再過不到 10 年，市場就只能支撐 1 家芯片製造商），這也就意味着爲了攤薄更先進製程的生產線帶來的成本上升問題，製程的推陳出新將會變得愈來愈慢，而通用 CPU 所能享受到的技術紅利（階梯函數）也將大大受其影響。基於前文引述的財報數據，固定成本已經佔據了 Intel 成本結構的大頭，攤薄是個大問題——換言之，Intel 當前 10nm 產線 delay 的問題真的是技術問題仍是經濟問題，這個真的很難說！

 

 

2. 科技發展一樣遇到了瓶頸，大約 10 多年前，Dennard scaling 的失效已經預示着芯片的性價比提高沒法持續。而三星最近的研究代表，隨着晶體管越變越小，單位晶體管成本已經抵達拐點不降反升了！當科技紅利沒法持續，人們會愈來愈多選擇更成熟也更便宜的製程節點，這又反過來延緩了新技術的鋪開和成本攤薄。

 

 

  

 

3. 當通用 CPU 沒法如以前那樣勢如破竹地提升性價比的時候，不自覺地階梯函數的收益就會往降低，而當愈來愈多的人大量選擇經過專用芯片來加速的時候，一個相似的關於專用芯片的良性循環週期也已開始。

 

 

06總結一下有這麼幾個論斷：

 

1. 通用 CPU 還會在將來至關長一段時間內做爲一種成熟穩定、發展緩慢的技術而存在。

2. 將來的芯片和數據中心將會是全面異構的，GPU、AI 芯片、FPGA 和其餘加速器都會是其中的一部分。

3. 那些不能很好被專用芯片加速的應用（例如事務型數據庫加速芯片）、那些雖然可以被加速但沒法大量落地的應用，以及那些不能利用雲的規模效應的應用，都將被遠遠地甩在後面。

 

 

07後記

 

 

「天之道，損有餘而補不足；人之道，損不足以奉有餘。」

 

社會、經濟和科技發展到必定階段必然會致使兩極分化。那些時代寵兒們將會不成比例地獲取社會資源和享受福利的傾斜，而剩下的那些則頗有可能持續陷入到不能自拔的「新常態」中去。若是社會的進步不能如 CPU 的高速發展通常爲大部分人所「感知」，那社會體制的失衡就會愈發明顯，進而影響總體的經濟發展和進步。資本的逐利性和人們自我意識的覺醒會是一個持續的矛盾，只不過此次專用芯片這隻蝴蝶揮動了一下翅膀。

 

關於做者：

徐凌傑，加州大學伯克利分校 MBA，現任阿里雲智能總監，負責包括 GPU 和 AI 芯片在內的異構基礎架構。他的團隊專一於 AI 架構與應用的軟硬件協同。2018 年 9 月，他發佈了深度學習專用測試基準 benchmarks - AI Matrix。在加入阿里巴巴以前，他曾在 NVIDIA, AMD 和三星電子擔任 GPU 項目的高級管理和架構師崗位。

 

參考文獻

[1] Neil Thompson， 「The Decline of Computers as a General Purpose Technology」， http://ide.mit.edu/publications/decline-computers-general-purpose-technology

[2] "AFTER MOORE'S LAW", https://www.economist.com/technology-quarterly/2016-03-12/after-moores-law

[3] https://en.wikipedia.org/wiki/Busicom

[4] 「Annual Report and Form 10-K」，https://www.intc.com/investor-relations/financials-and-filings/annual-reports-and-proxy/default.aspx

[5] https://en.wikipedia.org/wiki/Tick%E2%80%93tock_model

[6] K Fatahalian，「Sequoia: Programming the Memory Hierarchy」，http://graphics.stanford.edu/papers/sequoia/sequoia_sc06.pdf

[7] https://en.wikipedia.org/wiki/Dennard_scaling

[8] AI Matrix, https://aimatrix.ai/

 

數智優質活動推介

 

由上海市經濟和信息化委員會、上海市商務委員會、上海市長寧區人民政府指導，上海市長寧區青年聯合會、億歐公司聯合主辦的「 2019全球新經濟年會-產業互聯網峯會」將在上海長寧舉辦。

 

本次大會邀請了慧聰集團、甲骨文、盛景網聯、千方科技、找鋼網、金山雲等產業巨頭 ，明勢資本、遠望資本、阿爾法公社、賽意產業基金等產業互聯網一線投資人。產業互聯網從業與創業者將共同參會交流產業互聯網的將來，共話產業變革新機遇。

 

大會截止日期6月13日，感興趣的小夥伴可「掃描下方海報二維碼 」 或點擊「閱讀原文 」 進行活動報名和查看大會議程安排。

 

活動頁面連接：https://www.iyiou.com/a/cyhlw_shanghai_2019/

掃描海報二維碼 或 點擊閱讀原文

進行「活動報名」以及「查看大會議程安排」

 

|| 推薦閱讀 ||

 

https://mp.weixin.qq.com/s/OwnWK8lT4Hlyf6shu4q6ig

 

https://mp.weixin.qq.com/s/omNnsgLJcJEQgry2NEFEng

 

 

 

星標我，天天多一點智慧