蘋果iPhone X上搭載的那顆A11仿生芯片,到底牛在哪?

蘋果iPhone X上搭載的那顆A11仿生芯片,到底牛在哪?

 

上週,蘋果公司在剛剛落成投入使用的「飛船」新總部(Apple Park)舉行2017年秋季新品發佈會,整場發佈會基本被iPhone X搶盡了風頭(想採訪一下iPhone 8/8p的心理陰影面積)。iPhone 8/8p和iPhone X都搭載了蘋果自研的A11 Bionic(仿生)芯片。雖然蘋果全程並無在這款芯片上花太多功夫介紹,但咱們仍舊知道它集成了一個專用於機器學習的硬件——「神經網絡引擎(Neural Engine)」。可別小看了這塊A11,經過智東西仔細研究發現,它不只是iPhone X中一衆「黑科技」的來源,並且蘋果爲了打造這塊芯片早在9年前就開始了技術佈局。算法

1、參數亮相,跑分爆表了

在介紹A11裏專門用於機器學習的「神經網絡引擎」以前,咱們先來看看A11的基本參數。工藝方面,A11採用了臺積電10nm FinFET工藝,集成了43億個晶體管(上一代採用16nm工藝的A10 Fusion集成了33億個晶體管,華爲麒麟970則用10nm工藝集成了55億個)。網絡

A11搭載了64位ARMv8-A架構的6核CPU,其中包括2個名爲「Monsoon」的性能核(performance core)和4個名爲「Mistral」的能效核(high-efficiency core),性能核比上一代A10裏的快了25%,能效核則快了70%。架構

並且,與A10不一樣,A11中使用了蘋果自研的第二代新型性能控制器,容許6個CPU內核同時使用,總體性能比上一代快了70%。至於爲何分爲性能核和能效核呢?當手機進行發短信、瀏覽網頁等輕量任務時,系統會選擇調用能耗更低的能效核(high-eggiciency core),而當手機須要運行對計算能力要求更高的軟件時,則須要動用性能核(performance core)進行處理,藉此能夠有效延長平均電池壽命。搭載了A11的iPhone X在充滿電後,將會比iPhone 7延長2個小時的待機時間。A11的另一大亮點就是首次搭載了蘋果自研的GPU,這是一款3核GPU,性能相比A10 Fusion提高30%,只須要一半的功耗就能達到A10的表現。這是今年4月蘋果宣佈和英國GPU設計公司Imagination Technologies「分手」後推出的首款自研GPU,針對AR、沉浸式3D遊戲等方面都進行了優化,比A10快了30%。A11裏還集成了蘋果自研的ISP、自研的視頻編解碼器等等。從種種強調的「自研」咱們不難發現,蘋果已經愈來愈強調架構的自主化。在完全跟老朋友Imagination Technologies分手後(而且致使人家股價斷崖式下跌70%後),蘋果的下一個自研目標也許會移到基帶技術上,與高通曠日持久的專利訴訟案件算得上是前兆了。此外,咱們也能夠從A11在Geekbench的跑分上一窺究竟:在Geekbench中有A11的幾個跑分,其中單核性能最高的是4274,多核性能最高的是10438,而取這些跑分平均值後,單核性能是4169,多核性能是9836。這是什麼概念呢?跟上一代A10的「單核成績3332,多核成績5558」比起來,A11在兩方面的性能有接近30%和50%的飆升。而iPad Pro中的A10X單核性能平均在3900左右,而多核性能是9200左右,依然弱於A11。而Android陣營的種子選手——高通驍龍835的GeekBench成績爲單核2000左右,多核6500左右。框架

2、A11就是「人工智能芯片」

此次,蘋果在自家的A11 Bionic芯片上搭載了一個專用於機器學習的硬件——「神經網絡引擎(neural engine)」。如今所謂的手機處理器,好比高通的83五、蘋果的A十一、麒麟970等,實際上所指的是一個「處理器包」封裝在一塊兒,這個計算包專業一點說叫Soc(System-on-a-Chip),高大上的說法是「計算平臺」;根據分工不一樣,不少專用功能的處理單元加進來,好比咱們最熟悉的是GPU,如今這個包裏的獨立單元數量已經愈來愈大,好比ISP(圖像處理)、Modem(通訊模塊)、DSP(數字信號處理)等。不一樣的數據進來,交給不一樣特長的計算模塊來處理將會獲得更好的效果、更高的能效比,A11的神經網絡引擎(neural engine)跟麒麟970的NPU同樣,是在手機處理器平臺新加入的一個擅長神經網絡計算的硬件模塊。而這也是爲何從20nm、16nm、到如今的10nm、以及研發中的7nm,各大芯片設計商、代工商都在拼命把芯片技術往小了作,爲的就是在不影響芯片大小的前提下擠進更多的獨立處理單元。機器學習

A11的神經網絡引擎採用雙核設計,每秒運算次數最高可達6000億次,至關於0.6TFlops(寒武紀NPU則是1.92TFlops,每秒能夠進行19200億次浮點運算),以幫助加速人工智能任務,即專門針對Face ID,Animoji和AR應用程序的ASIC(專用集成電路/全定製AI芯片)。有了神經網絡引擎,蘋果高級副總裁Phil Schiller頗有底氣的表示:ionic

「A11 Bionic是一款智能手機到目前爲止所能擁有的最強勁、最智能的芯片。而基於ASIC的深度學習,實現了高準確率以外,還能比基於通用芯片(GPU、FPGA)的方案減小功耗。」

不過,蘋果對這款神經網絡引擎的功耗、實測性能等方面都沒有進一步披露。A11同時也支持Core ML,這是蘋果在今年WWDC開發者大會上推出的一款新型機器學習框架,能讓開發者更方便地將機器學習技術整合到本身的App中。Core ML支持全部主要的神經網絡,如DNN、RNN、CNN等,開發者能夠把訓練完成的機器學習模型封裝進App之中。工具

3、買買買,買出來的AI帝國

從去2010年開始,蘋果就沒有中止過收購人工智能創企的步伐,而且每次給出的都是慣常聲明:「蘋果會不時收購規模較小的科技公司。咱們一般不討論目的或計劃。」很是有「事了拂衣去,深藏功與名」的意思。並且,每一個被蘋果收購的公司都會當即關閉對外的產品和服務,像是突然從世界消失通常。佈局

  • 收購芯片廠商性能

以芯片爲例,早在2008年,蘋果就以2.78億美圓收購了2003年成立加州的高性能低功耗處理器製造商PA Semi。隨後在2010年,蘋果以1.21億美圓收購了1997年成立的美國德州半導體邏輯設計公司Intrinsity,專一於設計較少晶體管、低能耗同時具有高性能的處理器。2011年年末,蘋果又以3900萬美圓的價格收購了以色列閃存控制器設計公司Anobit。2013年8月1日,蘋果收購了成立於2007年的加州半導體公司Passif Semiconductor,其專長於低功耗無線通信芯片(大膽地猜想一下Apple Watch的芯片技術是否是來自這裏)。其後的2015年末,蘋果再次斥資1820萬美圓,收購了一間位於加州聖何塞北部的面積7萬平方英尺(6500平方米)的芯片製造工廠。這座工廠原屬於芯片製造商Maxim Integrated Products,其設施包括了芯片製造工具,並且工廠地址靠近三星半導體公司。從以上一連串的買買買咱們能夠看到,蘋果的芯片佈局早在近十年前就開始了。學習

除了芯片以外,從2010年至今,蘋果已經陸續收購了四五十家創企,包括語音識別、圖像/面部識別、計算機視覺、AR、數據挖掘、機器學習、地圖、定位等等,而這其中幾個比較具有表明性的有:

  • 收購面部識別/表情追蹤廠商——Animoji和Face ID的技術來源

2010年,蘋果以2900萬美圓收購瑞典面部識別創企Polar Rose,他們開發的面部識別程序能夠能夠爲用戶自動圈出照片中的人臉。2015年11月,蘋果收購《星球大戰》背後的動做捕捉技術公司Faceshift,這家蘇黎世的創業公司開發了實時追蹤人臉表情,而後再用動畫表現出來的技術。該技術還能夠實現面部識別。2016年1月,蘋果收購了加州AI初創Emollient,該公司使用人工智能技術讀取圖片中的面部表情。2017年2月,蘋果以200萬美圓收購了面部識別以色列創企RealFace,該公司開發了一種獨特的面部識別技術,其中整合人工智能並將人類的感知帶回數字過程。

  • 收購AR引擎巨頭

2015年5月,蘋果收購AR引擎巨頭德國Metaio公司。彼時Metaio與Vuforia並肩稱霸AR引擎行業,Metaio擁有約15萬名開發者,Vuforia則擁有大約18萬,兩家的SDK開發者佔到了當時整個市場的95%以上,在AR的行業地位有如Windows和Mac OS之於PC。這個收購舉措,能夠看做是ARkit的技術來源。

  • 收購25年德國老牌眼球追蹤企業

而離如今最近的一次收購,就是蘋果今年6月時宣佈收購德國老牌眼動追蹤企業SMI(SensoMotoric Instruments)。其歷史要追溯到1991年,SMI從柏林自由大學學術醫療研究院剝離出來,獨自成立眼球追蹤技術公司,迄今已經有超過25年的發展歷史了。產品包括面向企業與研發機構的眼球追蹤設備/應用、醫療醫療眼控輔助設備、手機、電腦、VR設備等的眼控技術支持等。目前,眼球追蹤技術已經被集成在了iPhone X裏。在用Face ID解鎖時,只要你眼睛沒有看着屏幕,屏幕也是不會解鎖的。

4、用來幹啥:Face ID背後的結構光學技術

既然是「人工智能芯片」,固然是用來作人工智能——人臉識別、圖像識別、面部表情追蹤、語音識別、NLP、SLAM等等。而A11的神經網絡引擎第一個重要的應用就是iPhone X的刷臉解鎖——Face ID。雖然刷臉解鎖並非什麼石破天驚的新技術,可是蘋果的Face ID解鎖跟普通的基於RGB圖像的人臉識別解鎖不一樣。寒武紀架構研發總監劉少禮博士說:

「咱們此次對蘋果A11的AI引擎瞭解很少,特別是功耗、實測性能等方面蘋果發佈會基本沒有提。我的以爲iPhone X此次最大的亮點是距離傳感器,用來支持3D的Face ID,這個功能在業內仍是引發了不小震動,後續會給予這功能開發出很多有趣的應用。經過結構光發射器和紅外攝像頭配合,能夠捕捉人臉的深度信息,比以前用2D圖像做人臉識別進步了不少。」

根據原理和硬件實現方式的不一樣,行業內所採用的3D機器視覺主要有三種:結構光、TOF 時間光、雙目立體成像。

  • ▲三種主流的3D視覺方案表明性產品

雙目立體成像方案軟件算法複雜,技術還不成熟;結構光方案技術成熟,功耗低,平面信息分辨率高,可是容易受光照影響,識別距離近;TOF 方案抗干擾性好,識別距離遠,可是平面分辨率低,功耗較大。綜合來看,結構光方案更加適合消費電子產品前置近距離攝像,可應用於人臉識別 、手勢識別等方面,TOF方案更加適合消費電子產品後置遠距離攝像,可應用於 AR、體感交互等方面。

iPhone X的Face ID採用了人工智能加持的結構光方案:數據採集由該機正面上方的景深感知攝像機(即「劉海兒」,TrueDepth Camera System)完成,其紅外線發射器能夠發射3萬個偵測點,利用神經引擎(Neural Engine)將反射回來的數據與儲存在A11芯片隔區內的數據進行對比,實現用戶面部的3D讀取與處理。經過神經網絡訓練的加持,Face ID失誤率僅爲百萬分之一,遠小於Touch ID的五萬分之一。與此同時,iPhone X還具有眼球追蹤功能,在你面對屏幕,可是眼睛沒有看着它的時候,也是不會解鎖的。因此,這樣的人臉解鎖是照片騙不了的。並且,蘋果的軟件工程高級副總裁Craig Federighi曾表示,「咱們不會在用戶註冊Face ID時收集數據,它會保留在你的設備上,不會被髮送到雲端進行訓練。」 符合蘋果一向的「用戶隱私爲上」理念。最爲神奇的是,用戶面容適應(化妝、佩戴眼鏡、長鬍子、隨着年齡增加而變容改變等)過程須要用到的深度學習訓練也是在本地完成的。深度學習分爲訓練(Training)和推理/應用(Inference)兩部分,訓練階段所需的計算量比應用階段的要大上許多。另外一方面,計算與訓練的本地化也有助於讓Siri變得更加智能。畢竟有很多人認爲因爲蘋果對用戶的隱私過於重視,致使Siri發展較慢,競爭對手們後來居上。此外,在A11的加成下,iPhone X前頭「劉海兒」實現的臉部追蹤技術還能夠用於我的定製化表情Animoji(能捕捉並分析 50 多種不一樣的肌肉運動)、AR濾鏡等,新的互動的方式有望提升用戶的參與度和粘性,提升AR社交平臺的經濟價值。而3D視覺所提供的景深信息和建模能力是現有普通攝像頭沒法比擬的。而iPhone X還搭載了全新陀螺儀和加速計,刷新率達到60 fps,能夠實現準確的動做追蹤以及很好的渲染效果。在發佈會上,蘋果全球市場營銷高級副總裁Phil Schiller是這麼說的:「這是第一款真正爲AR打造的智能手機。」

5、火熱的AI芯片產業

當前人工智能芯片主要分爲GPU、ASIC、FPGA。表明分別爲NVIDIA Tesla系列GPU、Google的TPU、Xilinx的FPGA。此外,Intel還推出了融核芯片Xeon Phi,適用於包括深度學習在內的高性能計算,但目前根據公開消息來看在深度學習方面業內較少使用。其中,蘋果的A十一、寒武紀的A一、谷歌的TPU等都屬於ASIC,也就是專用集成電路。ASIC(Application Specific Integrated Circuit)。顧名思義,ASIC就是根據特定的需求而專門設計並製造出的芯片,可以優化芯片架構,針對性的提出神經網絡計算處理的指令集,於是在處理特定任務時,其性能、功耗等方面的表現優於 CPU、GPU 和 FPGA;但ASIC算法框架還沒有統一,所以並未成爲目前主流的解決方案。

  • ▲寒武紀1號神經網絡處理器架構

  • ▲谷歌ASIC產品探索

現有的ASIC包括谷歌的TPU、我國中科院計算所的寒武紀、應用於大疆無人機和海康威視智能攝像頭的Movidius Myriad芯片、曾用於Tesla汽車自動駕駛和ADAS的Mobileye芯片等針對特定算法以及特定框架的全定製AI芯片。此外,更近一步的的AI芯片前景,大概是IBM的TrueNorth這類的類腦芯片(BPU)。類腦芯片的目的是開發出新的類腦計算機體系結構,會採用憶阻器和 ReRAM 等新器件來提升存儲密度,目前技術遠未成熟。

  • ▲不一樣芯片在人工智能計算方面各有所強

結語:咱們離手機AI芯片還有多遠?

在蘋果的推進下,專用AI處理單元可能會愈來愈成爲智能手機芯片的發展趨勢。畢竟目前在生物識別、圖形圖像識別、用戶使用習慣學習等方面都愈來愈依賴機器學習技術,而不太穩定的網絡帶寬(你們記不記得早期Prisma要等很久才能生成圖片)、我的隱私、功耗比等問題也在驅動着手機芯片集成專用AI處理單元的發展。總的來講,不管是A11仍是以前的麒麟970,都是讓AI在手機端開始由軟到硬落地的表現,是人工智能進一步產業化落地的一個典型表明。

 

關注公衆號:

相關文章
相關標籤/搜索