痞子衡嵌入式：Ethos-U55，ARM首款面向Cortex-M的microNPU

---

　　你們好，我是痞子衡，是正經搞技術的痞子。今天痞子衡給你們介紹的是ARM Ethos-U55。

　　ARM 前幾天剛發佈了 Cortex-M 家族最新一款內核 - Cortex-M55 以及首款面向 Cortex-M 系列的 microNPU - Ethos-U55。Cortex-M55 是第一款面向 AI/ML 的 Cortex-M 內核，痞子衡也專門爲此寫過一篇小文 《爲AI/ML而生(Cortex-M55)》，在那篇小文裏痞子衡只是一筆帶過 Ethos-U55，未做深刻探討，今天痞子衡就跟你們好好聊聊 Ethos-U55。

　　在正式介紹 Ethos-U55 以前，有必要說起一下 ARM 公司的 Project Trillium 項目，這是 ARM 公司於2018年2月推出的一套包括新的高度可擴展處理器的 Arm IP 組合以及相關配套軟件的機器學習平臺。這個平臺裏有你確定不陌生的 Mali 系列 GPU 和 Arm NN 庫，以及2019年10月發佈的 Ethos-N 系列 NPU，現在 Ethos-U55 也正式加入了 Project Trillium 大軍。

　　那麼 Ethos-U55 究竟是什麼？其實它是一種小型的專用的 microNPU 推理加速器，強大的運算能力是其最核心的特色，其性能可達 64 - 512 GOP/s（Giga Operations Per Second，每秒十億次的運算），這個運算能力秒殺 Cortex-M CPU。不過對比用在 Cortex-A 系列上的大型 NPU - Ethos-N 的 1 - 4 TOP/s 性能 （Trillion Operations Per Second，每秒萬億次的運算）仍是要弱一些，所以它只能算 microNPU，適合與 Cortex-M 搭配工做。

　　在神經網絡框架上 Ethos-U55 當前僅支持 TensorFlow Lite Micro，這點跟 Ethos-N 能支持的框架全家桶（TensorFlow, TensorFlow Lite, Caffe2, PyTorch, MXNet, ONNX）相比也單調一些，但畢竟是單片機 AI 嘛，第一步是先能玩起來，TensorFlow Lite 夠用了。

　　雖然 Ethos-U55 是同 Cortex-M55 一塊兒發佈的，但它並不單單隻能用在 Cortex-M55 上，其還能夠搭配 Cortex-M4/M7/M33 一塊兒工做，只不過 Ethos-U55 與 Cortex-M55 搭配起來效果最佳，其組合性能相比 Cortex-M7 單系統要提升 50 倍，而 ML 性能更是提高了使人瞠目結舌的 480 倍。

　　前面介紹了那麼多 Ethos-U55 性能，咱們再來看看它是如何與 Cortex-M 一塊兒協同工做的，且以它的最佳搭檔 Cortex-M55 爲例。Ethos-U55 上設計了兩個 AXI master 接口(64bit)，其中 AXI-1 是可讀可寫的，用於訪問共享 SRAM；另外 AXI-2 是隻讀的，專門用於從 NVM(flash) 裏獲取指令執行。此外 Ethos-U55 上還設計了一個 APB slave 接口，用以提供控制及配置寄存器的訪問。

　　因此 Ethos-U55 在系統裏的工做流程是，Cortex-M55 經過 APB 接口向 Ethos-U55 發出啓動神經網絡處理命令，Ethos-U55 收到命令後經過 AXI-2 從 NVM 獲取具體命令序列指令，處理完成後 Ethos-U55 經過專門 IRQ 信號線向 Cortex-M55 發出中斷事件。

　　讓咱們以一個典型的智能語音應用再來分析 Ethos-U55 與 Cortex-M55 協同工做機制，默認狀況下 Ethos-U55 保持低功耗模式，由 Cortex-M55 來完成語音檢測以及喚醒詞識別(KWS)，一旦檢測到有效喚醒詞，這時候即可激活 Ethos-U55 完成後續語音識別(ASR)任務，以及進一步神經網絡處理去識別語義。

　　至此 Ethos-U55 痞子衡便介紹完了，不知道哪一個 MCU 廠商會率先推出含這款 microNPU 的 MCU，不知道這款 microNPU 會和哪款 Cortex-M 內核初次搭檔，留言說出你的答案。

歡迎訂閱

文章會同時發佈到個人 博客園主頁、CSDN主頁、微信公衆號 平臺上。

微信搜索"痞子衡嵌入式"或者掃描下面二維碼，就能夠在手機上第一時間看了哦。