CNN 計算效率的研究一直備受關注,但因爲功率和帶寬的嚴格限制,CNN 仍難以應用在嵌入式系統如移動視覺、自動駕駛中。在斯坦福大學發表在 Nature 旗下 Scientific Reports 的這篇論文中,研究者提出在 CNN 網絡前端替換一個光學卷積層(opt-conv)的方案,能夠在保持網絡性能的同時顯著下降能耗,並在 CIFAR-10 數據集的分類任務上驗證了其結論。光學卷積層也就是用光學器件實現的卷積層,其光學運算具有高帶寬、高互聯和並行處理特性,並能光速執行運算,功耗接近於零。該技術有望在低功耗機器學習領域獲得進一步發掘。前端
選自Nature算法
做者:Julie Chang 等數組
引言網絡
深度神經網絡已在各個領域取得了普遍應用,從計算機視覺到天然語言處理以及遊戲等。卷積神經網絡(CNN)利用各類圖像特徵的空間不變性,在圖像分類、圖像分割甚至圖像生成等計算機問題中很是受歡迎。隨着各種任務的性能大幅提升,這些網絡中的參數和節點數也急劇增長,訓練和使用這些網絡的能耗和內存也相應增長。架構
雖然學習網絡權值的訓練階段很緩慢,但在推理過程當中,因爲要數百萬次的引用內存和矩陣乘法,就算是大型模型也須要大量能耗和內存。爲了提升效率,可採起保持性能的同時壓縮 CNN 的方法,包括修剪法、量化訓練、霍夫曼編碼,以及更換架構。硬件方面,有不少機器學習的專門處理單元,如如 IBM 的 TrueNorth 芯片、Movidius 視覺處理單元(VPU)、谷歌的張量處理單元(TPU)。其餘以推理爲重點的針對嵌入式視覺應用嘗試將一部分圖像處理結合到傳感器上,以消除或減小將完整圖像數據傳送處處理器的需求。CNN 計算效率的研究一直備受關注,但因爲功率和帶寬的嚴格限制,CNN 仍難以應用在嵌入式系統如移動視覺、自動駕駛和機器人、無線智能傳感器中。框架
研究者試圖採起一種互補的策略,在模擬電路或數字電路計算前增長一層光學計算,提升性能的同時,僅增長最小電路的計算成本和處理時間。光學計算因其高帶寬、高互聯和固有的並行處理特性而備受關注,計算速度都爲光速。在自由空間或光子芯片上就能夠進行一些超低功耗甚至零功耗的操做。做爲構建光學 CNN 的框架,可優化和擴展的光學配置將保留這些優點,並將引發計算機視覺、機器人、機器學習和光學社區的興趣。光學神經網絡(ONN)最初是由光學器件執行計算量巨大的全鏈接層矩陣乘法的研究引發。最近在學術研究和工業領域都從新引發了人們的關注。然而,ONN 的文獻中都未涉及卷積層,但卷積層在計算機視覺應用中很是重要。此外,這些方法都是利用相干光做爲信號發展起來的,這使它們難以適應計算攝像系統。機器學習
研究者從計算成像的角度實現光學 CNN:經過光學和算法協同設計,將圖像採集和計算結合起來。計算型攝像機利用定製光學器件中光的物理傳播特性,來編碼在標準 2D 圖像抓取中丟失的場景信息。研究者提出一個位於前饋 CNN 以後的計算成像系統模型,用來協助輸入圖像的分類。經過將 CNN 的第一個卷積層引入光學器件,能夠減小推理過程當中的電路處理器的負載。此外,在成像場景中,輸入信號已是光信號了,因此在傳感器讀取以前,很容易經過額外的無源光學元件進行傳播。ASP 視覺系統曾探究過一種混合光電 CNN 的概念,使用 angle sensitive pixel(APS)來近似經典 CNN 的第一個卷積層,可是卷積核集是固定的。同時另外一項研究將優化的元素結合到神經網絡啓發的多層光學系統中,但並無建立出新的 CNN。相比之下,他們的目標是設計一個帶有光學卷積層的系統,用於解決特定分類優化問題,進而經過自定義的光電 CNN,實現低功耗推理。electron
本文提出一種光學卷積(opt-conv)層的設計,該層具備可優化的相位掩模,該掩模利用由線性和空間不變的成像系統執行的固有卷積。首先研究者在兩個模擬模型的圖像分類中測試了他們的方法。光學相關器做爲卷積層中最簡單的應用,由一個對圖像進行了模板匹配的卷積層構成,曾被用於光學目標檢測和追蹤。下面將說明 opt-conv 層如何擬合更大的混合光電 CNN,該卷積層的輸出會饋送到數字化的全鏈接層。在這兩種狀況下,研究者證實了模擬光電配置的分類準確率能夠與同一網絡結構的無約束電子的分類準確率相媲美。最後研究者經過建立優化的相位掩模並構建雙層混合光電網絡原型,在灰度 CIFAR-10 數據集上進行分類,驗證了模擬結果。數字全鏈接層在測試數據集上的分類準確率約爲 30%,而研究者採用的模型原型獲得了 44% 以上的準確率,在計算成本相同時,可獲得近 50% 的單層性能提高。相比之下,增長一個標準卷積層也能提高類似的準確率,但會使計算成本數量級增長。綜上,研究者證實了包含初始光學計算層的混合光電卷積神經網絡如何在性能上獲得提高,同時將系統的延遲或功耗降到最低。性能
論文:Hybrid optical-electronic convolutional neural networks with optimized diffractive optics for image classification學習
論文連接:https://www.nature.com/articles/s41598-018-30619-y#author-information
卷積神經網絡(CNN)在各種計算機視覺應用中都有驚豔表現,但它們的高性能須要以高計算成本爲代價。儘管在算法和硬件方面都有所提升,但因爲功率限制,在嵌入式系統中運行 CNN 仍然很困難。在本文中,研究者嘗試採起一種互補的策略,在電路計算前增長一層光學計算,在提升圖像分類性能同時,僅增長最小電路計算成本和處理時長。研究者設計了一種基於優化衍射光學元件的光學卷積層,並在兩個模擬實驗中進行了測試:一個學習到的光學相關器和一個雙層光電 CNN。研究者在仿真和光學原型中證實了他們的光學系統的分類準確率能夠與對應的電學實現相媲美,同時大大節省了計算成本。
圖 1:光學卷積層設計。(a)4f 系統圖,能夠經過在傅里葉平面上放置相位掩模來實現光學卷積層(opt-conv)。(b)數字卷積層的標準組成,包括輸入圖像、卷積核堆棧和相應的輸出量。(c)opt-conv 層中的等效組成,核和輸出以二維數組的形式平鋪在平面,而不是堆疊在深度維數中。
實驗結果
圖 2:學習到的光學相關器。(a)光學相關器示意圖,其中 conv 塊由圖 1 所示的 4f 系統組成。(b)多通道無約束數字卷積層、多通道非負數字卷積層、平鋪核單通道 opt-conv 層,以及以先前優化的平鋪核爲目標的相位掩模優化產生的 PSF 的特徵優化核。
圖 3:混合光電 CNN。(a)有單個 opt-conv 層的模型原理圖,對傳感器圖像進行處理並送入後續的數字 CNN 層。(b)優化的相位掩模模板和生成的相位掩模在不一樣縮放級別的顯微圖像。(c)在相應的正(頂部兩行)和負(底部兩行)子圖像作差後,由相位掩模、樣本輸入圖像、各自傳感器圖像和假陰性子圖像產生的 PSF 的仿真和捕獲版本的比較。
表 1:各種模型中的混合光電 CNN 在灰度 CIFAR-10 中分類的表現。模擬模型的分類準確率是五次試驗的平均值。計算了模擬模型的標準差。在相關時,學習參數和 FLOP 被分爲網絡的光學部分和電學部分。
參考連接:https://www.nature.com/articles/s41598-018-30619-y#author-information