自動網絡搜索（NAS）在語義分割上的應用（二）

前言：本文將介紹如何基於ProxylessNAS搜索semantic segmentation模型，最終搜索獲得的模型結構可在CPU上達到36 fps的測試結果，展現自動網絡搜索（NAS）在語義分割上的應用。

隨着自動網絡搜索（Neural Architecture Search）技術的問世，深度學習已慢慢發展到自動化設計網絡結構以及超參數配置的階段。尤爲在AI落地的背景下，許多模型須要部署在移動端設備。依據不一樣設備（GPU， CPU，芯片等），不一樣的模型需求（latency， 模型大小，FLOPs），使用NAS自動搜索最佳網絡結構將會是一個頗有潛力的方向。上一篇介紹了NAS的基本框架和入門必讀DARTS [1]，以及在semantic segmentation領域的應用。 距離如今纔不過幾個月，NAS論文數量明顯增加：在理論研究方面，search strategy，evaluation performance的方法看似趨於穩定，不得不提到最近FAIR團隊的RegNet [2]探討了搜索空間的設計，經過大量實驗把常見的設計模型的理論一一驗證，咱們能夠根據它的結論縮小搜索空間從而提升搜索效率；在應用方面以仍是object detection爲主，也有segmentation， reID， GAN等領域。

NAS算是一項新技術，可是語義分割semantic segmentation倒是老生常談。自FCN的問世起，SegNet, UNet這種簡單粗暴的encoder-decoder結構在多種圖像上都能達到能夠接受的結果，deeplab系列以後更是在開源數據集達到巔峯。從學術角度看semantic segmentation彷佛已達到瓶頸，因而researcher們紛紛轉向小樣本，semi-supervised，domain adaption, cloud point等方向另闢蹊徑。可是semantic segmentation落地卻很是困難。在實際落地場景中，使用常見的backbone (resnet或yolo系列) 就可以完成各類object detection任務，可是在segmentation上效果卻很差：

1. 因爲光線等緣由，實際場景圖像的intensity分佈更復雜，而segmentation須要細分邊界， 對像素值的斷定尤其重要。然而，相比detection來講segmentation的數據標記成本高致使訓練數據較少，只依靠data augmentation等手段提高有限。
2. Segmentation是pixelwise的任務，由於它要處理到每個pixel，因此模型通常都會比object detection的模型大許多（你看這個模型它又長又寬）。若是你的模型被要求real-time推理（>16 fps），那麼準確度和速度必然會成爲衝突，Double kill！
3. 當語義分割用在了視頻流，對準確度的要求會更高。即便每兩幀只相差幾個pixel，即便在mIoU的數值上相差無幾，可是人眼看上去不夠穩定，會有「抖動」的邊界， Triple kill！
4. 當語義分割模型走下雲端，部署在算力有限的移動端，底層芯片可能對不少操做不支持，使得在本來在能夠在GPU上開心玩耍的模型到了CPU上便一朝打回解放前， Quadra kill！

Semantic segmentation落地必需要平衡模型的準確度和速度，而設計這樣的網絡結構又十分困難。嘗試了BiSeNet [3]，ShuffleNetv2 [4]，MobileNetv3 [5]等一系列小模型，可是準確度和速度都沒達到要求。正所謂萬丈高樓平地起，成功只能靠本身，最終仍是要寄但願於NAS自動搜索出知足條件的模型。上篇介紹的NAS用在語義分割還在探索階段，在GPU上運行而且嘗試減少FLOPs或Params。可是FLOPs或者參數量與模型推理速度並非正相關，只減小參數量不能知足實時推理的要求。後來的FasterSeg [6]看似速度驚人，其實也用了TensorRT來加速。本文將嘗試在CPU上完成實時的人形分割的任務，選擇ProxylessNAS做爲baseline來搜索模型結構。實驗結果證實了ProxylessNAS [7]仍是經得起考驗的，業界良心。

1.Overview of ProxylessNAS

選擇ProxylessNAS [7]的緣由不只僅是它出自名門，代碼開源，在Cifar10和ImageNet數據集的準確度能從一衆NAS模型中脫穎而出， 並且它也是比較早的考慮到了模型性能的work（如速度，模型大小，參數量）。 除此以外，與DARTS [1]系列搜索的DAG cell不一樣，ProxylessNAS [7]的主幹網絡採用簡單的鏈狀結構。這種鏈狀結構(chained-structure)比DAG cell有明顯的速度優點，由於它的算子之間的鏈接方式比較簡單。

1.1 Super-net setting

咱們仍是用NAS的基本框架來解析ProxylessNAS [7]。

Figure 1: NAS framework

• Search Space: 在搜索空間中定義的operation candidate的是來自MobileNetv2 [8]的block，分別取不一樣的kernel size（3, 5, 7）和不一樣的expansion rate（3，6），再加上identity和zero操做一共8種ops（c.f. Figure 1）。 網絡的宏觀結構是一個常見的鏈狀結構來完成classification, 每一層都有8個ops candidate（c.f. Figure 2）。正如前面提到的，算子之間太複雜的鏈接方式會讓速度變慢，常見的小模型結構都是這種鏈狀結構。
• Search Strategy: 搜索策略採用可微分的方法，這種搜索策略近兩年很常見。雖然不及RL和EA穩定，可是能夠大幅度提升搜索速度。
• Evaluation Performance: One-shot 權值共享, 也是現有最多見的super-net的形式。對於計算資源匱乏的團隊和我的來講，這種方式可以提升搜索效率減小內存佔用。

1.2 Super-net training

Super-net的參數包含兩部分：operation自己的參數和每一個operation的權重（在Figure2中記爲{alpha，beta，sigma … }）。將訓練數據分紅兩部分，一部分用來訓練super-net裏面operations的weight，另外一部分用來更新ops的權重。

• Training： 每一個iteration開始的時候，在每一層都隨機激活一個operation（c.f. the binary gate in Figure 2），將全部激活的operation鏈接起來組成一條子網絡記爲subnet，經過back propagation來更新這條subnet的weight。沒有激活的ops不放入內存，也就是說訓練的時候只有一條subnet在內存中，這也使得整個搜索過程能夠在單卡上完成。
• Searching：每一個operation的權重alpha表明它的重要程度，也就是最終被選擇的機率，probability = Softmax(alphas)。換言之，搜索的過程，就是不斷更新權重alpha的過程。和training同樣，每一個iteration都要隨機激活一條subnet，可是此次要讓operation的weight固定，經過back propagation計算這條subnet上的alpha。Paper裏面Eq (4)給出了計算方式，因爲binary gate和probability成正比，公式裏面將loss對probability的求導轉化成對binary gate的求導，而loss對binary gate的導數在back propagation的時候有計算過而且保存了下來（這部分paper沒有細說可參考源代碼）。

Figure 2 illustrates the architecture of the super-net: the chained-structure searchable backbone (left) and each layer of the searchable backbone (right).

Figure 2所表達的ProxylessNAS的流程，其實就是一邊訓練operation參數，一邊更新operation的權重alpha，最後用Softmax選擇每一層中擁有最大probability的operation便可。讀過paper以後確實發現有許多值得借鑑之處，可是一樣也有一些疑問 (c.f. Table 1)。

Table 1 discusses the advantages and remaining issues of ProxylessNAS

2.Real-time Semantic Segmentation using ProxylessNAS on CPU

儘管對ProxylessNAS還有不少沒有解決的問題，奈何單卡搜索訓練省時省力瑕不掩瑜。藉助Intel的openvino推理框架，本文嘗試用ProxylessNAS搜索可運行在CPU(x86)上的real-time semantic segmentation模型作人形分割，下面會詳細介紹對算法的改進和實驗結果。

2.1 Super-net setting

• Search space: 在設置搜索空間的時候，秉着大力出奇跡的心態我把經常使用的operation都塞了進來，分別是MBv3 (3x3), MBv3 (5x5), DilConv (3x3), DilConv (5x5), SepConv (3x3), SepConv (5x5), ShuffleBlock一共7種ops。其中MBv3是來自MobileNetv3 [5]的基本模塊，DilConv和SepConv是來自DARTS [1]的dilated sepatable convolutions和separable convolutions，ShuffleBlock是來自ShuffleNetv2 [4]的基本模塊，前面三種operation都設置了兩種kernel size能夠選擇。在定義宏觀網絡結構的時候，採用deeplabv3+ [9]的結構 (c.f. Figure 3): head + searchable backbone + ASPP + decoder。與UNet相似，將encoder的feature map直接」add」到decoder，這裏沒有用」concatenation」是爲了不模型過「寬」使速度變慢。其中s2, s4, s8, s16, s32分別指feature map的resolution降低2，4，8，16，32倍。與ProxylessNAS相似，supernet的參數包含兩部分，一部分是operation自己的weight，另外一部分是operation的權重alpha。
• Searching Strategy: 延續ProxylessNAS的可微分求導方式
• Evaluation Performance: One-shot權重共享

Figure 3 illustrates the macro-architecture of our super-net (top) and the searchable backbone (bottom)

2.2 Improvement from ProxylessNAS

• Decoupling the training and searching process: 在ProxylessNAS中「training」和「searching」是同時輪流完成的，也就是一邊訓練一邊搜索。我在實驗的時候把「training」和「searching」完全分開，先用50個epochs只更新super-net裏面operation的參數，在訓練以後，再更新operation的權重alphas。這麼作的緣由是避免在operation參數不穩定的時候，某些alpha過大影響後面的決策。
• Consider the latency as a hard constraint: 由於模型推理速度比較重要，並且不能用簡單的疊加方式計算，因此每次隨機激活subnet的時候都要算一下這條subnet的推理速度，若是不符合要求（如latency > 30ms）則從新搜索一條subnet，這樣必定程度上避免不少推理速度過慢的operation被選擇和學習。

2.3 Experiments

Experiment setting:

• Task: 基於CPU（x86）的實時人像分割
• DL platform: Intel openvino

https://software.intel.com/content/www/us/en/develop/tools/openvino-toolkit.html

• Dataset : >20k張圖像，一部分來自 coco/pascal數據集中帶有」person」類別的，另外一部分是私有數據
• Data augmentation: random crop, cutout, random brightness/contrast adjust, random Gaussian blur/sharpen
• Searching time: 單卡2 GPU days (K80) 包括training和searching

Experimental results:

在同一網絡結構下，咱們用MobileNetv3 [5]做爲backbone進行對比，對比結果見Table 2。

Table 2 illustrates the experimental results

從實驗數據來看，MobileNetv3 [5]的參數量和FLOPs都比咱們搜索出來的小一倍，可是在K80上的推理速度很相近，準確度mIoU差異較大。若是綜合考量準確度和速度的話，咱們用ProxylessNAS [7]搜索出來的backbone要明顯優於MobileNetv3 [5]的backbone。 Figure 4的實驗結果能夠看出當feature複雜一些的時候，MobileNetv3 [5]的結果要差不少

Figure 4 compares the segmentation results of our searched network and MobileNetv3

將模型轉化成openvino可支持模式部署在CPU (Intel Core i7-8700)上，運行速度在27ms每幀左右（FPS=36），結果如Figure 5。

Figure 5 shows the segmentation results in real application scenario

是時候展現一下搜索出來的backbone了，長這樣~ (c.f. Figure 6)

Figure 6 illustrates the searched backbone structure

3．Future work

經過實驗咱們看到ProxylessNAS搜索策略能夠從classification遷移到segmentation，在速度相仿的狀況下，搜索出來的網絡要比本來MobileNetv3 [5]準確度提升不少。可是隻限於當前的場景，不能說人工設計出來的模型就很差或必定會被取代（雖然MobileNetv3也是NAS搜出來的）。在特定場景和有特定需求的時候，用NAS設計網絡結構確實比人工設計加上大量調參實驗要更高效，在AI落地方面更有發展前景。本文只是初探ProxylessNAS，後續還會有如下幾個方面的探索。

• 實驗結果代表super-net權值共享的形式有必定合理性。可是在結構搜索的時候，將每層probability最大的operation組成subnet做爲輸出結果仍是有不合理之處。由於subnet在搜索和訓練的時候具備必定的耦合性，每層的operation一榮俱榮一損俱損。最終將每層最佳的operation選出來，組合在一塊兒的時候未必能符合預先設定的hard constraint，這裏仍是有須要改進的地方，好比能夠計算相鄰兩層operation的sub-path的權重代替每層operation的權重。
• ProxylessNAS是MIT Hansong團隊早期的work，如今已有後續OFA問世（也是跪着讀完的）。在OFA中做者完全將training和searching分開，結合了knowledge distillation，先訓練teacher model，而後用NAS的思路在teacher model中搜索出最佳student model。OFA能夠理解爲自動化network pruning或自動distillation。若是OFA實驗效果好，後續還會有關於OFA的實戰經驗的分享。
• Figure 5種實際效果展現的時候，人像和背景融合的比較天然，可是語義分割歸根究竟是一個分類任務，邊緣的pixel「非黑即白」，若是想要和背景天然的融合，須要計算出前景的透明度alpha matte，這裏涉及到另外一項背景摳圖技術，和segmentation配合使用效果更佳。其實Figure 5的下圖中已經看出segmentation沒有把頭髮分割出來，可是在結果中卻保留了下來，也是用了背景摳圖的緣由。Matting除了能夠優化segmentation結果，還能夠實現切換背景(cf. Figure 7)，PS等功能。

下一篇我會介紹一下關於背景摳圖的實戰經驗，敬請期待。

Figure 7 shows the demo of background matting

References

[1] Liu, Hanxiao, Karen Simonyan, and Yiming Yang. "Darts: Differentiable architecture search." ICLR (2019).

[2] Radosavovic, Ilija, et al. "Designing Network Design Spaces." arXiv preprint arXiv:2003.13678 (2020).

[3] Yu, Changqian, et al. "Bisenet: Bilateral segmentation network for real-time semantic segmentation." Proceedings of the European conference on computer vision (ECCV). 2018.

[4] Zhang, Xiangyu, et al. "Shufflenet: An extremely efficient convolutional neural network for mobile devices." Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). 2018.

[5] Howard, Andrew, et al. "Searching for mobilenetv3." Proceedings of the IEEE International Conference on Computer Vision (ICCV). 2019.

[6] Chen, Wuyang, et al. "FasterSeg: Searching for Faster Real-time Semantic Segmentation." ICLR (2020).

[7] Cai, Han, Ligeng Zhu, and Song Han. "Proxylessnas: Direct neural architecture search on target task and hardware." ICLR (2019).

[8] Sandler, Mark, et al. "Mobilenetv2: Inverted residuals and linear bottlenecks." Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). 2018.

[9] Chen, Liang-Chieh, et al. "Encoder-decoder with atrous separable convolution for semantic image segmentation." Proceedings of the European conference on computer vision (ECCV). 2018.

點擊關注，第一時間瞭解華爲雲新鮮技術~