一塊GPU就能訓練語義分割網絡，百度PaddlePaddle是如何優化的？

 

1、 圖像語義分割模型DeepLab v3

隨着計算機視覺的發展，語義分割成爲了不少應用場景必不可少的一環。 好比網絡直播有着實時剔除背景的要求，自動駕駛須要經過語義分割識別路面，與日俱增的應用場景對語義分割的精度和速度的要求不斷提升。同時，語義分割數據集也在不斷地進化，早期的Pascal VOC2，其分辨率大多數在1000像素如下。而Cityscape的語義分割數據集分辨率所有達到了1024*2048，總共5000張圖片（精細標註），包含19類。這些數據集對研究者，計算設備，甚至框架都帶來了更大的考驗。

DeepLab v3+ 是DeepLab語義分割系列網絡的最新做，其前做有 DeepLab v1，v2, v3, 在最新做中，Liang-Chieh Chen等人經過encoder-decoder進行多尺度信息的融合，同時保留了原來的空洞卷積和ASSP層， 其骨幹網絡使用了Xception模型，提升了語義分割的健壯性和運行速率。其在Pascal VOC上達到了 89.0% 的mIoU，在Cityscape上也取得了 82.1%的好成績，下圖展現了DeepLab v3+的基本結構4：

 

 

 

DeepLab v3+在主幹網絡以後鏈接了Encoder和Decoder，可以在擴大網絡感覺的同時得到更加高清的分割結果。

在PaddlePaddle的模型庫中已經包含了DeepLab v3+的訓練以及測試的代碼。咱們首先安裝最新版本的PaddlePaddle而且下載PaddlePaddle的模型庫：

當模型倉庫成功克隆，你將能夠在目錄fluid/PaddleCV/deeplabv3+ 下看到用於訓練以及測試的代碼：

 

2、開始訓練

當數據和代碼都已經準備好，咱們能夠開始訓練了，訓練的參數和指令以下：

 

 

在這個命令中，咱們沒有使用任何預訓練模型，從噪音開始訓練DeepLab v3+。而且是直接使用全分辨率進行訓練（1024x2048，batch size=1）。幾個比較關鍵的參數解釋以下：

環境變量CUDA_VISIBLE_DEVICES=0限制了訓練過程僅使用一張GPU，若是存在多張GPU，能夠經過修改參數來獲得訓練速度的提高。

環境變量FLAGS_fraction_of_gpu_memory_to_use=0.99， 該環境變量將會讓PaddlePaddle佔用99%的顯存，能夠根據實際狀況進行調節。

環境變量inplace_normalize=1，該參數是PaddlePaddle進行顯存優化的關鍵，打開該開關將會讓框架對normalize layer進行 inplace 操做來優化顯存，如今支持的 normalize layer 有 group normalize。

環境變量fuse_relu_before_depthwise_conv=1，該參數是顯存優化的另外一個關鍵參數。這個參數會融合relu和depthwise conv來優化顯存。

參數--save_weights_path=$YOUR_SAVE_WEIGHTS_PATH， 這裏你須要填入保存模型的路徑。

參數--dataset_path=$YOUR_DATASET_PATH， 這裏你須要填入數據集的路徑。

3、空間時間消耗分析

根據打印出來的信息，咱們能夠發現，PaddlePaddle在訓練DeepLab v3+時，輸入一張全分辨率的圖片，顯存消耗爲10.2GB。得益於顯存消耗小於11G，咱們可使用1080ti完成訓練，訓練中每次迭代速度約爲0.85s。

咱們還可使用工具，分析DeepLab v3+各部分顯存消耗狀況：

 

 

 

在該圖中，顯存消耗最多的是主幹網絡，佔用了68.1%，其次是decoder部分，佔用了16.4%，以及encoder佔用了5.3%，剩下其餘部分爲損失函數和數據預處理的顯存消耗。

顯存消耗最多的是主幹網絡，佔用了68.1%，咱們能夠繼續查看主幹網絡內部顯存消耗狀況：

 

 

 

這個圖展現了在主幹網絡中的顯存消耗，Xception主幹網絡主要由三部分組成， EntryFlow，MiddleFlow，以及ExitFlow，能夠發現顯存消耗最大的是EntryFlow。

在上圖中，咱們能夠發現，儘管Xception主幹網絡層數最多的部分是MiddleFlow，可是顯存消耗最大的倒是EntryFlow，這是由於在EntryFlow裏的特徵尚未被充分下采用，分辨率至關高，同時EntryFlow裏的通道數也不容小覷，所以形成了EntryFlow巨大的顯存開銷，這也爲咱們的優化指明瞭方向。

 

 

 

DeepLab v3+使用的主幹網絡 Xception， MiddleFlow中的分離卷積塊重複了16次，層數相比較EntryFlow和ExitFlow要多得多，然而顯存消耗最大的倒是EntryFlow。

框架對比

除開對網絡內部的顯存消耗進行分析，咱們還對不一樣框架的顯存消耗進行了對比，下表展現了PaddlePaddle和TensorFlow1.12的顯存消耗以及性能對比，如下對比實驗使用的輸入數據是1024x2048全分辨率的圖片，batch size爲1，測試設備P40(24G)：

 

 

 

4、優化原理

這裏咱們採用的顯存優化策略是 fuse_relu_before_depthwise_conv 和 inplace_normalize。顧名思義,fuse_relu_before_depthwise_conv 是講relu和depthwise_conv融合爲同一個operator, 達到顯存的節省。而 inplace_normalize 則是使用原地操做來節省顯存。在卷積神經網絡中，conv+normalize+activation是常見模式，在這種模式下，使用這兩種優化策略，能夠節省3倍的顯存。這兩種優化策略概括起來就是操做融合和原地計算, 是顯存優化中的常見策略, 對於不一樣的框架經常須要耗費人力進行開發, 而咱們經過paddle的顯存優化能夠很輕鬆的實現這一點。 該優化圖示以下：

 

 

 

在該圖中，紅框標註的data爲會消耗顯存的數據塊，能夠看到，經過inpalce和fuse兩種操做，原來須要存儲6個數據塊，優化後僅僅須要2個數據塊。

在上圖中，咱們能夠發現，inplace和fuse兩種操做，都分別幫助咱們在每個conv+normalize+activation塊中節省了1個數據塊，因此顯存節省的更多了，咱們的分割網絡也能夠消耗更少的顯存資源。

 

總結

顯存空間優化和時間優化同樣，對空間消耗的壓榨是沒有止境的。層出不窮的模型，各類不一樣的優化方式，都對框架提出了很高的要求，選擇一款兼顧效果和性能的深度學習框架，每每可以讓項目事半功倍。