1 問題描述前端
該論文針對醫學圖像的兩個關鍵問題:醫學圖像域內結構邊界的模糊性和在沒有專業領域知識的狀況下分割區域的不肯定性。當前的提升邊界精度的方法依賴於後處理(如CRF),結果會受手工參數的影響,提出告終構邊界保持的分割框架。算法
論文的主要貢獻在於:數組
(1) 提出了一種最適合目標區域的邊界關鍵點選擇算法。被選取的關鍵點經過帶有邊界關鍵點映射生成器的BPB進行編碼,它容許分割模型進一步利用結構邊 界信息,預測目標對象的結構邊界。網絡
(2) 提出新的形狀邊界感知評估器(SBE),自動生成邊界關鍵點信息。評估器向分割網絡反饋分割區域是否與邊界關鍵點吻合。框架
(3) 該方法能夠推廣到不一樣的分割模型。爲了評估BPB和SBE的泛化能力,將咱們的方法與三種最新的分割模型相結合,U-Net, FCN,Dliated 網絡。實驗代表,該方法提升了預測性能,具備統計學意義。函數
2 內容介紹性能
圖1 結構邊界保持分割的整體框架編碼
圖1是邊界保持分割框架的概述。該算法由邊界保持塊(BPB)的分割網絡和形狀邊界感知評估器(SBE)兩部分組成。BPB和SBE使用從關鍵點選擇算法中選擇的邊界關鍵點來保持目標物體的結構邊界。在BPB中,生成關鍵點映射,用於細化輸入特徵。而後,該分割網絡預測告終構邊界保留的分割映射。SBE網絡反饋給分割網絡給定的分割映射是否與邊界關鍵點映射重合。分割網絡和SBE對抗訓練後,僅使用分割網絡進行推理。lua
2.1 邊界關鍵點選擇算法設計
圖2 邊界關鍵點選擇算法
爲了獲得最適合groundtruth分割圖和表示目標區域結構邊界的關鍵點,做者設計了邊界關鍵點選擇算法:
(1) 首先,利用傳統的邊緣檢測算法從ground-truth分割圖中獲取目標物體的邊界。在目標對象的邊界上隨機選擇n個,,t爲迭代次數。
(2) 而後,經過鏈接第t次迭代時的n個點構造了邊界區域 ,
(3) 爲了獲得真值邊界關鍵點圖,計算與SGT的IOU,最後選取IOU值最大的邊界點做爲結構邊界關鍵點。
關鍵點表示爲:
將關鍵點映射到2維,使用交叉熵損失訓練模型,具體地,邊界點圖中是以這些點爲中心,將它們周圍半徑爲R的區域內都置爲1,其他位置置爲0。(提示:邊界點圖的構造方式相似關鍵點檢測任務中heatmap的構造方法,這種作法的好處在於2D的表示更適合卷積網絡的訓練和預測)。
2.2 Boundary Preserving Block (BPB)
圖3 訓練邊界保持塊(BPB)的詳細框架。ground truth邊界關鍵點圖由邊界關鍵點選擇算法生成。
圖3展現瞭如何在分割網絡中嵌入BPB框架。其中,邊界關鍵點映射生成器利用擴張卷積能夠有效地對具備不一樣接收域的特徵進行編碼/解碼。相似於殘差網絡,結構邊界保留信息特徵可寫做:
能夠看到,Mi使用並行的空洞卷積作邊界點圖的預測,用公式表達以下(其中r爲空洞採樣率,s爲卷積核大小):
最後經過最小化Mi和真值生成的邊界點圖 的交叉熵損失獲得邊界關鍵點生成器。
2.3 Shape Boundary-aware Evaluator (SBE)
SBE以邊界關鍵點圖和分割圖像(預測值或ground-truth)做爲輸入,將邊界關鍵點圖與給定的分割圖像跨通道鏈接並送入SBE網絡,SBE評價分割結果與邊界關鍵點圖是否一致。損失函數定義爲:
2.4 Loss function
文中提出的模型會產生3個部分的預測:分割圖預測、SBE的預測、各個卷積模塊對應的邊界點圖預測。所以損失函數由這三部分的損失函數組成,表示爲:
其中:
3 實驗結果
Dataset: PH2+ISBI 2016 Skin Lesion Challenge dataset; Their own Transvaginal Ultrasound (TVUS) dataset.(train: test=4: 1)
Optimizer: ADAM with learning rate 0.0001 in the segmentation and SBE network.
n=6, T=40000
3.1 實驗及其評估
3.2 多重BPB實驗
設計了5種方式放置BPB。實驗在TVUS數據集上進行。表5顯示了性能比較以及U-Net上的BPBs數量。5個變體以下:
•編碼器(前端):U-Net編碼器第一層的BPB。
•解碼器(end): U-Net解碼器最後一層的BPB。
•中心(1):U-Net中心的BPB
•中心(3): 8個卷積層後3個BPBs
•中心(6):4個卷積層後6個BPBs。
3.3 可視化結果
在PH2+ISBI 2016(1-3行)和TVUS(4 - 6行)上U-Net和UNet+BPB+SBE方法分割結果比較。(a)爲原始圖像,(b)爲ground truth分割圖像,(c)爲U-Net的結果,(d) UNet+BPB+SBE, (e)爲生成關鍵點圖的可視化結果。