UNet++：從新設計跳躍鏈接，利用圖像分割中的多尺度特徵git
題目：
github
UNet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentationweb
做者：
數據庫
Zongwei Zhou, Md Mahfuzur Rahman Siddiquee, Nima Tajbakhsh, Jianming Liang微信
來源：網絡
Computer Vision and Pattern Recognition 架構
Journal of IEEE Transactions on Medical Imaging 框架
(Submitted on 11 Dec 2019 (v1), last revised 28 Jan 2020 (this version, v2))electron
文檔連接：svg
https://arxiv.org/pdf/1912.05074v2.pdf
代碼連接：
https://github.com/MrGiovanni/UNetPlusPlus
摘要
目前最早進的醫學圖像分割模型是U-Net和全卷積網絡(FCN)的變種。儘管這些模型取得了成功，但它們有兩個侷限性:(1)它們的最優深度先天未知，須要大量的架構搜索，或者對不一樣深度的模型進行低效的集成;(2)它們的跳躍鏈接強加了一種沒必要要的限制融合方案，強制只在編碼器和解碼器子網的相同尺度的特徵映射上進行聚合。爲了克服這兩個侷限性，咱們提出了一種新的用於語義和實例分割的神經網絡結構——UNet++，具體以下:(1)使用不一樣深度的u - net高效集成來減輕未知網絡深度，這些U-Nets部分共享一個編碼器，同時使用深度監督進行聯合學習;(2)從新設計skip鏈接，在解碼器子網絡上聚合不一樣語義尺度的特徵，造成高度靈活的特徵融合方案;(3)設計一種剪枝方案，加快UNet++的推理速度。咱們評估UNet + +使用六種不一樣的醫學圖像分割的數據集,覆蓋多個成像技術如計算機斷層掃描(CT)、磁共振成像(MRI),和電子顯微鏡(EM),並證實(1)UNet + +持續優於基線模型語義分割的任務在不一樣的數據集和骨幹架構;(2) UNet++加強了可變大小對象的分割質量——相對於固定深度U-Net的改進;(3) Mask RCNN++ (Mask R-CNN with UNet++ design)在實例分割任務上優於原始的Mask R-CNN;(4)修剪後的UNet++模型實現了顯著的加速，而性能僅略有降低。咱們的實現和預培訓的模型能夠在https://github.com/MrGiovanni/UNetPlusPlus上找到
英文原文
The state-of-the-art models for medical image segmentation are variants of U-Net and fully convolutional networks (FCN). Despite their success, these models have two limitations: (1) their optimal depth is apriori unknown, requiring extensive architecture search or inefficient ensemble of models of varying depths; and (2) their skip connections impose an unnecessarily restrictive fusion scheme, forcing aggregation only at the same-scale feature maps of the encoder and decoder sub-networks. To overcome these two limitations, we propose UNet++, a new neural architecture for semantic and instance segmentation, by (1) alleviating the unknown network depth with an efficient ensemble of U-Nets of varying depths, which partially share an encoder and co-learn simultaneously using deep supervision; (2) redesigning skip connections to aggregate features of varying semantic scales at the decoder sub-networks, leading to a highly flexible feature fusion scheme; and (3) devising a pruning scheme to accelerate the inference speed of UNet++. We have evaluated UNet++ using six different medical image segmentation datasets, covering multiple imaging modalities such as computed tomography (CT), magnetic resonance imaging (MRI), and electron microscopy (EM), and demonstrating that (1) UNet++ consistently outperforms the baseline models for the task of semantic segmentation across different datasets and backbone architectures; (2) UNet++ enhances segmentation quality of varying-size objects -- an improvement over the fixed-depth U-Net; (3) Mask RCNN++ (Mask R-CNN with UNet++ design) outperforms the original Mask R-CNN for the task of instance segmentation; and (4) pruned UNet++ models achieve significant speedup while showing only modest performance degradation. Our implementation and pre-trained models are available at https://github.com/MrGiovanni/UNetPlusPlus
要點
引言
本文的貢獻：
（1）咱們在UNet++中引入了一個內置的不一樣深度的U-Net集合，從而提升了不一樣大小對象的分割性能，比固定深度的U-Net有了改進(參見II-B部分)。
（2)咱們在UNet++中從新設計了skip鏈接，在解碼器中實現了靈活的feature fusion，這比U-Net中只須要融合相同比例的feature map的限制性skip鏈接有了改進(見II-B部分)。
(3) Mask RCNN++ (Mask R-CNN with UNet++ design)在實例分割任務上優於原始的Mask R-CNN;
(4)修剪後的UNet++模型實現了顯著的加速，而性能僅略有降低。咱們的實現和預培訓的模型能夠在https://github.com/MrGiovanni/UNetPlusPlus上找到，這比單獨培訓相同架構的孤立的u - net有更好的性能(見第四節- d和第五節- c)。
（5)咱們證實了UNet++可擴展到多個骨幹編碼器，並進一步證實其適用於各類醫學成像模式，包括CT、MRI和電子顯微鏡(見IV-A節和IV-B節)。
圖1展現了UNet++是如何從最初的UNet發展而來的。
在接下來的部分中，咱們將首先跟蹤這一演變過程，從而激發對UNet++的需求，而後解釋其技術和實現細節。
圖2顯示了在不一樣複雜度的修剪架構中，分割分支的選擇是如何產生結果的。具體來講，從X 0,4中提取分割結果不會致使剪枝，而從X0,1中提取分割結果會致使網絡的最大剪枝。
實驗
數據集:
（1）電子顯微鏡(EM):數據集由EM分割挑戰[30]提供，做爲ISBI 2012的一部分。該數據集包含30張果蠅初生幼體腹神經索(VNC)的連續切片透射電鏡圖像(512512像素)。參照圖3中的例子
（2）Cell:使用Cell-CT成像系統[31]獲取數據集。兩個訓練有素的專家手動分割收集的圖像，所以數據集中的每一個圖像都帶有兩個二進制單元掩碼。
(3)Nuclei:數據集由數據科學提供Bowl 2018年分割挑戰，包括670個來自不一樣模式的分割核圖像(brightfield vs. fluorescence)。
(4)腦瘤:數據集由BraTS 2013[32]，[34]提供。爲了減小與其餘方法的比較，模型使用20個高級別(HG)和10個低級別(LG)的Flair、T一、T1c和T2掃描全部患者的MR圖像，共獲得66348個切片。
（5）肝臟:數據集由MICCAI 2017 LiTS Challenge提供，包含331個CT掃描，咱們將其分爲訓練(100例患者)、驗證(15例患者)和測試(15例患者)亞組。
（6）肺結節:數據集由肺圖像數據庫聯盟(LIDCIDRI)[33]提供，包括7個學術中心和8個醫學影像公司收集的1018例病例。肯定並排除了六例地面真相問題。
實驗結果：
表3：更寬版本的U-Net和V-Net被設計成具備與UNet++和VNet++至關數量的參數。
表4：對U-Net、寬U-Net、UNet+(咱們的中間建議)和UNet++(咱們的最終建議)的語義分割結果使用IoU(平均s.d. %)測量。UNet+和UNet++均在有和無深度監督(DS)的狀況下進行評估。咱們對U-Net[5]和其餘20個獨立試驗進行了獨立的兩個樣本t檢驗，並在差別有統計學意義時用紅色高亮框標出(p <0.05)。
圖4：U-Net、UNet+、UNet+在神經結構、細胞、細胞核、腦腫瘤、肝臟切分等領域的最新研究進展。
表5：從新設計的跳過鏈接提升了語義和實例分割的原子核分割的任務。咱們使用Mask R-CNN進行實例分割，使用U-Net進行語義分割。
圖8:腦腫瘤圖像中沿頂部最跳躍鏈接的早期、中期和晚期的特徵圖的可視化和比較。這裏，點箭頭表示U-Net和UNet+中的簡單跳躍鏈接，而破折號箭頭表示UNet++中引入的密集鏈接。
結論
咱們提出了一個新的架構，名爲UNet++，以更準確的圖像分割。咱們的UNet++性能的提升歸功於它的嵌套結構和從新設計的跳躍鏈接，旨在解決U-Net的兩個關鍵挑戰:1)優化架構的未知深度和2)跳躍鏈接的沒必要要的限制性設計。咱們使用了六種不一樣的生物醫學成像應用程序對UNet++進行了評估，並在語義分割和實例分割的元框架的各類最早進的主幹上展現了一致的性能改進。
文字來源於網絡 侵刪
翻譯：人工智能學術前沿
本文分享自微信公衆號 - 人工智能學術前沿（AI_Frontier）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。