醫學圖像處理最全綜述

時間 2019-11-11

標籤醫學圖像處理綜述简体版

原文原文鏈接

本文做者張偉，公衆號：計算機視覺life，編輯成員git

0、引言

醫學圖像處理的對象是各類不一樣成像機理的醫學影像，臨牀普遍使用的醫學成像種類主要有X-射線成像（X-CT）、核磁共振成像（MRI）、核醫學成像（NMI）和超聲波成像（UI）四類。在目前的影像醫療診斷中，主要是經過觀察一組二維切片圖象去發現病變體，這每每須要藉助醫生的經驗來斷定。利用計算機圖象處理技術對二維切片圖象進行分析和處理，實現對人體器官、軟組織和病變體的分割提取、三維重建和三維顯示，能夠輔助醫生對病變體及其它感興趣的區域進行定性甚至定量的分析，從而大大提升醫療診斷的準確性和可靠性；在醫療教學、手術規劃、手術仿真及各類醫學研究中也能起重要的輔助做用[1,2]。目前，醫學圖像處理主要集中表如今病變檢測、圖像分割、圖像配準及圖像融合四個方面。面試

用深度學習方法進行數據分析呈現快速增加趨勢，稱爲2013年的10項突破性技術之一。深度學習是人工神經網絡的改進，由更多層組成，容許更高層次包含更多抽象信息來進行數據預測。迄今爲止，它已成爲計算機視覺領域中領先的機器學習工具，深度神經網絡學習自動從原始數據（圖像）得到的中級和高級抽象特徵。最近的結果代表，從CNN中提取的信息在天然圖像中的對目標識別和定位方面很是有效。世界各地的醫學圖像處理機構已經迅速進入該領域，並將CNN和其它深度學習方法應用於各類醫學圖像分析。算法

在醫學成像中，疾病的準確診斷和評估取決於醫學圖像的採集和圖像解釋。近年來，圖像採集已經獲得了顯着改善，設備以更快的速率和更高的分辨率採集數據。然而，圖像解釋過程，最近纔開始受益於計算機技術。對醫學圖像的解釋大多數都是由醫生進行的，然而醫學圖像解釋受到醫生主觀性、醫生巨大差別認知和疲勞的限制。編程

用於圖像處理的典型CNN架構由一系列卷積網絡組成，其中包含有一系列數據縮減即池化層。與人腦中的低級視覺處理同樣，卷積網絡檢測提取圖像特徵，例如可能表示直邊的線或圓（例如器官檢測）或圓圈（結腸息肉檢測），而後是更高階的特徵，例如局部和全局形狀和紋理特徵提取[3]。CNN的輸出一般是一個或多個機率或種類標籤。網絡

CNN是高度可並行化的算法。與單核的CPU處理相比，今天使用的圖形處理單元（GPU）計算機芯片實現了大幅加速（大約40倍）。在醫學圖像處理中，GPU首先被引入用於分割和重建，而後用於機器學習。因爲CNN的新變種的發展以及針對現代GPU優化的高效並行網絡框架的出現，深度神經網絡吸引了商業興趣。從頭開始訓練深度CNN是一項挑戰[4]。首先，CNN須要大量標記的訓練數據，這一要求在專家註釋昂貴且疾病稀缺的醫學領域中可能難以知足。其次，訓練深度CNN須要大量的計算和內存資源，不然訓練過程將是很是耗時。第三，深度CNN訓練過程當中因爲過分擬合和收斂問題而複雜化，這一般須要對網絡的框架結構或學習參數進行重複調整，以確保全部層都以至關的速度學習[5]。鑑於這些困難，一些新的學習方案，稱爲「遷移學習」和「微調」，被證實能夠解決上述問題從而愈來愈受歡迎。架構

一、病變檢測

計算機輔助檢測（CAD）是醫學圖像分析的有待完善的領域，而且很是適合引入深度學習。在CAD 的標準方法中，通常經過監督方法或經典圖像處理技術（如過濾和數學形態學）檢測候選病變位置。病變位置檢測是分階段的，而且一般由大量手工製做的特徵描述。將分類器用於特徵向量映射到候選者來檢測實際病變的機率。採用深度學習的直接方式是訓練CNN操做一組以圖像爲中心的圖像數據候選病變。Setio等在3D胸部CT掃描中檢測肺結節，並在九個不一樣方向上提取以這些候選者爲中心的2D貼片[6]，使用不一樣CNN的組合來對每一個候選者進行分類，CAD系統結構如圖1所示。根據檢測結果顯示，與先前公佈的用於相同任務的經典CAD系統相比略有改進。羅斯等人應用CNN改進三種現有的CAD系統，用於檢測CT成像中的結腸息肉，硬化性脊柱變形和淋巴結腫大[7]。他們還在三個正交方向上使用先前開發的候選檢測器和2D貼片，以及多達100個隨機旋轉的視圖。隨機旋轉的「2.5D」視圖是從原始3D數據分解圖像的方法。採用CNN對這些2.5D視圖圖像檢測而後彙總，來提升檢測的準確率。對於使用CNN的三個CAD系統，病變檢測的準確率度提升了13-34％，而使用非深度學習分類器（例如支持向量機）幾乎不可能實現這種程度的提高。早在1996年，Sahiner等人就已將CNN應用於醫學圖像處理。從乳房X線照片中提取腫塊或正常組織的ROI。 CNN由輸入層，兩個隱藏層和輸出層組成，並用於反向傳播。在「GPU時代」之前，訓練時間被描述爲「計算密集型」，但沒有給出任什麼時候間。1993年，CNN應用於肺結節檢測；1995年CNN用於檢測乳腺攝影中的微鈣化。app

圖1.CAD系統概述。（a）從立方體的九個對稱平面中提取的二維斑塊的示例。候選者位於貼片的中心，邊界框爲50 50 mm和64 64 px。（b）經過合併專門爲固體，亞固體和大結節設計的探測器的輸出來檢測候選人。誤報減小階段是做爲多個ConvNets的組合實現的。每一個ConvNets流處理從特定視圖中提取的2-D補丁。（c）融合每一個ConvNet流輸出的不一樣方法。灰色和橙色框表示來自第一個徹底鏈接的層和結節分類輸出的鏈接神經元。使用徹底鏈接的層與softmax或固定組合器（產品規則）組合神經元。（a）使用體積對象的九個視圖提取二維補丁。（b）擬議系統的示意圖。（c）融合方法。框架

圖2.結腸息肉的檢測：不一樣息肉大小的FROC曲線，使用792測試CT結腸成像患者的隨機視圖ConvNet觀察。iview

二、圖像分割

醫學圖像分割就是一個根據區域間的類似或不一樣把圖像分割成若干區域的過程。目前，主要以各類細胞、組織與器官的圖像做爲處理的對象。傳統的圖像分割技術有基於區域的分割方法和基於邊界的分割方法，前者依賴於圖像的空間局部特徵，如灰度、紋理及其它象素統計特性的均勻性等，後者主要是利用梯度信息肯定目標的邊界。結合特定的理論工具，圖象分割技術有了更進一步的發展。好比基於三維可視化系統結合FastMarching算法和Watershed 變換的醫學圖象分割方法，能獲得快速、準確的分割結果[8]。dom

圖3Watershed分割方法原理

近年來，隨着其它新興學科的發展，產生了一些全新的圖像分割技術。如基於統計學的方法、基於模糊理論的方法、基於神經網絡的方法、基於小波分析的方法、基於模型的snake 模型(動態輪廓模型)、組合優化模型等方法。雖然不斷有新的分割方法被提出，但結果都不是很理想。目前研究的熱點是一種基於知識的分割方法，即經過某種手段將一些先驗的知識導入分割過程當中，從而約束計算機的分割過程，使得分割結果控制在咱們所能認識的範圍內而不至於太離譜。好比在肝內部腫塊與正常肝灰度值差異很大時，不至於將腫塊與正常肝當作 2 個獨立的組織。

醫學圖像分割方法的研究具備以下顯著特色：現有任何一種單獨的圖像分割算法都難以對通常圖像取得比較滿意的結果，要更加註重多種分割算法的有效結合；因爲人體解剖結構的複雜性和功能的系統性，雖然已有研究經過醫學圖像的自動分割區分出所需的器官、組織或找到病變區的方法，但目前現成的軟件包通常沒法完成全自動的分割，尚須要解剖學方面的人工干預[9]。在目前沒法徹底由計算機來完成圖像分割任務的狀況下，人機交互式分割方法逐漸成爲研究重點；新的分割方法的研究主要以自動、精確、快速、自適應和魯棒性等幾個方向做爲研究目標，經典分割技術與現代分割技術的綜合利用(集成技術)是從此醫學圖像分割技術的發展方向[10,11]。

利用2891次心臟超聲檢查的數據集，Ghesu等結合深度學習和邊緣空間學習進行醫學圖像檢測和分割[12]。「大參數空間的有效探索」和在深度網絡中實施稀疏性的方法相結合，提升了計算效率，而且與同一組發佈的參考方法相比，平均分割偏差減小了13.5％，八位患者的檢測結果如圖4所示。Brosch等人利用MRI圖像上研究多發性硬化腦病變分割的問題。開發了一種3D深度卷積編碼器網絡，它結合了卷積和反捲積[13]，圖5.增長網絡深度對病變的分割性能的影響。卷積網絡學習了更高級別的特徵，而且反捲積網絡預進行像素級別分割。將網絡應用於兩個公開的數據集和一個臨牀試驗數據集，與5種公開方法進行了比較，展示了最好的方法。Pereira等人的研究中對MRI上的腦腫瘤分割進行了研究，使用更深層的架構，數據歸一化和數據加強技巧[14]。將不一樣的CNN架構用於腫瘤，該方法分別對疑似腫瘤的圖像加強和核心區域進行分割。在2013年的公共挑戰數據集上得到了最高成績。

圖4示例圖像顯示了不一樣患者的檢測結果從測試集。檢測到的邊界框以綠色顯示，標準的框以黃色顯示。原點位於每一個框中心的線段定義相應的座標系

圖5.增長網絡深度對病變的分割性能的影響。真陽性，假陰性和假陽性體素分別以綠色，黃色和紅色突出顯示。因爲感覺野的大小增長，具備和不具備捷徑的7層CEN可以比3層CEN更好地分割大的病變。

2018年德國醫療康復機構提出一種具備表明性的基於全卷積的前列腺圖像分割方法。用CNN在前列腺的MRI圖像上進行端到端訓練，並能夠一次完成整個分割。提出了一種新的目標函數，在訓練期間根據Dice係數進行優化[15]。經過這種方式，能夠處理前景和背景之間存在不平衡的狀況，而且增長了隨機應用的數據非線性變換和直方圖匹配。實驗評估中代表，該方法在公開數據集上取得了優秀的結果，但大大下降了處理時間。

圖6 網絡架構的示意圖

圖7 PROMISE 2012數據集分割結果。

三、圖像配準

圖象配準是圖象融合的前提，是公認難度較大的圖象處理技術，也是決定醫學圖象融合技術發展的關鍵技術。在臨牀診斷中，單一模態的圖像每每不能提供醫生所須要的足夠信息，常需將多種模式或同一模式的屢次成像經過配準融合來實現感興趣區的信息互補。在一幅圖像上同時表達來自多種成像源的信息，醫生就能作出更加準確的診斷或制定出更加合適的治療方法[16]。醫學圖像配準包括圖像的定位和轉換，即經過尋找一種空間變換使兩幅圖像對應點達到空間位置和解剖結構上的徹底一致。圖6簡單說明了二維圖像配準的概念。圖(a)和圖(b)是對應於同一人腦同一位置的兩幅 MRI 圖像，其中圖(a)是質子密度加權成像，圖(b)是縱向弛豫加權成像。這兩幅圖像有明顯的不一樣，第一是方位上的差別，即圖(a)相對於圖(b)沿水平和垂直方向分別進行了平移；第二是兩幅圖像所表達的內容是不一致的，圖(a)表達不一樣組織質子含量的差異，而圖(b)則突出不一樣組織縱向弛豫的差異。圖(c)給出了兩幅圖像之間像素點的對應映射關係，即(a)中的每個點fx都被映射到(b)中惟一的一個點rx。若是這種映射是一一對應的，即一幅圖像空間中的每個點在另一幅圖像空間中都有對應點，或者至少在醫療診斷上感興趣的那些點可以準確或近似準確的對應起來，咱們就稱之爲配準[17,18]。圖(d)給出了圖(a)相對於圖(b)的配準圖像。從圖(d)中能夠看出，圖(d)與(b)之間的的像素點的空間位置已經近似一致了。1993 年 Petra 等綜述了二維圖像的配準方法，並根據配準基準的特性,將圖像配準的方法分爲基於外部特徵的圖象配準(有框架) 和基於圖象內部特徵的圖象配準(無框架) 兩種方法。後者因爲其無創性和可回溯性, 已成爲配准算法的研究中心。

（a）（b）（c）（d）

圖8 醫學圖像配準原理

2019年華中科技大學對基於PCANet的結構非剛性多模醫學圖像配準展開研究。提出了一種基於PCANet的結構表示方法用於多模態醫學圖像配準[19]。與人工設計的特徵提取方法相比，PCANet能夠經過多級線性和非線性變換自動從大量醫學圖像中學習內在特徵。所提出的方法能夠經過利用PCANet的各個層中提取的多級圖像特徵來爲多模態圖像提供有效的結構表示。對Atlas，BrainWeb和RIRE數據集的大量實驗代表，與MIND，ESSD，WLD和NMI方法相比，所提出的方法能夠提供更低的TRE值和更使人滿意的結果。

圖9 第一行分別是x和y方向變形的真實結果，第二行是PSR與x和y方向的真實狀況的差別；第三行是MIND方法的變形和真實值之間的差別

圖10 PSR，MIND，ESSD，WLD和NMI方法的CT-MR圖像配準。（a）參考PD圖像；（b）浮動CT圖像；（c）PSR方法；（d）MIND方法；（e）ESSD方法；（f）WLD方法；（g）NMI方法

近年來，醫學圖像配準技術有了新的進展,在配準方法上應用了信息學的理論和方法，例如應用最大化的互信息量做爲配準準則進行圖像的配準，基於互信息的彈性形變模型也逐漸成爲研究熱點[20]。在配準對象方面從二維圖像發展到三維多模醫學圖像的配準。一些新算法，如基於小波變換的算法、統計學參數繪圖算法、遺傳算法等，在醫學圖像上的應用也在不斷擴展。向快速和準確方面改進算法，使用最優化策略改進圖像配准以及對非剛性圖像配準的研究是從此醫學圖像配準技術的發展方向[21,22]。

四、圖像融合

圖像融合的主要目的是經過對多幅圖像間的冗餘數據的處理來提升圖像的可讀性，對多幅圖像間的互補信息的處理來提升圖像的清晰度。多模態醫學圖像的融合把有價值的生理功能信息與精確的解剖結構結合在一塊兒，能夠爲臨牀提供更加全面和準確的資料[23]。融合圖像的建立分爲圖像數據的融合與融合圖像的顯示兩部分來完成。目前，圖像數據融合主要有以像素爲基礎的方法和以圖像特徵爲基礎的方法。前者是對圖像進行逐點處理，把兩幅圖像對應像素點的灰度值進行加權求和、灰度取大或者灰度取小等操做，算法實現比較簡單，不過實現效果和效率都相對較差，融合後圖像會出現必定程度的模糊。後者要對圖像進行特徵提取、目標分割等處理，用到的算法原理複雜，可是實現效果卻比較理想。融合圖像的顯示經常使用的有僞彩色顯示法、斷層顯示法和三維顯示法等。僞彩色顯示通常以某個圖像爲基準,用灰度色階顯示，另外一幅圖像疊加在基準圖像上，用彩色色階顯示。斷層顯示法經常使用於某些特定圖像，能夠將融合後的三維數據以橫斷面、冠狀面和矢狀面斷層圖像同步地顯示，便於觀察者進行診斷。三維顯示法是將融合後數據以三維圖像的形式顯示，使觀察者可更直觀地觀察病竈的空間解剖位置，這在外科手術設計和放療計劃制定中有重要意義。

圖11 醫學圖像融合階段的總結。兩階段過程包括圖像配準，而後是圖像融合。

在圖像融合技術研究中，不斷有新的方法出現，其中小波變換、基於有限元分析的非線性配准以及人工智能技術在圖像融合中的應用將是從此圖像融合研究的熱點與方向。隨着三維重建顯示技術的發展，三維圖像融合技術的研究也愈來愈受到重視，三維圖像的融合和信息表達，也將是圖像融合研究的一個重點。

在計算機輔助圖像處理的基礎上，開發出綜合利用圖像處理方法，結合人體常數和部分疾病的影像特徵來幫助或模擬醫生分析、診斷的圖像分析系統成爲一種必然趨勢。目前已有一些採用人機交互定點、自動測量分析的圖像分析軟件，能定點或定項地完成一些測量和輔助診斷的工做，但遠遠沒有達到智能分析和專家系統的水平；全自動識別標誌點並測量分析以及醫學圖像信息與文本信息的融合，是計算機輔助診斷技術從此的發展方向。

圖12 多模態醫學圖像融合的例子。使用特定圖像融合技術的模態1與模態2的組合可使醫學診斷和評估改進

五、預測與挑戰

1）數據維度問題-2D與3D：在迄今爲止的大多數工做中，是在2D圖像中進行處理分析。人們經常質疑向3D過渡是不是邁向性能提升的重要一步。數據加強過程當中存在若干變體，包括2.5D。例如，在Roth等人的研究中，以結腸息肉或淋巴結候選體中的體素爲中心截取軸向圖像，存在冠狀和矢狀圖像。

2）學習方法 - 無監督與監督：當咱們查看網絡文獻時，很明顯大多數工做都集中在受監督的CNN上，以實現分類。這種網絡對於許多應用是重要的，包括檢測，分割和標記。儘管如此，一些工做仍集中於無監督方案，這些方案主要表現爲圖像編碼。諸如玻爾茲曼機器（RBM）之類的無監督表示學習方法可能賽過濾波器，由於它們直接從訓練數據中學習特徵描述。RBM經過生成學習目標進行培訓；這使網絡成爲可能從未標記的數據中學習，但不必定產生最適合分類的特徵。Van Tulder等人進行了一項調查，結合卷積分類和RBM的生成和判別學習目標的優勢，該機器學習了對描述訓練數據和分類都很好的過濾器。結果代表，學習目標的組合徹底賽過生成性學習。

3）遷移學習和微調：在醫學成像領域中獲取與ImageNet同樣全面註釋的數據集仍然是一個挑戰。當沒有足夠的數據時，有幾種方法能夠繼續：1）遷移學習：從天然圖像數據集或不一樣醫學領域預訓練的CNN模型（監督）用於新的醫療任務。在一個方案中，預先訓練CNN應用於輸入圖像，而後從網絡層提取輸出。提取的輸出被認爲是特徵而且用於訓練單獨的模式分類器。2）微調：當手頭的任務確實存在中等大小的數據集時，較好的方案是使用預先訓練的CNN做爲網絡的初始化，而後進行進一步的監督訓練，其中幾個（或所有）網絡層，使用任務的新數據。

4）數據隱私受社會和技術問題的影響，須要從社會學和技術學的角度共同解決。在衛生部門討論隱私時，會想到HIPAA（1996年健康保險流通與責任法案）。它爲患者提供有關保護我的身份信息的法律權利，併爲醫療保健提供者承擔保護和限制其使用或披露的義務。在醫療保健數據不斷增長的同時，研究人員面臨如何加密患者信息以防止其被使用或披露的問題。同時帶來，限制訪問數據可能遺漏很是重要的信息。

六、結論

近幾年來，與傳統的機器學習算法相比，深度學習在平常生活自動化方面佔據了中心位置，並取得了至關大的進步。基於優秀的性能，大多數研究人員認爲在將來15年內，基於深度學習的應用程序將接管人類和大多很多天常活動。可是，與其它現實世界的問題相比，醫療保健領域的深度學習尤爲是醫學圖像的發展速度很是慢。到目前爲止深度學習應用提供了積極的反饋，然而，因爲醫療保健數據的敏感性和挑戰，咱們應該尋找更復雜的深度學習方法，以便有效地處理複雜的醫療數據。隨着醫療技術和計算機科學的蓬勃發展，對醫學圖象處理提出的要求也愈來愈高。有效地提升醫學圖象處理技術的水平，與多學科理論的交叉融合，醫務人員和理論技術人員之間的交流就顯得愈來愈重要。醫學圖象處理技術做爲提高現代醫療診斷水平的有力依據, 使實施風險低、創傷性小的手術方案成爲可能，必將在醫學信息研究領域發揮更大的做用。

參考文獻

[1]林曉, 邱曉嘉. 圖像分析技術在醫學上的應用 [J] . 包頭醫學院學報, 2005, 21 (3) ： 311~ 314

[2]周賢善. 醫學圖像處理技術綜述[J]. 福建電腦, 2009(1):34-34.

[3]Mcinerney T , Terzopoulos D . Deformable models in medical image analysis: a survey[J]. Medical Image Analysis, 1996, 1(2):91.

[4]Litjens G , Kooi T , Bejnordi B E , et al. A survey on deep learning in medical image analysis[J]. Medical Image Analysis, 2017, 42:60-88.

[5]Deserno T M , Heinz H , Maier-Hein K H , et al. Viewpoints on Medical Image Processing: From Science to Application[J]. Current Medical Imaging Reviews, 2013, 9(2):79-88.

[6]A. Setio et al., 「Pulmonary nodule detection in CT images using multiview convolutional networks,」 IEEE Trans. Med. Imag., vol. 35, no. 5,pp. 1160–1169, May 2016.

[7]H. Roth et al., 「Improving computer-aided detection using convolutional neural networks and random view aggregation,」 IEEE Trans.Med. Imag., vol. 35, no. 5, pp. 1170–1181, May 2016

[8]林瑤, 田捷. 醫學圖像分割方法綜述[J]. 模式識別與人工智能, 2002, 15(2).

[9]Ghesu F C , Georgescu B , Mansi T , et al. An Artificial Agent for Anatomical Landmark Detection in Medical Images[C]// International Conference on Medical Image Computing & Computer-assisted Intervention. Springer, Cham, 2016.

[10]Pham D L , Xu C , Prince J L . Current methods in medical image segmentation.[J]. Annual Review of Biomedical Engineering, 2000, 2(2):315-337.

[11]Lehmann T M , Gonner C , Spitzer K . Survey: interpolation methods in medical image processing[J]. IEEE Transactions on Medical Imaging, 1999, 18(11):1049-1075.

[12]Cootes T F , Taylor C J . Statistical Models of Appearance for Medical Image Analysis and Computer Vision[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2001, 4322(1).

[13] T. Brosch et al., 「Deep 3D convolutional encoder networks with shortcuts for multiscale feature integration applied to multiple sclerosis lesion segmentation,」 IEEE Trans. Med. Imag., vol. 35, no. 5,pp. 1229–1239, May 2016.

[14]Ghesu F C , Krubasik E , Georgescu B , et al. Marginal Space Deep Learning: Efficient Architecture for Volumetric Image Parsing[J]. IEEE Transactions on Medical Imaging, 2016, 35(5):1217-1228.

[15]Milletari F , Navab N , Ahmadi S A . V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation[J]. 2016.

[16] .周永新, 羅述謙. 一種人機交互式快速腦圖象配準系統[J] . 北京生物醫學工程, 2002; 21 (1) ：11~14

[17]楊虎, 馬斌榮, 任海萍. 基於互信息的人腦圖象配準研究[J] . 中國醫學物理學雜誌, 2001; 18 (2) ：69~73

[18]汪家旺，愈同福，姜曉彤，等.肺部孤立性結節定量研究[J].中國醫學影像技術,2003,19(9)：1218~1219

[19]Ishihara S , Ishihara K , Nagamachi M , et al. An analysis of Kansei structure on shoes using self-organizing neural networks[J]. International Journal of Industrial Ergonomics, 1997, 19(2):93-104.

[20]Maintz J B , Viergever M A . A Survey of Medical Image Registration[J]. Computer & Digital Engineering, 2009, 33(1):140-144.

[21]Hill D L G , Batchelor P G , Holden M , et al. Medical image registration[J]. Physics in Medicine & Biology, 2008, 31(4):1-45.

[22]Razzak M I , Naz S , Zaib A . Deep Learning for Medical Image Processing: Overview, Challenges and Future[J]. 2017.

[23]林曉, 邱曉嘉. 圖像分析技術在醫學上的應用 [J] . 包頭醫學院學報, 2005, 21 (3) ： 311~ 314