深度學習中的圖像分割:方法和應用

點擊上方「AI公園」,關注公衆號,選擇加「星標「或「置頂」web


做者:missinglink.ai算法

編譯:ronghuaiyang
數據庫

導讀

介紹使圖像分割的方法,包括傳統方法和深度學習方法,以及應用場景。安全


基於人工智能和深度學習方法的現代計算機視覺技術在過去10年裏取得了顯著進展。現在,它被用於圖像分類、人臉識別、圖像中物體的識別、視頻分析和分類以及機器人和自動駕駛車輛的圖像處理等應用上。
微信

許多計算機視覺任務須要對圖像進行智能分割,以理解圖像中的內容,並使每一個部分的分析更加容易。今天的圖像分割技術使用計算機視覺深度學習模型來理解圖像的每一個像素所表明的真實物體,這在十年前是沒法想象的。網絡

深度學習能夠學習視覺輸入的模式,以預測組成圖像的對象類。用於圖像處理的主要深度學習架構是卷積神經網絡(CNN),或者是特定的CNN框架,如AlexNet、VGG、Inception和ResNet。計算機視覺的深度學習模型一般在專門的圖形處理單元(GPU)上訓練和執行,以減小計算時間。架構

什麼是圖像分割?

圖像分割是計算機視覺中的一個關鍵過程。它包括將視覺輸入分割成片斷以簡化圖像分析。片斷表示目標或目標的一部分,並由像素集或「超像素」組成。圖像分割將像素組織成更大的部分,消除了將單個像素做爲觀察單位的須要。圖像分析有三個層次:app

  • 分類 - 將整幅圖片分紅「人」、「動物」、「戶外」等類別
  • 目標檢測 - 檢測圖像中的目標並在其周圍畫一個矩形,例如一我的或一隻羊。
  • 分割 - 識別圖像的部分,並理解它們屬於什麼對象。分割是進行目標檢測和分類的基礎。

語義分割 vs. 實例分割

在分割過程自己,有兩個粒度級別:框架

  • 語義分割 - 將圖像中的全部像素劃分爲有意義的對象類。這些類是「語義上可解釋的」,並對應於現實世界的類別。例如,你能夠將與貓相關的全部像素分離出來,並將它們塗成綠色。這也被稱爲dense預測,由於它預測了每一個像素的含義。

  • 實例分割 - 標識圖像中每一個對象的每一個實例。它與語義分割的不一樣之處在於它不是對每一個像素進行分類。若是一幅圖像中有三輛車,語義分割將全部的車分類爲一個實例,而實例分割則識別每一輛車。

傳統的圖像分割方法

還有一些過去經常使用的圖像分割技術,但效率不如深度學習技術,由於它們使用嚴格的算法,須要人工干預和專業知識。這些包括:機器學習

  • 閾值 - 將圖像分割爲前景和背景。指定的閾值將像素分爲兩個級別之一,以隔離對象。閾值化將灰度圖像轉換爲二值圖像或將彩色圖像的較亮和較暗像素進行區分。

  • K-means聚類 - 算法識別數據中的組,變量K表示組的數量。該算法根據特徵類似性將每一個數據點(或像素)分配到其中一組。聚類不是分析預約義的組,而是迭代地工做,從而有機地造成組。

  • 基於直方圖的圖像分割 - 使用直方圖根據「灰度」對像素進行分組。簡單的圖像由一個對象和一個背景組成。背景一般是一個灰度級,是較大的實體。所以,一個較大的峯值表明了直方圖中的背景灰度。一個較小的峯值表明這個物體,這是另外一個灰色級別。

  • 邊緣檢測 - 識別亮度的急劇變化或不連續的地方。邊緣檢測一般包括將不連續點排列成曲線線段或邊緣。例如,一塊紅色和一塊藍色之間的邊界。

深度學習如何助力圖像分割方法

現代圖像分割技術以深度學習技術爲動力。下面是幾種用於分割的深度學習架構:

使用CNN進行圖像分割,是將圖像的patch做爲輸入輸入給卷積神經網絡,卷積神經網絡對像素進行標記。CNN不能一次處理整個圖像。它掃描圖像,每次看一個由幾個像素組成的小「濾鏡」,直到它映射出整個圖像。

傳統的cnn網絡具備全鏈接的層,不能處理不一樣的輸入大小。FCNs使用卷積層來處理不一樣大小的輸入,能夠工做得更快。最終的輸出層具備較大的感覺野,對應於圖像的高度和寬度,而通道的數量對應於類的數量。卷積層對每一個像素進行分類,以肯定圖像的上下文,包括目標的位置。

集成學習 將兩個或兩個以上相關分析模型的結果合成爲單個。集成學習能夠提升預測精度,減小泛化偏差。這樣就能夠對圖像進行精確的分類和分割。經過集成學習嘗試生成一組弱的基礎學習器,對圖像的部分進行分類,並組合它們的輸出,而不是試圖建立一個單一的最優學習者。

DeepLab 使用DeepLab的一個主要動機是在幫助控制信號抽取的同時執行圖像分割 —— 減小樣本的數量和網絡必須處理的數據量。另外一個動機是啓用多尺度上下文特徵學習 —— 從不一樣尺度的圖像中聚合特徵。DeepLab使用ImageNet預訓練的ResNet進行特徵提取。DeepLab使用空洞卷積而不是規則的卷積。每一個卷積的不一樣擴張率使ResNet塊可以捕獲多尺度的上下文信息。DeepLab由三個部分組成:

  • Atrous convolutions — 使用一個因子,能夠擴展或收縮卷積濾波器的視場。
  • ResNet — 微軟的深度卷積網絡(DCNN)。它提供了一個框架,能夠在保持性能的同時訓練數千個層。ResNet強大的表徵能力促進了計算機視覺應用的發展,如物體檢測和人臉識別。
  • Atrous spatial pyramid pooling (ASPP) — 提供多尺度信息。它使用一組具備不一樣擴展率的複雜函數來捕獲大範圍的上下文。ASPP還使用全局平均池(GAP)來合併圖像級特徵並添加全局上下文信息。

SegNet neural network 一種基於深度編碼器和解碼器的架構,也稱爲語義像素分割。它包括對輸入圖像進行低維編碼,而後在解碼器中利用方向不變性能力恢復圖像。而後在解碼器端生成一個分割圖像。


圖像分割的應用

圖像分割有助於肯定目標之間的關係,以及目標在圖像中的上下文。應用包括人臉識別、車牌識別和衛星圖像分析。例如,零售和時尚等行業在基於圖像的搜索中使用了圖像分割。自動駕駛汽車用它來了解周圍的環境。

目標檢測和人臉檢測

這些應用包括識別數字圖像中特定類的目標實例。語義對象能夠分類成類,如人臉、汽車、建築物或貓。

  • 人臉檢測 - 一種用於許多應用的目標檢測,包括數字相機的生物識別和自動對焦功能。算法檢測和驗證面部特徵的存在。例如,眼睛在灰度圖像中顯示爲谷地。
  • 醫學影像 - 從醫學影像中提取臨牀相關信息。例如,放射學家可使用機器學習來加強分析,經過將圖像分割成不一樣的器官、組織類型或疾病症狀。這能夠減小運行診斷測試所需的時間。
  • 機器視覺 - 捕捉和處理圖像,爲設備提供操做指導的應用。這包括工業和非工業的應用。機器視覺系統使用專用攝像機中的數字傳感器,使計算機硬件和軟件可以測量、處理和分析圖像。例如,檢測系統爲汽水瓶拍照,而後根據合格 - 不合格標準分析圖像,以肯定瓶子是否被正確地填充。

視頻監控 — 視頻跟蹤和運動目標跟蹤

這涉及到在視頻中定位移動物體。其用途包括安全和監視、交通控制、人機交互和視頻編輯。

  • 自動駕駛 自動駕駛汽車必須可以感知和理解他們的環境,以便安全駕駛。相關類別的對象包括其餘車輛、建築物和行人。語義分割使自動駕駛汽車可以識別圖像中的哪些區域能夠安全駕駛。
  • 虹膜識別 一種能識別複雜虹膜圖案的生物特徵識別技術。它使用自動模式識別來分析人眼的視頻圖像。
  • 人臉識別 從視頻中識別個體。這項技術將從輸入圖像中選擇的面部特徵與數據庫中的人臉進行比較。

零售圖像識別

這個應用讓零售商瞭解貨架上商品的佈局。算法實時處理產品數據,檢測貨架上是否有商品。若是有產品缺貨,他們能夠找出緣由,通知跟單員,併爲供應鏈的相應部分推薦解決方案。


END

英文原文:https://missinglink.ai/guides/computer-vision/image-segmentation-deep-learning-methods-applications/

請長按或掃描二維碼關注本公衆號

喜歡的話,請給我個在看吧


本文分享自微信公衆號 - AI公園(AI_Paradise)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。

相關文章
相關標籤/搜索