大話目標檢測經典模型：Mark R-CNN

時間 2019-11-06

標籤大話目標檢測經典模型 mark cnn 简体版

原文原文鏈接

在以前的文章中介紹了目標檢測經典模型（R-CNN、Fast R-CNN、Faster R-CNN），目標檢測通常是爲了實現如下效果：

在R-CNN、Fast R-CNN、Faster R-CNN中，實現了對目標的識別和定位，以下圖所示：

爲了更加精確地識別目標，實如今像素級場景中識別不一樣目標，利用「圖像分割」技術定位每一個目標的精確像素，以下圖所示（精確分割出人、汽車、紅綠燈等）：

Mask R-CNN即是這種「圖像分割」的重要模型。算法

Mask R-CNN的思路很簡潔，既然Faster R-CNN目標檢測的效果很是好，每一個候選區域能輸出種類標籤和定位信息，那麼就在Faster R-CNN的基礎上再添加一個分支從而增長一個輸出，即物體掩膜（object mask），也即由原來的兩個任務（分類+迴歸）變爲了三個任務（分類+迴歸+分割）。以下圖所示，Mask R-CNN由兩條分支組成：

Mask R-CNN的這兩個分支是並行的，所以訓練簡單，僅比Faster R-CNN多了一點計算開銷。
分類和定位在Faster R-CNN中有介紹過了（詳見文章：大話目標檢測經典模型RCNN、Fast RCNN、Faster RCNN），在此就再也不重複介紹，下面重點介紹一下第二條分支，即如何實現像素級的圖像分割。網絡

以下圖所示，Mask R-CNN在Faster R-CNN中添加了一個全卷積網絡的分支（圖中白色部分），用於輸出二進制mask，以說明給定像素是不是目標的一部分。所謂二進制mask，就是當像素屬於目標的全部位置上時標識爲1，其它位置標識爲 0

從上圖能夠看出，二進制mask是基於特徵圖輸出的，而原始圖像通過一系列的卷積、池化以後，尺寸大小已發生了屢次變化，若是直接使用特徵圖輸出的二進制mask來分割圖像，那確定是不許的。這時就須要進行了修正，也即便用RoIAlign替換RoIPooling

如上圖所示，原始圖像尺寸大小是128x128，通過卷積網絡以後的特徵圖變爲尺寸大小變爲 25x25。這時，若是想要圈出與原始圖像中左上方15x15像素對應的區域，那麼如何在特徵圖中選擇相對應的像素呢？
從上面兩張圖能夠看出，原始圖像中的每一個像素對應於特徵圖的25/128像素，所以，要從原始圖像中選擇15x15像素，則只需在特徵圖中選擇2.93x2.93像素（15x25/128=2.93），在RoIAlign中會使用雙線性插值法準確獲得2.93像素的內容，這樣就能很大程度上，避免了錯位問題。
修改後的網絡結構以下圖所示（黑色部分爲原來的Faster R-CNN，紅色部分爲Mask R-CNN修改的部分）

從上圖能夠看出損失函數變爲

損失函數爲分類偏差+檢測偏差+分割偏差，分類偏差和檢測（迴歸）偏差是Faster R-CNN中的，分割偏差爲Mask R-CNN中新加的。
對於每一個MxM大小的ROI區域，mask分支有KxMxM維的輸出（K是指類別數量）。對於每個像素，都是用sigmod函數求二值交叉熵，也即對每一個像素都進行邏輯迴歸，獲得平均的二值交叉熵偏差Lmask。經過引入預測K個輸出的機制，容許每一個類都生成獨立的mask，以免類間競爭，這樣就能解耦mask和種類預測。
對於每個ROI區域，若是檢測獲得屬於哪個分類，就只使用該類的交叉熵偏差進行計算，也即對於一個ROI區域中KxMxM的輸出，真正有用的只是某個類別的MxM的輸出。以下圖所示：

例如目前有3個分類：貓、狗、人，檢測獲得當前ROI屬於「人」這一類，那麼所使用的Lmask爲「人」這一分支的mask。框架

Mask R-CNN將這些二進制mask與來自Faster R-CNN的分類和邊界框組合，便產生了驚人的圖像精確分割，以下圖所示：
分佈式

Mask R-CNN是一個小巧、靈活的通用對象實例分割框架，它不只能夠對圖像中的目標進行檢測，還能夠對每個目標輸出一個高質量的分割結果。另外，Mask R-CNN還易於泛化到其餘任務，好比人物關鍵點檢測，以下圖所示：

從R-CNN、Fast R-CNN、Faster R-CNN到Mask R-CNN，每次進步不必定是跨越式的發展，這些進步其實是直觀的且漸進的改進之路，可是它們的總和卻帶來了很是顯著的效果。
最後，總結一下目標檢測算法模型的發展歷程，以下圖所示：函數

牆裂建議oop

2017年，Kaiming He 等人發表了關於Mask R-CNN的經典論文《Mask R-CNN》，在論文中詳細介紹了Mask R-CNN的思想、原理和測試效果，建議閱讀該論文以進一步瞭解該模型。學習

關注本人公衆號「大數據與人工智能Lab」（BigdataAILab），而後回覆「論文」關鍵字可在線閱讀經典論文的內容。測試

推薦相關閱讀大數據