NMS總結

導言：

    Non-Maximum Suppression（NMS）非極大值抑制，也有個別地方稱之爲非最大值抑制。我的認爲前者更爲貼切，由於其具體實現原理是找到全部局部最大值，並抑制非局部最大值，而不是找全局最大值，後文會介紹代碼。從字面意思理解，抑制那些非極大值的元素，保留極大值元素。其主要用於目標檢測，目標跟蹤，3D重建，數據挖掘等。

    目前NMS經常使用的有標準NMS, Soft  NMS, DIOU NMS等。後續出現了新的Softer NMS，Weighted NMS等改進版。

 

標準NMS

    標準NMS（左圖1維，右圖2維）算法僞代碼以下：

左邊是隻計算鄰域範圍爲3的算法僞代碼。

 

實際應用

    以目標檢測爲例，目標檢測推理過程當中會產生不少檢測框（A,B,C,D,E,F等），其中不少檢測框都是檢測同一個目標，但最終每一個目標只須要一個檢測框，NMS選擇那個得分最高的檢測框（假設是C），再將C與剩餘框計算相應的IOU值，當IOU值超過所設定的閾值（廣泛設置爲0.5，目標檢測中常設置爲0.7，僅供參考），即對超過閾值的框進行抑制，抑制的作法是將檢測框的得分設置爲0，如此一輪事後，在剩下檢測框中繼續尋找得分最高的，再抑制與之IOU超過閾值的框，直到最後會保留幾乎沒有重疊的框。這樣基本能夠作到每一個目標只剩下一個檢測框。

 

實現代碼：（以pytorch爲例）

def NMS(boxes,scores, thresholds):
    x1 = boxes[:,0]
    y1 = boxes[:,1]
    x2 = boxes[:,2]
    y2 = boxes[:,3]
    areas = (x2-x1)*(y2-y1)
 
    _,order = scores.sort(0,descending=True)
    keep = []
    while order.numel() > 0:
        i = order[0]
        keep.append(i)
        if order.numel() == 1:
            break
        xx1 = x1[order[1:]].clamp(min=x1[i])
        yy1 = y1[order[1:]].clamp(min=y1[i])
        xx2 = x2[order[1:]].clamp(max=x2[i])
        yy2 = y2[order[1:]].clamp(max=y2[i])
 
        w = (xx2-xx1).clamp(min=0)
        h = (yy2-yy1).clamp(min=0)
        inter = w*h
 
        ovr = inter/(areas[i] + areas[order[1:]] - inter)
        ids = (ovr<=thresholds).nonzero().squeeze()
        if ids.numel() == 0:
            break
        order = order[ids+1]
    return torch.LongTensor(keep)

　　

根據前面對目標檢測中NMS的算法描述，易得出標準NMS容易出現的幾個問題：當閾值太小時，以下圖所示，綠色框容易被抑制；當過大時，容易形成誤檢，即抑制效果不明顯。所以，出現升級版soft NMS。

 

Soft NMS

 

Soft NMS算法僞代碼以下：

標準的NMS的抑制函數以下：

    

    IOU超過閾值的檢測框的得分直接設置爲0，而soft NMS主張將其得分進行懲罰衰減，有兩種衰減方式，第一種懲罰函數以下：

    

    這種方式使用1-Iou與得分的乘積做爲衰減後的值，但這種方式在略低於閾值和略高於閾值的部分，通過懲罰衰減函數後，很容易致使得分排序的順序打亂，合理的懲罰函數應該是具備高iou的有高的懲罰，低iou的有低的懲罰，它們中間應該是逐漸過渡的。所以提出第二種高斯懲罰函數，具體以下：

    這樣soft NMS能夠避免閾值設置大小的問題。

其餘相關NMS

 

    爲了不閾值設置大小、目標太密集等問題，還有一些其餘方法使用神經網絡去實現NMS，但並不經常使用，這裏只提一筆，感興趣的讀者請自行了解。如：

ConvNMS：A Convnet for Non-maximum Suppression

Pure NMS Network：Learning non-maximum suppression

Yes-Net: An effective Detector Based on Global Information

 

    Soft NMS還有後續改進版Softer-NMS，其主要解決的問題是：當全部候選框都不夠精確時該如何選擇，當得分高的候選框並不更精確，更精確的候選框得分並非最高時怎麼選擇 。論文值得一看，本文不做更多的詳解。

 此外，針對這一閾值設置問題而提出的方式還有Weighted NMS和Adaptive NMS。

 

    Weighted NMS主要是對座標進行加權平均，實現函數以下：

其中Wi = Si *IoU(M,Bi),表示得分與IoU的乘積。

 

    Adaptive NMS在目標分佈稀疏時使用小閾值，保證儘量多地去除冗餘框，在目標分佈密集時採用大閾值，避免漏檢。

 

Softer NMS論文連接：

https://arxiv.org/abs/1809.08545

Softer NMS論文代碼：

https://github.com/yihui-he/softer-NMS

Weighted NMS論文連接：https://ieeexplore.ieee.org/document/8026312/

Adaptive NMS論文連接：

https://arxiv.org/abs/1904.03629

 

DIoU NMS

 

    當IoU相同時，如上圖所示，當相鄰框的中心點越靠近當前最大得分框的中心點，則可認爲其更有多是冗餘框。第一種相比於第三種更不太多是冗餘框。所以，研究者使用所提出的DIoU替代IoU做爲NMS的評判準則，公式以下：

    DIoU定義爲DIoU=IoU-d²/c²，其中c和d的定義以下圖所示

    在DIoU實際應用中還引入了參數β，用於控制對距離的懲罰程度。

    當 β趨向於無窮大時，DIoU退化爲IoU，此時的DIoU-NMS與標準NMS效果至關。

    當 β趨向於0時，此時幾乎全部中心點與得分最大的框的中心點不重合的框都被保留了。

 

若有錯誤或疑問，歡迎留言指出。

本文來源於微信公衆號「 CV技術指南 」 。如有錯誤或疑問，歡迎在公衆號中留言指出。

歡迎關注公衆號「CV技術指南」，主要進行計算機視覺方向的論文解讀，最新技術跟蹤，以及CV技術的總結。正在進行的系列有網絡模型解讀、行爲識別和CV技術總結。

原創文章第一時間在公衆號中更新，博客只在有空時間才更新公衆號文章