數據標記系列——圖像分割 & Curve-GCN

在以前的文章中（參考：），咱們提到了Polygon-RNN++在數據標註中的應用。今天不得不提到多倫多大學與英偉達聯合公佈的一項最新研究：Curve-GCN的應用結果顯示圖像標註速度提高10倍。

Curve-GCN是一種高效交互式圖像標註方法，其性能優於Polygon-RNN++。在自動模式下運行時間爲29.3ms，在交互模式下運行時間爲2.6ms，比Polygon-RNN ++分別快10倍和100倍。

數據標註是人工智能產業的基礎，在機器的世界裏，圖像與語音、視頻等同樣，是數據的一個種類。

對象實例分割是在圖像中歸納給定類的全部對象的問題，這一任務在過去幾年受到了愈來愈多的關注，傳統標記工具一般須要人工先在圖片上點擊光標描記物體邊緣來進行標記。

然而，手動跟蹤對象邊界是一個費力的過程，每一個對象大概須要30-60秒的時間。

爲了緩解這個問題，已經提出了許多交互式圖像分割技術，其經過重要因素加速註釋。可是交互式分割方法大可能是逐像素的（好比DEXTR），在顏色均勻的區域很難控制，因此最壞的狀況下仍然須要不少點擊。

Polygon-RNN將humans-in-the-loop（人機迴圈）過程進行構架，在此過程當中模型按順序預測多邊形的頂點。經過糾正錯誤的頂點，註釋器能夠在發生錯誤時進行干預。該模型經過調整校訂來繼續其預測。Polygon-RNN顯示在人類協議水平上產生註釋，每一個對象實例只需點擊幾下。這裏最糟糕的狀況是多邊形頂點的數量，大多數對象的範圍最多爲30-40個點。

然而，模型的重複性將可擴展性限制爲更復雜的形狀，致使更難的訓練和更長的推理。此外，指望註釋器按順序糾正錯誤，這在實踐中一般是具備挑戰性的。

最新研究成果中，研究人員將對象註釋框架化爲迴歸問題，其中全部頂點的位置被同時預測。

在Curve-GCN中，註釋器會選擇一個對象,而後選擇多邊形或樣條輪廓。

Curve-GCN自動地勾勒出對象的輪廓：

Curve-GCN容許交互式更正,而且能夠自動從新預測多邊形/樣條

與Polygon-RNN + +相比：

• Curve-GCN具備多邊形或樣條曲線參數
• Curve-GCN可同時預測控制點（更快）

代碼：

https://github.com/fidler-lab/curve-gcn

論文地址：

https://arxiv.org/abs/1903.06874

論文摘要

經過邊界跟蹤來手動標記對象是一個繁重的過程。在Polygon-RNN ++中，做者提出了Polygon-RNN，它使用CNN-RNN架構以循環方式產生多邊形註釋，容許經過humans-in-the-loop（人機迴圈）的方式進行交互式校訂。

咱們提出了一個新的框架，經過使用圖形卷積網絡（GCN）同時預測全部頂點，減輕了Polygon-RNN的時序性。咱們的模型是端到端訓練的。它支持多邊形或樣條對對象進行標註，從而提升了基於線和曲線對象的標註效率。結果代表，在自動模式下，Curve-GCN的性能優於現有的全部方法，包括功能強大的PSP-DeepLab，而且在交互模式下，Curve-GCN的效率明顯高於Polygon-RNN++。咱們的模型在自動模式下運行29.3ms，在交互模式下運行2.6ms，比Polygon-RNN ++分別快10倍和100倍。

 

 

 

 

 

參考：

多倫多大學&NVIDIA最新成果：圖像標註速度提高10倍！