AI-數據標註

目錄

• 素材標註工具
• 標註可能存在的問題
• 標註注意事項
• 如何提升素材標註質量

    算力和數據是影響深度學習的兩個關鍵因素。在算力知足的狀況下，爲了達到更好的效果，咱們就須要提供海量優質素材數據給神經網絡，以求訓練出來高精度的網絡模型。在平時的測試過程當中，也發現基於深度學習的算法，素材的數量、素材的均衡度和標註的質量對訓練出來的模型精度影響很是大。
    常見的算法模型訓練所須要的素材格式主要爲：

• 二維圖像文件
• 對應二維圖像中人工標註出來的目標信息，包括目標座標[(xmin,ymin)(xmax、ymax)]/大小、目標類型(class)

    模型訓練的過程就是將上述素材輸入到神經網絡，通過反覆迭代優化，以求獲得效果最好的通用模型。在實際應用模型的時候，會根據檢測到目標對象輸出座標/大小、目標類型、置信度。用一種數據類型表示以下：

(xmin,ymin,xmax,ymax,class,score)
可設置一個門限值，經過與score進行比較，過濾掉部分結果

素材標註工具

    經過對深度學習的基礎知識學習，咱們能夠理解深度學習就是經過輸入海量標註素材，不斷調整模型參數去擬合，最終輸出效果較好的模型，再經過輸入非素材中的數據來預測結果，以求達較高的預測準確率和通用性。如下爲目前經常使用的圖像素材標註工具labelImg，標註完成後會生成相應的xml文件，用以標識座標和類型，以下圖所示：

• 標註工具
  
• xml文件
  

標註可能存在的問題

    圖像標註時，須要人工標出目標的位置和大小，並給出或選擇目標類型。因此對人工標註是有必定要求的。常見的標註問題以下所示：

• 標註框過大或太小
• 標註框位置不正確
• 標註類型錯誤
• 存在漏標註狀況
• 存在過標註狀況
• 模糊的目標也進行標註
• 標註分割錯誤問題
• 標註框不完整，存在缺失

所以一個合格的標註應該具有如下因素：

• 標註框大小和位置合適
• 標註框能將目標對象圍住
• 標註框的對象類型準確無誤
• 一個標註框中僅包含一種目標對象類型

標註注意事項

標註框大小合適

    標註框大小合適意味着所畫的標註矩形框恰好將目標對象包圍住，對象與標註框間的間隙合適，不能過大也不能過濾。過大會傳遞給網絡沒必要要的信息，過小傳遞給網絡的信息會存在缺失。

標註框位置合適

    位置通常是標註框大小合適，但存在與目標對象存在偏移的狀況，以下所示：

目標遮擋時處理

    在標註時，不能僅標註完整可見的目標對象，對於人眼可見能分辨的對象也要進行標註，爲提升模型通用性，不少遮擋目標也是須要能被模型檢測識別出來的。針對這種狀況須要根據具體業務規則進行處理，通常須要遵循的原則以下所示：

• 對象的遮擋面積小於20%~40%，即人眼可視面積爲60%~80%須要進行標註
• 對於遮擋的對象，標註時只須要標註可見部分
• 對於遮擋的對象，人眼能夠識別出對象類型

標註不能遺漏目標對象

    雖然各個算法對小目標的檢測效果有所差別，但對於小目標的目標對象仍然須要進行標註。遵循的原則跟目標遮擋時的處理同樣，只要人眼能夠進行分辨，仍然須要進行標註。

標註不能存在過標註狀況

    不一樣的業務，對於目標的識別也是不同的，如對於Logo侵權這種問題，如國際一些公開通用的Logo則不須要進行標註，以下所示：

針對Logo侵權的目標對象，通常打印體字無須要進行標註，但對於藝術字或單獨設計的字體也是須要進行標註的。

對於很是模糊的目標對象的處理

    這種狀況通常是被遮擋面積過大、距離太遠或圖像和視頻分辨率很低，致使人眼沒法進行分辨，針對這種狀況則無需進行標註。

對象分開標註問題

    這種狀況須要根據業務場景進行區分處理。在平時測試，我所遵循的原則以下所示：

• 背景爲純色
• 圖像中的對象能夠被分割爲一個獨立可識別的對象個體
  同時知足以上兩個條件，則進行單獨標註，不然則看成一個總體進行標註。

標註框不完整

    這種狀況通常爲標註軟件Bug或人工標註出現越界，致使標註框看起來存在部分框缺失。以下所示：

如何提升素材標註質量

從素材的三大關鍵要素（素材數量、素材的均衡度、標註質量）來看，咱們能夠採用如下方式來保證素材質量

素材數量

    在收集數據時，須要儘量多的從各個渠道多收集素材數據，如合法爬蟲、公開數據集等

素材的均衡度

    素材的均衡度一般是指素材的多樣性分佈。如視頻裏面，因爲拍攝的角度不一樣，出來的素材角度也是不一樣，如前方、後方、左側、右側等。圖像也是取決於拍攝素材的擺放角度，例如拍攝一件衣服，如正前方，正後方、左側、右側，斜面拍攝，距離遠近等，只有在選擇的素材儘量的多樣，訓練出來的模型也纔有更好的通用性。

標註質量

    數據標註和檢查是很是重要的一個環節，須要注意如下幾個方面：

• 一、不要單純追求速度而忽視質量

    雖然對於數據的標註，有時間和進度要求，但要結合實際狀況找到平衡點，不要單純追求速度，致使標註質量降低，致使往後大量返工

• 二、按期專人對標註素材進行審覈

    指定專人按期對標註的素材進行審覈，能夠很大避免在標註過程出現的問題，如標註質量較差，每一個人對標註的理解存在差別等。

參考文章：http://www.javashuo.com/article/p-yxzzuynd-he.html