Traffic-Sign Detection and Classification in the Wild 論文筆記

摘要

儘管在交通標誌識別和分類領域已經取得了不錯的成績，可是不多有在real world images中同步處理兩個tasks的研究。論文有兩個特色。一是建立了一個100000張全景的Benchmark,有30000張包含了交通標誌。這些圖片覆蓋了不一樣光線和天氣情況。每一個交通標誌都被標註了一個label,邊框和pixel mask.這個Benchmark是Tsinghua-Tencent 100k。二是論文闡述了一個能夠識別和分類交通標誌的端到端的CNN。大部分以前的針對物體的CNN圖片處理方案在對像交通標誌這種小物體的檢測上表現並很差。實驗結果顯示了論文提出網絡的魯棒性和優越性。Benchamrk,源碼和CNN模型都已經開源。

1.簡介

Pascal voc和ImageNet是兩個經常使用的Benchmark。在這些數據集中，目標識別都是針對較大的物體（邊框佔整個圖片的20%左右）。然而，在一張2000X2000的圖片中，一個交通標誌只有80X80。所以，須要設計一個針對有意義的小物體的檢測方案。
交通標誌經過功能能夠被分類多個類別。在每一個類別中，能夠被進一步分爲不少有類似形狀但細節不一樣的子類。這要求交通標誌的識別須要兩個步驟：識別後分類。識別就是將圖片中的交通標誌框出來，分類是對框出來的交通標誌分類。
目前方法在識別和分類中都達到了接近完美的結果。可是德國提出的這個benchmark在世界世界中並不適用。在GTSDB識別任務中，算法須要識別出四個主類中的一類。在GTSDB分類benchmark中,大部分圖片中都有交通標誌，而算法只需決定標誌屬於哪一個子類，並且沒有錯誤狀況的干擾。在現實世界中，識別交通標誌主要問題是物體很小，一般小於圖片大小的1%。所以，算法必須過濾掉許多幹擾狀況，保留真實的交通標誌，所以，咱們建立了一個新的實際的Benchmark,並用這個數據評估用於識別和分類交通標誌的combined CNN approch。
本文的貢獻主要有：

• 建立了一個新的、更加實際的交通標誌Benchmark

• 咱們訓練了兩個CNN用於識別交通標誌，而且同步識別和分類交通標誌。結果顯示了兩個網絡的魯棒性

2.數據收集

原始數據是由6個單目攝像機拍下來的，而後對圖像進行處理。benchmark包括中國的5個城市，包括市中心和郊區。全圖分辨率是2048X2048。一共100000張，30000張中包括交通標誌。其中，交通標誌多爲小圖。標註是人工標註。形狀爲多邊形和橢圓形。

3.卷積網絡

咱們訓練了兩個網絡。一個用於識別，一個同步識別和分類。這兩個網絡共享大部分結構除了最後一步的分支。

3.1 結構

該模型是對overfeat模型的改進，在第6層之後添加了分支。論文介紹了這樣改進的緣由。通過實驗發現這樣會網絡收斂的更快。更深的網絡表現更好，可是會消耗更多GPU和訓練時間。所以在速度和準確率上尋取平衡。另外一個改動使在最後的分支上添加了生成類別向量的分支。

3.2 訓練

因爲不一樣類別的數據量不一樣，在訓練時使用了數據增大技術（data augmentation technique）。咱們簡單的忽略了實例小於100的類別。剩下45個類別能夠用於分類。實例在100和1000之間的類別在訓練中都增大到1000個。其他大於1000的不變。
爲了增大這些數據，咱們爲每一個類別使用標準模板，隨機旋轉（-20°，20°），在（20,200）的範圍內隨機比例化大小，同時添加合理隨機的變形。而後挑選出沒有交通標誌的圖片，混入模板，添加隨機噪聲。

4. 結果

對於10000張包含交通標誌的圖片，按2：1用於訓練和測試。其他90000張均用於測試。按照coco的標準，根據大小將交通標誌分爲3類：小物體（area<32²），中（32²<area<96²），大（area>96²）。這個評估標準能夠測出識別器對不一樣大小物體的識別效果。

4.1 識別

識別交通標誌：84% accuracy , 94% recall

4.2 同步識別分類

從圖中能夠看出，Fast R-CNN has a recall 0.56 and accuracy 0.50 而咱們的方法 has a recall 0.91 and accuracy 0.88.

5. 結論

咱們建立了一個新的交通標誌的benchmark。與以前的交通標誌benchmark相比，該數據集中的圖片更多變，且標誌大多很是小。數據集包含了更多的圖片，且圖片有更高的分辨率。並且，提供了像素級的分割。咱們在該數據集上訓練了兩個網絡，一個是交通標誌識別器。另外一個能夠同時識別和分類。In the future,咱們計劃尋找更多在該數據集中少有出現的交通標誌。咱們還計劃加速process以在移動設備上可以實時運行。