Recent Progress in Road and Lane Detection - A survey論文筆記（一）

1. 介紹

ADAS系統面臨的瓶頸事認知問題，其中包括兩類，一類是道路和車道線認知，一類是障礙物（如車輛、行人）識別。本文關注前者。
道路顏色、texture（質地、結構）、道路的邊界以及車道線是被是人類行駛時的主要認知線索。道路和車道線檢測包括檢測道路的長度、車道線的數量和位置、合併、分離和終止線以及道路在城市、鄉村和高速路的場景。使用的傳感器主要有攝像頭、Stereo、激光雷達、車輛測量程得到的車輛動態信息、GPS、數字地圖。視覺在車道線和道路識別中是最重要的研究領域，還有激光雷達和GPS信息。

2. 面臨的問題

2.1 Research gaps

因爲典型的路寬和urban challenge中路線的寬度都是4-5米左右，這樣的精度足夠車輛本身盲目導航，不須要其它隨車攜帶的認知。在這種狀況下，道路檢測的主要任務是定位驗證和微調。

2.2 高可靠性需求

2.3 狀況的多樣性

車道線和道路的多樣性：線通常是0.1米寬，白色或黃色。但也有其它狀況。
圖片清晰程度：圖片會反光等，下雪天、霧天可能車道線不可見。

3. 傳感器

攝像頭通常裝在車輛上部的正中間。所需分辨率能夠計算獲得NP=Cd/w，NP是水平像素數量，C是攝像頭的視角領域（FOV）寬度的弧度，w是線的寬度（0.1），d是系統想要識別線的最遠距離。
激光雷達：成本高，能檢測車輛周邊的3D結構。
GPS：目前GPS的精度再5-10米，能夠利用IMU下降到1m。高精地圖。
雷達：測距、區分道路和非道路，利用反射比的差異。

4. 建模

4.1 圖片清理

識別出障礙物區域（大部分車輛）並去除。弱化陰影，處理過分或過少曝光的場景。移除clutter，圖像僞影以及不相關的圖像部分。剩餘的圖像做爲特徵提取的輸入。方法主要分爲兩類：一是手動調節光照影響，二是剪切不相關的部分。

4.1.1 手動調節光照影響

手動調節光照影響的一個影響因素是調節獲取圖像設備的動態變化。如光線的突變，當車從隧道進出的時候，以及在橋下行駛時的陰影。一方面調節相機的項圈和增益，另外一方面減小光線突變的影響。另外一個影響因素是鏡頭光暈（反光），有方法是用星曆計算太陽的位置，再校訂攝像頭來減小陽關直射的狀況。投影是clutter的主要緣由，爲了避開這一影響，有人用了一系列基於color-space的轉換方法轉換成HSL、LAB等色彩模式。而後結合不一樣顏色模式的顏色通道，接受這些區域，光照和陰影區域在相同的表面分別有一樣的光照強度。這些方法的前提是陰影部分的色彩信息依然存在，並且陰影周圍有足夠多的光照區域。經過這種方法提取出陰影的邊緣特徵，生成無陰影的圖像。在溼和幹兩種場景下都適用。還有一種方法是基於texture，不基於色彩，可是要求圖像中有足夠多的road texture。另一些可能的方法是在特徵提取階段，只有和道路邊界方向平行的特徵纔會被提取，其它的大部分陰影以及clutter都會被過濾。

4.1.2 剪切

障礙物，如車輛行人是主要的剪切部分。一種方法是跟蹤運動。基於顏色，被證明不可靠，錯誤率高。另外一種方法是ROI。定一個上界限，把圖片上面剪切掉。能夠用於預測。

4.2 特徵提取。

基於顏色和道路的紋理特徵。

4.2.1 車道線邊界特徵

車道標誌能夠基於顏色和形狀來檢測。最小的限制是它們和道路外形不一樣。Steerable filters（方向可控的邊緣過濾器）可用於檢測任何方向的方向響應，只用了3個卷積核的卷積網絡。這個特性可用於推斷方向的邊緣特徵提取。這種方法還能夠用於環路的檢測。還有一些別的方法有Box filters、將圖片分割成小塊再分類等。
不管是哪一個過濾器，一個問題是肯定核的大小。避開這個問題的一個方法是扭曲圖像來補償遠景的影響。在這種情況下，全部的線路寬度在任何距離下都是相等的。這種方法須要2D圖片和3D地平面的結合。
另外一種檢測方法是假設亮度和顏色都是已知的。先學習道路標誌的特徵，而後根據類似度對像素分類。最後獲得的結果是不少個分割的blobs集。這種Blob不能直接被分爲是道路標誌仍是clutter，須要利用先後幾幀的跟蹤來判斷是否是位於地面上的道路標誌。

4.2.2 道路邊界特徵

城市環境中的路邊(curbs)、高速路的護欄、還有一些道路沒有明顯的標誌，只能經過顏色和質地的變化來判斷邊界。場景太多，不能只用一個特徵。有些論文中假設道路和非道路有高度的不一樣。激光雷達的三維數據中的一些參數可做爲特徵用於分割道路，如以前提到的高速。車輛中每一個射線中第一個粗糙質地的增長的點看成道路邊界。
另外一種避歸3D的方法是計算對前一幀計算一個對應的投影。道路會徹底重合。
還有一些方法是隻是用顏色，不用空間信息。用以前不一樣顏色模型的顏色通道結合。有用高斯混合模型來表示顏色分佈。用貝葉斯網絡計算像素顏色的類似度，進行迭代分割。基於紋理的，須要道路類型，留下痕跡。

4.3 創建道路或車道線模型

這些模型能夠分紅幾類，參數的、半參數的、無參數的。
參數模型。最簡單的幾何模型是直線。彎曲的道路可用拋物線和幾何圓周弧長來表示。爲了更準確的表示彎曲的道路，還有人使用雙曲線。現在使用更多的是半參數模型中的樣條函數（splines）。有方法是最小平方優化與RANSAC相結合，可提升容錯性。以後有人在此基礎上與中心線相結合，一個點和以它爲圓心1m爲半徑的圓內的全部店相連，最大的區域做爲內圍層與拋物線模型相結合。
半參數模型。優勢是不須要設置全局的幾何形狀。
Splines普遍用於表示曲線。用來表示邊界和中心線。
無參數模型比較少見。只須要連續的線條。不可靠。提到的方法有分層貝葉斯等。

4.4 時間迭代

逐漸減少模型的偏差。用卡爾曼濾波、Particle濾波等。（未完）

4.5 創建圖像和世界的聯繫

（未完）