標題：PointPillars: Fast Encoders for Object Detection from Point Cloudsgit
連接：github
https://arxiv.org/abs/1812.05784web
做者：Alex H. Lang, Sourabh Vora, Holger Caesar, Lubing Zhou, Jiong Yang, Oscar Beijbom微信
源碼：網絡
https://github.com/nutonomy/second.pytorch學習
今日導讀ui
PointPillars是在VoxelNet和SECOND的基礎上進行改進，獲得的點雲目標檢測網絡。該網絡目前在KITTI上3D汽車檢測項目中排名第18。只用了點雲數據，運行時間爲16 ms，實時性很好，已被CVPR2019收錄，是一個很是有前景，值得關注的成果。url
爲了很好的理解PointPillars，咱們須要對VoxelNet和SECOND進行簡單介紹。spa
1、VoxelNet.net
VoxelNet發佈於2017年，不一樣於MV3D和AVOD將點雲投影成鳥瞰圖的處理方式，VoxelNet將點雲表達成Voxel（體素）形式，這是一種規則化的三維空間結構，
而後用簡化版的pointnet（即VFE）網絡對每一個Voxel中的點雲進行特徵提取，這樣就在三維Voxel結構上增長了特徵信息，因此每一個點雲文件都成爲一個四維張量的「特徵圖」。這種特徵圖是沒辦法用常規的圖片領域的（長、寬、通道）三維卷積核進行處理的，因此做者使用的是四維的卷積核（長、寬、高、通道）來進行處理，並構造了RPN網絡用來作目標檢測。
這種思路不須要把點雲壓縮成鳥瞰圖，保留了更多的空間信息，最終也獲得了CVPR2018的承認。雖然目前官方代碼沒有開源，可是有一些學者發佈了復現的代碼，可供研究者學習和改進。這種處理點雲的思路有很高的優點，目前KITTI榜單中有很多成果都是在沿着這個思路作出來的。
2、SECOND
SECOND是重慶大學YanYan的成果，針對VoxelNet稀疏性致使的運算效率低的痛點作出了關鍵性的改進。一樣將點雲轉換成Voxel形式，並用VFE層進行特徵提取，到這裏跟Voxelnet的流程徹底同樣，可是接下來就不一樣了。SECOND引入了稀疏卷積層，在Z方向上對體素進行稀疏卷積處理，在提取特徵的同時，把三維的體素在空間上逐漸削薄，最終獲得鳥瞰圖，而後用二維的目標檢測網絡進行處理。
稀疏卷積層的引入，大大提升了運算速度。目前官方代碼已經開源。SECONDv1.5在KITTI榜單取得了不錯的效果。值得一提的是，PointPillars目前發佈出來的代碼也是在SECOND代碼的基礎上進行改進獲得的。所以SECOND的代碼很值得讀者研究。https://github.com/traveller59/second.pytorch
3、PointPillars
到了pointpillars，相信很多讀者會和我產生同樣的想法，這個網絡其實就是對SECOND作了簡化，直接把點雲表示成一個一個的「Pillar（柱子）」：
而後用VFE分別提特徵，這樣直接獲得的就是鳥瞰圖，也就是做者文中所提的「僞圖像」。中間省略了SECOND中的稀疏卷積操做。
最後的檢測網絡部分也有所改進，再也不贅述。
關鍵這個網絡的代碼也是在SECOND基礎上實現的，可是竟然就拿到了CVPR…（我胡說的）
因此SECOND一頓操做猛如虎，最後沒有發到頂會上。這裏爲YanYan可惜一下，工做作的真的很棒！
往期相關：
本文分享自微信公衆號 - 3D點雲深度學習（PointCloud-AI）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。