yolo類檢測算法解析——yolo v3
每當聽到有人問「如何入門計算機視覺」這個問題時，其實我心裏是拒絕的，爲何呢？由於咱們說的計算機視覺的發展史可謂很長了，它的分支不少，並且理論那是錯綜複雜交相輝映，就好像數學同樣，如何學習數學？這問題彷佛有點籠統、有點寬泛。因此我都會具體問問你想入門計算機視覺的哪一個話題，只有順着一個話題理論聯合實際，纔有可能擴展到幾個話題。算法
yolo類算法，從開始到如今已經有了3代，咱們稱之爲v一、v二、v3，一路走來，讓人能感受到的是算法的性能在不斷的改進，以致於如今成爲了開源通用目標檢測算法的領頭羊（ps：雖然本人一直都很欣賞SSD，可是不得不說V3版本已經達到目前的顛覆）。一直以來，有一個問題困擾許久，那就是如何檢測兩個距離很近的同類的物體，固然又或者是距離很近的不一樣類的物體？絕大部分算法都會對傳入的data作resize到一個更小的resolution，它們對於這種狀況都會給出一個目標框，由於在它們的特徵提取或者回歸過程看來，這就是一個物體（可想原本就很近，一放縮之間的近距離愈加明顯了），而事實上這是兩個同（或不一樣）類型的物體靠的很近，這個難題是目標檢測和跟蹤領域的一個挑戰。就好像對小目標的檢測，一直以來也被看作是算法的一種評估。可是啊，v3版本卻作到了，它對這種距離很近的物體或者小物體有很好的魯棒性，雖然不能保證百分百，可是這個難題獲得了很大程度的解決，激發我對yolo類算法的研究。這也是爲何寫這篇文章的目的，在於見證一下這個算法的神奇。其實，百分百的檢測，在我看來事實上是不存在的，隨着時間的推移，環境的變化，任何妄言百分百準確的算法都是扯，只能是相互調整吧。前幾天uber撞人事件其實我最關注的應該是哪一個環節存在的問題，還須要改進，撞人是不可避免的，無人車的存在不是讓事故不發生，而是讓社會進步，科技發展，逐步下降事故發生率的同時改善人們的生活質量。網絡
yolo的v1和v2都不如SSD算法，原諒這麼直白，緣由是v1版本的448和v2版本的416都不如SSD的300，固然以上結論都是實驗測的，v3版本的416應該比SSD512好，可見其性能。架構
對官方yolo作了實驗，實驗中，採用同一個視頻、同一張顯卡，在閾值爲0.3的前提下，對比了v3和v2的測試效果以後，有了下面兩個疑問：性能
1.爲何v3和v2版本的測試性能提升很大，但速度卻沒有下降？學習
2.爲何v3性能上能有這麼大的改進？或者說爲何v3在沒有提升輸入數據分辨率的前提下，對小目標檢測變得這麼好？測試
要回答上述兩個問題，必需要看看做者發佈的v3論文了，將v3和v2不同的地方總結一下：spa
- loss不一樣：做者v3替換了v2的softmax loss 變成logistic loss，並且每一個ground truth只匹配一個先驗框。
- anchor bbox prior不一樣：v2做者用了5個anchor，一個折衷的選擇，因此v3用了9個anchor，提升了IOU。
- detection的策略不一樣：v2只有一個detection，v3一下變成了3個，分別是一個下采樣的，feature map爲13*13，還有2個上採樣的eltwise sum，feature map爲26*26，52*52，也就是說v3的416版本已經用到了52的feature map，而v2把多尺度考慮到訓練的data採樣上，最後也只是用到了13的feature map，這應該是對小目標影響最大的地方。
- backbone不一樣：這和上一點是有關係的，v2的darknet-19變成了v3的darknet-53，爲啥呢？就是須要上採樣啊，卷積層的數量天然就多了，另外做者仍是用了一連串的3*三、1*1卷積，3*3的卷積增長channel，而1*1的卷積在於壓縮3*3卷積後的特徵表示，這波操做很具備實用性，一增一減，效果棒棒。
爲何有這麼大的提升？我指的是v2和v3比，一樣是416的feature map，我感受是v2做者當時也是作了不少嘗試和借鑑，實現了匹敵SSD的效果，可是他由於被借鑑的內容所困擾，致使性能的停留，所以v3再借鑑，應該是參考了DSSD和FPN，這應該是以後的潮流了，作了一下結果性能提升很大，可能做者本人都沒想到。可是做者目前沒有寫篇論文，認爲沒有創造性實質性的改變，寫了一個report，科研的精神值得確定！若是對比v2和v3你會發現反差確實很大，因此上面的問題纔不奇怪。日誌
又爲何速度沒有降低？電腦上同環境測都是15幀左右。先看一下打印的日誌：code
v2的日誌信息：
Demo layer filters size input output 0 conv 32 3 x 3 / 1 416 x 416 x 3 -> 416 x 416 x 32 0.299 BFLOPs 1 max 2 x 2 / 2 416 x 416 x 32 -> 208 x 208 x 32 2 conv 64 3 x 3 / 1 208 x 208 x 32 -> 208 x 208 x 64 1.595 BFLOPs 3 max 2 x 2 / 2 208 x 208 x 64 -> 104 x 104 x 64 4 conv 128 3 x 3 / 1 104 x 104 x 64 -> 104 x 104 x 128 1.595 BFLOPs 5 conv 64 1 x 1 / 1 104 x 104 x 128 -> 104 x 104 x 64 0.177 BFLOPs 6 conv 128 3 x 3 / 1 104 x 104 x 64 -> 104 x 104 x 128 1.595 BFLOPs 7 max 2 x 2 / 2 104 x 104 x 128 -> 52 x 52 x 128 8 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 9 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 10 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 11 max 2 x 2 / 2 52 x 52 x 256 -> 26 x 26 x 256 12 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 13 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 14 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 15 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 16 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 17 max 2 x 2 / 2 26 x 26 x 512 -> 13 x 13 x 512 18 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 19 conv 512 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 512 0.177 BFLOPs 20 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 21 conv 512 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 512 0.177 BFLOPs 22 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 23 conv 1024 3 x 3 / 1 13 x 13 x1024 -> 13 x 13 x1024 3.190 BFLOPs 24 conv 1024 3 x 3 / 1 13 x 13 x1024 -> 13 x 13 x1024 3.190 BFLOPs 25 route 16 26 conv 64 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 64 0.044 BFLOPs 27 reorg / 2 26 x 26 x 64 -> 13 x 13 x 256 28 route 27 24 29 conv 1024 3 x 3 / 1 13 x 13 x1280 -> 13 x 13 x1024 3.987 BFLOPs 30 conv 125 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 125 0.043 BFLOPs 31 detection mask_scale: Using default '1.000000' Loading weights from yolo-voc.weights...Done!
v3的日誌信息：視頻
Demo layer filters size input output 0 conv 32 3 x 3 / 1 416 x 416 x 3 -> 416 x 416 x 32 0.299 BFLOPs 1 conv 64 3 x 3 / 2 416 x 416 x 32 -> 208 x 208 x 64 1.595 BFLOPs 2 conv 32 1 x 1 / 1 208 x 208 x 64 -> 208 x 208 x 32 0.177 BFLOPs 3 conv 64 3 x 3 / 1 208 x 208 x 32 -> 208 x 208 x 64 1.595 BFLOPs 4 res 1 208 x 208 x 64 -> 208 x 208 x 64 5 conv 128 3 x 3 / 2 208 x 208 x 64 -> 104 x 104 x 128 1.595 BFLOPs 6 conv 64 1 x 1 / 1 104 x 104 x 128 -> 104 x 104 x 64 0.177 BFLOPs 7 conv 128 3 x 3 / 1 104 x 104 x 64 -> 104 x 104 x 128 1.595 BFLOPs 8 res 5 104 x 104 x 128 -> 104 x 104 x 128 9 conv 64 1 x 1 / 1 104 x 104 x 128 -> 104 x 104 x 64 0.177 BFLOPs 10 conv 128 3 x 3 / 1 104 x 104 x 64 -> 104 x 104 x 128 1.595 BFLOPs 11 res 8 104 x 104 x 128 -> 104 x 104 x 128 12 conv 256 3 x 3 / 2 104 x 104 x 128 -> 52 x 52 x 256 1.595 BFLOPs 13 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 14 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 15 res 12 52 x 52 x 256 -> 52 x 52 x 256 16 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 17 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 18 res 15 52 x 52 x 256 -> 52 x 52 x 256 19 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 20 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 21 res 18 52 x 52 x 256 -> 52 x 52 x 256 22 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 23 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 24 res 21 52 x 52 x 256 -> 52 x 52 x 256 25 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 26 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 27 res 24 52 x 52 x 256 -> 52 x 52 x 256 28 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 29 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 30 res 27 52 x 52 x 256 -> 52 x 52 x 256 31 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 32 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 33 res 30 52 x 52 x 256 -> 52 x 52 x 256 34 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 35 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 36 res 33 52 x 52 x 256 -> 52 x 52 x 256 37 conv 512 3 x 3 / 2 52 x 52 x 256 -> 26 x 26 x 512 1.595 BFLOPs 38 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 39 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 40 res 37 26 x 26 x 512 -> 26 x 26 x 512 41 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 42 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 43 res 40 26 x 26 x 512 -> 26 x 26 x 512 44 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 45 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 46 res 43 26 x 26 x 512 -> 26 x 26 x 512 47 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 48 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 49 res 46 26 x 26 x 512 -> 26 x 26 x 512 50 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 51 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 52 res 49 26 x 26 x 512 -> 26 x 26 x 512 53 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 54 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 55 res 52 26 x 26 x 512 -> 26 x 26 x 512 56 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 57 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 58 res 55 26 x 26 x 512 -> 26 x 26 x 512 59 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 60 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 61 res 58 26 x 26 x 512 -> 26 x 26 x 512 62 conv 1024 3 x 3 / 2 26 x 26 x 512 -> 13 x 13 x1024 1.595 BFLOPs 63 conv 512 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 512 0.177 BFLOPs 64 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 65 res 62 13 x 13 x1024 -> 13 x 13 x1024 66 conv 512 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 512 0.177 BFLOPs 67 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 68 res 65 13 x 13 x1024 -> 13 x 13 x1024 69 conv 512 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 512 0.177 BFLOPs 70 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 71 res 68 13 x 13 x1024 -> 13 x 13 x1024 72 conv 512 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 512 0.177 BFLOPs 73 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 74 res 71 13 x 13 x1024 -> 13 x 13 x1024 75 conv 512 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 512 0.177 BFLOPs 76 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 77 conv 512 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 512 0.177 BFLOPs 78 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 79 conv 512 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 512 0.177 BFLOPs 80 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs 81 conv 255 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 255 0.088 BFLOPs 82 detection 83 route 79 84 conv 256 1 x 1 / 1 13 x 13 x 512 -> 13 x 13 x 256 0.044 BFLOPs 85 upsample 2x 13 x 13 x 256 -> 26 x 26 x 256 86 route 85 61 87 conv 256 1 x 1 / 1 26 x 26 x 768 -> 26 x 26 x 256 0.266 BFLOPs 88 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 89 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 90 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 91 conv 256 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 256 0.177 BFLOPs 92 conv 512 3 x 3 / 1 26 x 26 x 256 -> 26 x 26 x 512 1.595 BFLOPs 93 conv 255 1 x 1 / 1 26 x 26 x 512 -> 26 x 26 x 255 0.177 BFLOPs 94 detection 95 route 91 96 conv 128 1 x 1 / 1 26 x 26 x 256 -> 26 x 26 x 128 0.044 BFLOPs 97 upsample 2x 26 x 26 x 128 -> 52 x 52 x 128 98 route 97 36 99 conv 128 1 x 1 / 1 52 x 52 x 384 -> 52 x 52 x 128 0.266 BFLOPs 100 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 101 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 102 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 103 conv 128 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 128 0.177 BFLOPs 104 conv 256 3 x 3 / 1 52 x 52 x 128 -> 52 x 52 x 256 1.595 BFLOPs 105 conv 255 1 x 1 / 1 52 x 52 x 256 -> 52 x 52 x 255 0.353 BFLOPs 106 detection Loading weights from yolov3.weights...Done!
百度百科：FLOPS（即「每秒浮點運算次數」，「每秒峯值速度」），是「每秒所執行的浮點運算次數」（floating-point operations per second）的縮寫。它常被用來估算電腦的執行效能，尤爲是在使用到大量浮點運算的科學計算領域中。正由於FLOPS字尾的那個S，表明秒，而不是複數，因此不能省略掉。
在這裏所謂的「浮點運算」，實際上包括了全部涉及小數的運算。這類運算在某類應用軟件中經常出現，而它們也比整數運算更花時間。現今大部分的處理器中，都有一個專門用來處理浮點運算的「浮點運算器」（FPU）。也所以FLOPS所量測的，實際上就是FPU的執行速度。而最經常使用來測量FLOPS的基準程式（benchmark）之一，就是
Linpack。
可能的緣由：yolov2是一個縱向自上而下的網絡架構，隨着channel數目的不斷增長，FLOPS是不斷增長的，而v3網絡架構是橫縱交叉的，看着卷積層多，其實不少多channel的卷積層沒有繼承性，另外，雖然yolov3增長了anchor centroid，可是對ground truth的估計變得更加簡單，每一個ground truth只匹配一個先驗框，並且每一個尺度只預測3個框，v2預測5個框。這樣的話也下降了複雜度。
因此這發展的歷程應該是這樣的：
yolo——SSD——yolov2——FPN、Focal loss、DSSD......——yolov3
最後總結，yolo算法的性能一直都沒有被v2發揮出來，而真正被v3發揮出來了，v3此次的借鑑效果實在是太好了。
歡迎加入QQ交流羣864933024
相關文章
- 1. YOLO v3算法解析
- 2. 目標檢測（九）——YOLO v3
- 3. YOLO v3目標檢測
- 4. YOLO v3 檢測原理
- 5. 【目標檢測】—— YOLO V3
- 6. 經典目標檢測算法復現：SSD、YOLO-v1、YOLO-v2、YOLO-v3
- 7. YOLO v3算法詳解
- 8. 目標檢測--YOLO算法
- 9. yolo系列之yolo v3【深度解析】
- 10. 目標檢測算法Yolo
- 更多相關文章...
- • XML DOM 解析器 - XML DOM 教程
- • TCP報文格式解析 - TCP/IP教程
- • 算法總結-廣度優先算法
- • 算法總結-深度優先算法
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. 融合阿里雲，牛客助您找到心儀好工作
- 2. 解決jdbc(jdbctemplate)在測試類時不報錯在TomCatb部署後報錯
- 3. 解決PyCharm GoLand IntelliJ 等 JetBrains 系列 IDE無法輸入中文
- 4. vue+ant design中關於圖片請求不顯示的問題。
- 5. insufficient memory && Native memory allocation (malloc) failed
- 6. 解決IDEA用Maven創建的Web工程不能創建Java Class文件的問題
- 7. [已解決] Error: Cannot download ‘https://start.spring.io/starter.zip?
- 8. 在idea讓java文件夾正常使用
- 9. Eclipse啓動提示「subversive connector discovery」
- 10. 帥某-技巧-快速轉帖博主文章（article_content）
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. YOLO v3算法解析
- 2. 目標檢測（九）——YOLO v3
- 3. YOLO v3目標檢測
- 4. YOLO v3 檢測原理
- 5. 【目標檢測】—— YOLO V3
- 6. 經典目標檢測算法復現：SSD、YOLO-v1、YOLO-v2、YOLO-v3
- 7. YOLO v3算法詳解
- 8. 目標檢測--YOLO算法
- 9. yolo系列之yolo v3【深度解析】
- 10. 目標檢測算法Yolo