OpenCV開發筆記（六十五）：紅胖子8分鐘帶你深刻了解ORB特徵點（圖文並茂+淺顯易懂+程序源碼）

時間  2020-06-24
標籤 opencv 開發 筆記 六十五 胖子 8分 深刻 瞭解 orb 特徵 圖文並茂 淺顯易懂 程序 源碼 简体版
原文   原文鏈接

若該文爲原創文章，未經容許不得轉載
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導航：http://www.javashuo.com/article/p-wxwjppoc-mo.html
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/106926496
各位讀者，知識無窮而人力有窮，要麼改需求，要麼找專業人士，要麼本身研究
紅胖子(紅模仿)的博文大全：開發技術集合（包含Qt實用技術、樹莓派、三維、OpenCV、OpenGL、ffmpeg、OSG、單片機、軟硬結合等等）持續更新中…（點擊傳送門）算法

OpenCV開發專欄（點擊傳送門）

上一篇：《OpenCV開發筆記（六十四）：紅胖子8分鐘帶你深刻了解SURF特徵點（圖文並茂+淺顯易懂+程序源碼）》
下一篇：持續補充中…機器學習

 

前言

  紅胖子，來也！
  識別除了傳統的模板匹配以外就是體徵點了，前面介紹了Suft特徵點，還有一個傳統的就會ORB特徵點了。
  其實識別的特徵點多種多樣，既能夠本身寫也可使用opencv爲咱們提供的，通常來講根據特徵點的特性和效率，選擇適合咱們場景的特徵就能夠了。
  本篇，介紹ORB特徵提取。ide

 

Demo

  在這裏插入圖片描述
  在這裏插入圖片描述
  在這裏插入圖片描述
  在這裏插入圖片描述

 

ORB特徵點

概述

  ORB是ORiented Brief的簡稱，是briedf算法的改進版，於2011年在《ORB：an fficient alternative to SIFT or SURF》中提出。
ORB算法分爲兩部分，分別是特徵點提取和特徵點描述：函數

  • 特徵提取：由FAST（Features from Accelerated Segment Test）算法發展來的；
  • 特徵點描述：根據BRIEF（Binary Robust IndependentElementary Features）特徵描述算法改進的。

  ORB特徵是將FAST特徵點的檢測方法與BRIEF特徵描述子結合起來，並在它們原來的基礎上作了改進與優化。聽說，ORB算法的速度是sift的100倍，是surf的10倍。學習

Brief描述子

  該特徵描述子是在特徵點附近隨機選取若干點對，將這些點對的灰度值的大小，組合成一個二進制串，組合成一個二進制傳，並將這個二進制串做爲該特徵點的特徵描述子。
  Brief的速度快，可是使用灰度值做爲描述字計算的源頭，毫無疑問會有一些顯而易見的問題：優化

  • 旋轉後灰度變了致使沒法識別，因其不具有旋轉不變形；
  • 因爲是計算灰度，噪聲灰度化則沒法去噪，因此對噪聲敏感；
  • 尺度不一樣影響灰度計算，因此也不具有尺度不變形；
    ORB是試圖使其具有旋轉不變性和下降噪聲敏感度而提出的。

特徵檢測步驟

步驟一：使用brief算子的方式初步提取。

  該步可以提取大量的特徵點，可是有很大一部分的特徵點的質量不高。從圖像中選取一點P，以P爲圓心畫一個半徑爲N像素半徑的圓。圓周上若是有連續n個像素點的灰度值比P點的灰度值大或者小，則認爲P爲特徵點。
  在這裏插入圖片描述ui

步驟二：機器學習的方法篩選最優特徵點。

  通俗來講就是使用ID3算法訓練一個決策樹，將特徵點圓周上的16個像素輸入決策樹中，以此來篩選出最優的FAST特徵點。.net

步驟三：非極大值抑制去除局部較密集特徵點。

  使用非極大值抑制算法去除臨近位置多個特徵點的問題。爲每個特徵點計算出其響應大小。計算方式是特徵點P和其周圍16個特徵點誤差的絕對值和。在比較臨近的特徵點中，保留響應值較大的特徵點，刪除其他的特徵點。code

步驟四：使用金字塔來實現多尺度不變形。

步驟五：使用圖像的矩判斷特徵點的旋轉不變性

  ORB算法提出使用矩（moment）法來肯定FAST特徵點的方向。也就是說經過矩來計算特徵點以r爲半徑範圍內的質心，特徵點座標到質心造成一個向量做爲該特徵點的方向。orm

ORB類的使用

cv::Ptr<cv::ORB> _pOrb = cv::ORB::create();
std::vector<cv::KeyPoint> keyPoints1;
//特徵點檢測
_pOrb->detect(srcMat, keyPoints1);

ORB相關函數原型

static Ptr<ORB> create(int nfeatures=500,
                       float scaleFactor=1.2f,
                       int nlevels=8,
                       int edgeThreshold=31,
                       int firstLevel=0,
                       int WTA_K=2,
                       int scoreType=ORB::HARRIS_SCORE,
                       int patchSize=31,
                       int fastThreshold=20);
  • 參數一：int類型的nfeatures，用於ORB的，保留最大的關鍵點數，默認值500；
  • 參數二：float類型的scaleFactor，比例因子，大於1時爲金字塔抽取比。的等於2表示經典的金字塔，每個下一層的像素比上一層少4倍，可是比例係數太大了將顯著下降特徵匹配分數。另外一方面，太接近1個比例因子這意味着要覆蓋必定的範圍，你須要更多的金字塔級別，因此速度會受影響的，默認值1.2f；
  • 參數三：int類型的nlevels，nlevels金字塔級別的數目。最小級別的線性大小等於輸入圖像線性大小/功率（縮放因子，nlevels-第一級），默認值爲8；
  • 參數四：int類型的edgeThreshold，edgeThreshold這是未檢測到功能的邊框大小。它應該大體匹配patchSize參數。；
  • 參數五：int類型的firstLevel，要將源圖像放置到的金字塔級別。之前的圖層已填充使用放大的源圖像；
  • 參數六：int類型的WTA_K，生成定向簡短描述符的每一個元素的點數。這個默認值2是指取一個隨機點對並比較它們的亮度，因此咱們獲得0/1的響應。其餘可能的值是3和4。例如，3表示咱們取3隨機點（固然，這些點座標是隨機的，可是它們是由預約義的種子，所以簡短描述符的每一個元素都是從像素肯定地計算出來的矩形），找到最大亮度點和獲勝者的輸出索引（0、1或2）。如此輸出將佔用2位，所以須要一個特殊的漢明距離變量，表示爲NORM_HAMMING2（每箱2位）。當WTA_K=4時，咱們取4個隨機點計算每一個點bin（也將佔用可能值爲0、一、2或3的2位）。；
  • 參數七：int類型的scoreType，HARRIS_SCORES表示使用HARRIS算法對特徵進行排序（分數寫入KeyPoint::score，用於保留最佳nfeatures功能）；FAST_SCORE是產生稍微不穩定關鍵點的參數的替代值，但計算起來要快一點；
  • 參數八：int類型的patchSize，定向簡短描述符使用的修補程序的大小。固然，在較小的金字塔層特徵覆蓋的感知圖像區域將更大；
  • 參數九：int類型的fastThreshold，快速閾值；
void xfeatures2d::SURT::detect( InputArray image,
                                std::vector<KeyPoint>& keypoints,
                                InputArray mask=noArray() );
  • 參數一：InputArray類型的image，輸入cv::Mat；
  • 參數二：std::Vector類型的keypoints，檢測到的關鍵點；
  • 參數三：InputArray類型的mask，默認爲空，指定在何處查找關鍵點的掩碼（可選）。它必須是8位整數感興趣區域中具備非零值的矩陣。；
void xfeatures2d::SURT::compute( InputArray image,
                                 std::vector<KeyPoint>& keypoints,
                                 OutputArray descriptors );
  • 參數一：InputArray類型的image，輸入cv::Mat；
  • 參數二：std::Vector類型的keypoints，描述符不能爲其已刪除計算的。有時能夠添加新的關鍵點，例如：SIFT duplicates keypoint有幾個主要的方向（每一個方向）；
  • 參數三：OutputArray類型的descriptors，計算描述符；
// 該函數結合了detect和compute，參照detect和compute函數參數
void xfeatures2d::SURT::detectAndCompute( InputArray image,
                                          InputArray mask,
                                          std::vector<KeyPoint>& keypoints,
                                          OutputArray descriptors,
                                          bool useProvidedKeypoints=false );

繪製關鍵點函數原型

void drawKeypoints( InputArray image,
                    const std::vector<KeyPoint>& keypoints,
                    InputOutputArray outImage,
                    const Scalar& color=Scalar::all(-1),
                    int flags=DrawMatchesFlags::DEFAULT );
  • 參數一：InputArray類型的image，；
  • 參數二：std::Vector類型的keypoints，原圖的關鍵點；
  • 參數三：InputOutputArray類型的outImage，其內容取決於定義在輸出圖像。請參閱參數五的標誌flag）；
  • 參數四：cv::Scalar類型的color，繪製關鍵點的顏色，默認爲Scalar::all(-1)隨機顏色，每一個點都是這個顏色，那麼隨機時，每一個點都是隨機的；
  • 參數五：int類型的flags，默認爲DEFAULT，具體參照DrawMatchesFlags枚舉以下：
    在這裏插入圖片描述
 

相關博客

  本源碼中包含了「透視變換」，請參照博文《OpenCV開發筆記（五十一）：紅胖子8分鐘帶你深刻了解透視變換（圖文並茂+淺顯易懂+程序源碼）》

 

特徵點總結

  根據前面連續三篇的特徵點，咱們其實能夠猜到了全部的匹配都是這樣提取特徵點，而後使用一些算法來匹配，至於使用什麼特徵點提取就是須要開發者根據實際的經驗去選取，單一的特徵點/多種特徵點提取混合/本身寫特徵點等等多種方式去提取特徵點，爲後一步的特徵點匹配作準備，特徵點通用的就到此篇，後續會根據實際開發項目中使用的到隨時以新的篇章博文去補充。
  《OpenCV開發筆記（六十三）：紅胖子8分鐘帶你深刻了解SIFT特徵點（圖文並茂+淺顯易懂+程序源碼）》
  《OpenCV開發筆記（六十四）：紅胖子8分鐘帶你深刻了解SURF特徵點（圖文並茂+淺顯易懂+程序源碼》
  《OpenCV開發筆記（六十五）：紅胖子8分鐘帶你深刻了解ORB特徵點（圖文並茂+淺顯易懂+程序源碼）》

 

Demo源碼

void OpenCVManager::testOrbFeatureDetector()
{
    QString fileName1 = "13.jpg";
    int width = 400;
    int height = 300;

    cv::Mat srcMat = cv::imread(fileName1.toStdString());
    cv::resize(srcMat, srcMat, cv::Size(width, height));

    cv::String windowName = _windowTitle.toStdString();
    cvui::init(windowName);

    cv::Mat windowMat = cv::Mat(cv::Size(srcMat.cols * 2, srcMat.rows * 3),
                                srcMat.type());
    cv::Ptr<cv::ORB> _pObr = cv::ORB::create();

    int k1x = 0;
    int k1y = 0;
    int k2x = 100;
    int k2y = 0;
    int k3x = 100;
    int k3y = 100;
    int k4x = 0;
    int k4y = 100;
    while(true)
    {
        windowMat = cv::Scalar(0, 0, 0);

        cv::Mat mat;

        // 原圖先copy到左邊
        mat = windowMat(cv::Range(srcMat.rows * 1, srcMat.rows * 2),
                        cv::Range(srcMat.cols * 0, srcMat.cols * 1));
        cv::addWeighted(mat, 0.0f, srcMat, 1.0f, 0.0f, mat);

        {
            std::vector<cv::KeyPoint> keyPoints1;
            std::vector<cv::KeyPoint> keyPoints2;

            cvui::printf(windowMat, 0 + width * 1, 10 + height * 0, "k1x");
            cvui::trackbar(windowMat, 0 + width * 1, 20 + height * 0, 165, &k1x, 0, 100);
            cvui::printf(windowMat, 0 + width * 1, 70 + height * 0, "k1y");
            cvui::trackbar(windowMat, 0 + width * 1, 80 + height * 0, 165, &k1y, 0, 100);

            cvui::printf(windowMat, width / 2 + width * 1, 10 + height * 0, "k2x");
            cvui::trackbar(windowMat, width / 2 + width * 1, 20 + height * 0, 165, &k2x, 0, 100);
            cvui::printf(windowMat, width / 2 + width * 1, 70 + height * 0, "k2y");
            cvui::trackbar(windowMat, width / 2 + width * 1, 80 + height * 0, 165, &k2y, 0, 100);

            cvui::printf(windowMat, 0 + width * 1, 10 + height * 0 + height / 2, "k3x");
            cvui::trackbar(windowMat, 0 + width * 1, 20 + height * 0 + height / 2, 165, &k3x, 0, 100);
            cvui::printf(windowMat, 0 + width * 1, 70 + height * 0 + height / 2, "k3y");
            cvui::trackbar(windowMat, 0 + width * 1, 80 + height * 0 + height / 2, 165, &k3y, 0, 100);

            cvui::printf(windowMat, width / 2 + width * 1, 10 + height * 0 + height / 2, "k4x");
            cvui::trackbar(windowMat, width / 2 + width * 1, 20 + height * 0 + height / 2, 165, &k4x, 0, 100);
            cvui::printf(windowMat, width / 2 + width * 1, 70 + height * 0 + height / 2, "k4y");
            cvui::trackbar(windowMat, width / 2 + width * 1, 80 + height * 0 + height / 2, 165, &k4y, 0, 100);

            std::vector<cv::Point2f> srcPoints;
            std::vector<cv::Point2f> dstPoints;

            srcPoints.push_back(cv::Point2f(0.0f, 0.0f));
            srcPoints.push_back(cv::Point2f(srcMat.cols - 1, 0.0f));
            srcPoints.push_back(cv::Point2f(srcMat.cols - 1, srcMat.rows - 1));
            srcPoints.push_back(cv::Point2f(0.0f, srcMat.rows - 1));

            dstPoints.push_back(cv::Point2f(srcMat.cols * k1x / 100.0f, srcMat.rows * k1y / 100.0f));
            dstPoints.push_back(cv::Point2f(srcMat.cols * k2x / 100.0f, srcMat.rows * k2y / 100.0f));
            dstPoints.push_back(cv::Point2f(srcMat.cols * k3x / 100.0f, srcMat.rows * k3y / 100.0f));
            dstPoints.push_back(cv::Point2f(srcMat.cols * k4x / 100.0f, srcMat.rows * k4y / 100.0f));

            cv::Mat M = cv::getPerspectiveTransform(srcPoints, dstPoints);
            cv::Mat srcMat2;
            cv::warpPerspective(srcMat,
                                srcMat2,
                                M,
                                cv::Size(srcMat.cols, srcMat.rows),
                                cv::INTER_LINEAR,
                                cv::BORDER_CONSTANT,
                                cv::Scalar::all(0));

            mat = windowMat(cv::Range(srcMat.rows * 1, srcMat.rows * 2),
                            cv::Range(srcMat.cols * 1, srcMat.cols * 2));
            cv::addWeighted(mat, 0.0f, srcMat2, 1.0f, 0.0f, mat);

            //特徵點檢測
            _pObr->detect(srcMat, keyPoints1);
            //繪製特徵點(關鍵點)
            cv::Mat resultShowMat;
            cv::drawKeypoints(srcMat,
                             keyPoints1,
                             resultShowMat,
                             cv::Scalar(0, 0, 255),
                             cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
            mat = windowMat(cv::Range(srcMat.rows * 2, srcMat.rows * 3),
                            cv::Range(srcMat.cols * 0, srcMat.cols * 1));
            cv::addWeighted(mat, 0.0f, resultShowMat, 1.0f, 0.0f, mat);

            //特徵點檢測
            _pObr->detect(srcMat2, keyPoints2);
            //繪製特徵點(關鍵點)
            cv::Mat resultShowMat2;
            cv::drawKeypoints(srcMat2,
                             keyPoints2,
                             resultShowMat2,
                             cv::Scalar(0, 0, 255),
                             cv::DrawMatchesFlags::DRAW_RICH_KEYPOINTS);
            mat = windowMat(cv::Range(srcMat.rows * 2, srcMat.rows * 3),
                           cv::Range(srcMat.cols * 1, srcMat.cols * 2));
            cv::addWeighted(mat, 0.0f, resultShowMat2, 1.0f, 0.0f, mat);

            cv::imshow(windowName, windowMat);
        }
        // 更新
        cvui::update();
        // 顯示
        // esc鍵退出
        if(cv::waitKey(25) == 27)
        {
            break;
        }
    }
}
 

工程模板：對應版本號v1.59.0

  對應版本號v1.59.0

 

上一篇：《OpenCV開發筆記（六十四）：紅胖子8分鐘帶你深刻了解SURF特徵點（圖文並茂+淺顯易懂+程序源碼）》
下一篇：持續補充中…

 

原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導航：http://www.javashuo.com/article/p-wxwjppoc-mo.html
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/106926496

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程