本文翻譯自維基百科,譯者:http://www.cnblogs.com/xrwang/archive/2011/03/09/ransac-1.html,本人在此基礎上進行了一些添加和修改。html
英文原文地址是:http://en.wikipedia.org/wiki/ransac,若是您英語不錯,建議您直接查看原文。
RANSAC是「RANdom SAmple Consensus(隨機抽樣一致)」的縮寫。它能夠從一組包含「局外點」的觀測數據集中,經過迭代方式估計數學模型的參數。它是一種不肯定的算法——它有必定的機率得出一個合理的結果;爲了提升機率必須提升迭代次數。該算法最先由Fischler和Bolles於1981年提出。
RANSAC的基本假設是:
(1)數據由「局內點」組成,例如:數據的分佈能夠用一些模型參數來解釋;
(2)「局外點」是不能適應該模型的數據;
(3)除此以外的數據屬於噪聲。
局外點產生的緣由有:噪聲的極值;錯誤的測量方法;對數據的錯誤假設。
RANSAC也作了如下假設:給定一組(一般很小的)局內點,存在一個能夠估計模型參數的過程;而該模型可以解釋或者適用於局內點。git
1、示例
一個簡單的例子是從一組觀測數據中找出合適的2維直線。假設觀測數據中包含局內點和局外點,其中局內點近似的被直線所經過,而局外點遠離於直線。簡單的最小二乘法不能找到適應於局內點的直線,緣由是最小二乘法儘可能去適應包括局外點在內的全部點。相反,RANSAC能得出一個僅僅用局內點計算出模型,而且機率還足夠高。可是,RANSAC並不能保證結果必定正確,爲了保證算法有足夠高的合理機率,咱們必須當心的選擇算法的參數。
左圖:包含不少局外點的數據集 右圖:RANSAC找到的直線(局外點並不影響結果)算法
2、概述
RANSAC算法的輸入是一組觀測數據,一個能夠解釋或者適應於觀測數據的參數化模型,一些可信的參數。
RANSAC經過反覆選擇數據中的一組隨機子集來達成目標。被選取的子集被假設爲局內點,並用下述方法進行驗證:
1.有一個模型適應於假設的局內點,即全部的未知參數都能從假設的局內點計算得出。
2.用1中獲得的模型去測試全部的其它數據,若是某個點適用於估計的模型,認爲它也是局內點。
3.若是有足夠多的點被歸類爲假設的局內點,那麼估計的模型就足夠合理。
4.而後,用全部假設的局內點去從新估計模型,由於它僅僅被初始的假設局內點估計過。
5.最後,經過估計局內點與模型的錯誤率來評估模型。
這個過程被重複執行固定的次數,每次產生的模型要麼由於局內點太少而被捨棄,要麼由於比現有的模型更好而被選用。數據結構
整個過程可參考下圖: mvc
3、算法
僞碼形式的算法以下所示:
輸入:
data —— 一組觀測數據
model —— 適應於數據的模型
n —— 適用於模型的最少數據個數
k —— 算法的迭代次數
t —— 用於決定數據是否適應於模型的閥值
d —— 斷定模型是否適用於數據集的數據數目
輸出:
best_model —— 跟數據最匹配的模型參數(若是沒有找到好的模型,返回null)
best_consensus_set —— 估計出模型的數據點
best_error —— 跟數據相關的估計出的模型錯誤
iterations = 0
best_model = null
best_consensus_set = null
best_error = 無窮大
while ( iterations < k )
maybe_inliers = 從數據集中隨機選擇n個點
maybe_model = 適合於maybe_inliers的模型參數
consensus_set = maybe_inliers
for ( 每一個數據集中不屬於maybe_inliers的點 )
if ( 若是點適合於maybe_model,且錯誤小於t )
將點添加到consensus_set
if ( consensus_set中的元素數目大於d )
已經找到了好的模型,如今測試該模型到底有多好
better_model = 適合於consensus_set中全部點的模型參數
this_error = better_model究竟如何適合這些點的度量
if ( this_error < best_error )
咱們發現了比之前好的模型,保存該模型直到更好的模型出現
best_model = better_model
best_consensus_set = consensus_set
best_error = this_error
增長迭代次數
返回 best_model, best_consensus_set, best_error
RANSAC算法的可能變化包括如下幾種:
(1)若是發現了一種足夠好的模型(該模型有足夠小的錯誤率),則跳出主循環。這樣可能會節約計算額外參數的時間。
(2)直接從maybe_model計算this_error,而不從consensus_set從新估計模型。這樣可能會節約比較兩種模型錯誤的時間,但可能會對噪聲更敏感。
4、參數
咱們不得不根據特定的問題和數據集經過實驗來肯定參數t和d。然而參數k(迭代次數)能夠從理論結果推斷。當咱們從估計模型參數時,用p表示一些迭代過程當中從數據集內隨機選取出的點均爲局內點的機率;此時,結果模型極可能有用,所以p也表徵了算法產生有用結果的機率。用w表示每次從數據集中選取一個局內點的機率,以下式所示:
w = 局內點的數目 / 數據集的數目
一般狀況下,咱們事先並不知道w的值,可是能夠給出一些魯棒的值。假設估計模型須要選定n個點,wn是全部n個點均爲局內點的機率;1 − wn是n個點中至少有一個點爲局外點的機率,此時代表咱們從數據集中估計出了一個很差的模型。 (1 − wn)k表示算法永遠都不會選擇到n個點均爲局內點的機率,它和1-p相同。所以,
1 − p = (1 − wn)k
咱們對上式的兩邊取對數,得出
app
值得注意的是,這個結果假設n個點都是獨立選擇的;也就是說,某個點被選定以後,它可能會被後續的迭代過程重複選定到。這種方法一般都不合理,由此推導出的k值被看做是選取不重複點的上限。例如,要從上圖中的數據集尋找適合的直線,RANSAC算法一般在每次迭代時選取2個點,計算經過這兩點的直線maybe_model,要求這兩點必須惟一。
爲了獲得更可信的參數,標準誤差或它的乘積能夠被加到k上。k的標準誤差定義爲:
less
5、優勢與缺點
RANSAC的優勢是它能魯棒的估計模型參數。例如,它能從包含大量局外點的數據集中估計出高精度的參數。RANSAC的缺點是它計算參數的迭代次數沒有上限;若是設置迭代次數的上限,獲得的結果可能不是最優的結果,甚至可能獲得錯誤的結果。RANSAC只有必定的機率獲得可信的模型,機率與迭代次數成正比。RANSAC的另外一個缺點是它要求設置跟問題相關的閥值。
RANSAC只能從特定的數據集中估計出一個模型,若是存在兩個(或多個)模型,RANSAC不能找到別的模型。dom
6、應用
RANSAC算法常常用於計算機視覺,例如同時求解相關問題與估計立體攝像機的基礎矩陣。ide
7、參考文獻測試
Martin A. Fischler and Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography". Comm. of the ACM 24: 381–395. doi:10.1145/358669.358692.
David A. Forsyth and Jean Ponce (2003). Computer Vision, a modern approach. Prentice Hall. ISBN 0-13-085198-1.
Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in Computer Vision (2nd ed.). Cambridge University Press.
P.H.S. Torr and D.W. Murray (1997). "The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix". International Journal of Computer Vision 24: 271–300. doi:10.1023/A:1007927408552.
Ondrej Chum (2005). "Two-View Geometry Estimation by Random Sample and Consensus". PhD Thesis. http://cmp.felk.cvut.cz/~chum/Teze/Chum-PhD.pdf
Sunglok Choi, Taemin Kim, and Wonpil Yu (2009). "Performance Evaluation of RANSAC Family". In Proceedings of the British Machine Vision Conference (BMVC). http://www.bmva.org/bmvc/2009/Papers/Paper355/Paper355.pdf.
8、外部連接
RANSAC Toolbox for MATLAB. A research (and didactic) oriented toolbox to explore the RANSAC algorithm in MATLAB. It is highly configurable and contains the routines to solve a few relevant estimation problems.
Implementation in C++ as a generic template.
RANSAC for Dummies A simple tutorial with many examples that uses the RANSAC Toolbox for MATLAB.
9、算法實現(C#、C++)
C# 實現:http://www.cnblogs.com/xrwang/p/SampleOfRansac.html,這篇文章很清晰的介紹了算法的設計步驟,並提供了很是規範的源代碼,即使是用C#實現,稍微有點基礎的人也能很容將其移植到C++平臺上。強烈推薦。
C++ 實現:網上收集
#include <math.h> #include "LineParamEstimator.h" LineParamEstimator::LineParamEstimator(double delta) : m_deltaSquared(delta*delta) {} /*****************************************************************************/ /* * Compute the line parameters [n_x,n_y,a_x,a_y] * 經過輸入的兩點來肯定所在直線,採用法線向量的方式來表示,以兼容平行或垂直的狀況 * 其中n_x,n_y爲歸一化後,與原點構成的法線向量,a_x,a_y爲直線上任意一點 */ void LineParamEstimator::estimate(std::vector<Point2D *> &data, std::vector<double> ¶meters) { parameters.clear(); if(data.size()<2) return; double nx = data[1]->y - data[0]->y; double ny = data[0]->x - data[1]->x;// 原始直線的斜率爲K,則法線的斜率爲-1/k double norm = sqrt(nx*nx + ny*ny); parameters.push_back(nx/norm); parameters.push_back(ny/norm); parameters.push_back(data[0]->x); parameters.push_back(data[0]->y); } /*****************************************************************************/ /* * Compute the line parameters [n_x,n_y,a_x,a_y] * 使用最小二乘法,從輸入點中擬合出肯定直線模型的所需參量 */ void LineParamEstimator::leastSquaresEstimate(std::vector<Point2D *> &data, std::vector<double> ¶meters) { double meanX, meanY, nx, ny, norm; double covMat11, covMat12, covMat21, covMat22; // The entries of the symmetric covarinace matrix int i, dataSize = data.size(); parameters.clear(); if(data.size()<2) return; meanX = meanY = 0.0; covMat11 = covMat12 = covMat21 = covMat22 = 0; for(i=0; i<dataSize; i++) { meanX +=data[i]->x; meanY +=data[i]->y; covMat11 +=data[i]->x * data[i]->x; covMat12 +=data[i]->x * data[i]->y; covMat22 +=data[i]->y * data[i]->y; } meanX/=dataSize; meanY/=dataSize; covMat11 -= dataSize*meanX*meanX; covMat12 -= dataSize*meanX*meanY; covMat22 -= dataSize*meanY*meanY; covMat21 = covMat12; if(covMat11<1e-12) { nx = 1.0; ny = 0.0; } else { //lamda1 is the largest eigen-value of the covariance matrix //and is used to compute the eigne-vector corresponding to the smallest //eigenvalue, which isn't computed explicitly. double lamda1 = (covMat11 + covMat22 + sqrt((covMat11-covMat22)*(covMat11-covMat22) + 4*covMat12*covMat12)) / 2.0; nx = -covMat12; ny = lamda1 - covMat22; norm = sqrt(nx*nx + ny*ny); nx/=norm; ny/=norm; } parameters.push_back(nx); parameters.push_back(ny); parameters.push_back(meanX); parameters.push_back(meanY); } /*****************************************************************************/ /* * Given the line parameters [n_x,n_y,a_x,a_y] check if * [n_x, n_y] dot [data.x-a_x, data.y-a_y] < m_delta * 經過與已知法線的點乘結果,肯定待測點與已知直線的匹配程度;結果越小則越符合,爲 * 零則代表點在直線上 */ bool LineParamEstimator::agree(std::vector<double> ¶meters, Point2D &data) { double signedDistance = parameters[0]*(data.x-parameters[2]) + parameters[1]*(data.y-parameters[3]); return ((signedDistance*signedDistance) < m_deltaSquared); }
RANSAC尋找匹配的代碼以下:
/*****************************************************************************/ template<class T, class S> double Ransac<T,S>::compute(std::vector<S> ¶meters, ParameterEsitmator<T,S> *paramEstimator , std::vector<T> &data, int numForEstimate) { std::vector<T *> leastSquaresEstimateData; int numDataObjects = data.size(); int numVotesForBest = -1; int *arr = new int[numForEstimate];// numForEstimate表示擬合模型所須要的最少點數,對本例的直線來講,該值爲2 short *curVotes = new short[numDataObjects]; //one if data[i] agrees with the current model, otherwise zero short *bestVotes = new short[numDataObjects]; //one if data[i] agrees with the best model, otherwise zero //there are less data objects than the minimum required for an exact fit if(numDataObjects < numForEstimate) return 0; // 計算全部可能的直線,尋找其中偏差最小的解。對於100點的直線擬合來講,大約須要100*99*0.5=4950次運算,複雜度無疑是龐大的。通常採用隨機選取子集的方式。 computeAllChoices(paramEstimator,data,numForEstimate, bestVotes, curVotes, numVotesForBest, 0, data.size(), numForEstimate, 0, arr); //compute the least squares estimate using the largest sub set for(int j=0; j<numDataObjects; j++) { if(bestVotes[j]) leastSquaresEstimateData.push_back(&(data[j])); } // 對局內點再次用最小二乘法擬合出模型 paramEstimator->leastSquaresEstimate(leastSquaresEstimateData,parameters); delete [] arr; delete [] bestVotes; delete [] curVotes; return (double)leastSquaresEstimateData.size()/(double)numDataObjects; }
前面提供的代碼實現都是二維狀況下形狀的擬合。最近咱們項目中要使用到三維狀況下的直線擬合。能夠仿照第一個C#代碼編寫,可是三維狀況下不少判斷標準、計算公式都會變化,這一點要注意。我是用的代碼是從PCL(point cloud library )中提取出來的,實現思路是同樣的,但其中用到了Eigen庫中的數據結構來進行計算,基礎差的人會比較難讀懂,若是有時間我會改爲C++ 中的基本數據結構來實現,其實看懂了是很容易改造的。
代碼地址:http://www.oschina.net/code/snippet_588162_50399