智能視頻檢索算法

能視頻檢索依賴於視頻算法對視頻內容進行分析，經過提取視頻中關鍵信息，進行標記或者相關處理，並造成相應事件和告警的監控方式，人們能夠經過各類屬性描述進行快速檢索。若是把攝像機看做人的眼睛，而智能視頻監控系統能夠理解爲人的大腦。智能視頻技術藉助處理器的強大計算功能，對視頻畫面中的海量數據進行高速分析，獲取人們須要的信息;

 

幀差模型

      幀差可說是最簡單的一種背景模型，指定視頻中的一幅圖像爲背景，用當前幀與背景進行比較，根據須要過濾較小的差別，獲得的結果就是前景了。

背景統計模型

   背景統計模型是：對一段時間的背景進行統計，而後計算其統計數據（例如平均值、平均差分、標準差、均值漂移值等等），將統計數據做爲背景的方法。

編碼本背景模型

 編碼本的基本思路是這樣的：針對每一個像素在時間軸上的變更，創建多個（或者一個）包容近期全部變化的Box（變更範圍）；在檢測時，用當前像素與Box去比較，若是當前像素落在任何Box的範圍內，則爲背景。

混合高斯模型

混合高斯背景建模是背景建模比較成功的一種。

爲何這麼說呢？ 機器視覺算法提取運動目標面臨的基本問題：圖像抖動，噪聲干擾，光線變化，雲飄動，陰影（包括目標陰影和區域外物體陰影），區域內部反光（如水面，顯示器），運動目標緩慢移動等。那咱們來看看，混合高斯背景建模是怎麼解決這些問題的？

 

 

經過背景建模與前景提取，把視頻幀中的目標對象提取了出來，不過提取獲得的是全部非背景對象，也就是是混合的，可能包含不少人、車、動物等對象，最終以圖搜圖檢索所要對比的是當個對象與搜索目標的類似性，這裏就須要經過目標檢測與跟蹤把這些混合的對象分離開來分別處理；

在目標檢測方面，所瞭解到的算法有貝葉斯方法、卡爾曼濾波器、粒子濾波器幾種，他們之間的關係以下：

貝葉斯方法利用已知的信息創建系統的機率密度函數能夠獲得對系統狀態估計的最優解。

對於線性高斯的估計問題，指望的機率密度函數還是高斯分佈，它的分佈特性可用均值和方差來描述，卡爾曼濾波器很好地解決了這類估計問題。

粒子（particle）濾波器——序列重要性採樣粒子濾波器，是一種適用於強非線性、無高斯約束的基於模擬的統計濾波器。

綜合上，粒子濾波的效果要更好；

 

光照處理：同一個物體，在不一樣光照下的視覺效果是不一樣的，所對應的數據也是不一樣的，因此，爲了提升分析準確性，召回率，須要對目標對象作光照處理；光照處理方面，業界比較流行的算法是本徵圖像分解法；

本徵圖像分解

照相機所得到的圖像中的每一個像素點值所具備的屬性所表示的信息中最爲重要的是亮度(shading)和反照率(reflectance)這兩種。其中亮度對應環境中的光照信息,反照率對應於物體的材質信息,即物體對光照的反射特性,反照率主要表現爲物體的顏色信息。本徵圖像求解問題就是從圖像出發,恢復全部像素點對應的場景中的亮度和反照率信息,分別造成亮度本徵圖和反照率本徵圖

本徵圖像分解能夠表述爲I(x,y) = L(x,y)R(x,y),其中I(x,y)表示輸入圖像, R(x,y)表示反照率圖像, L(x,y)表示亮度圖像。由於在對數域中,乘法被轉換成了更加易於計算的加法,所以咱們在圖像的對數域中進行計算,記 /(X,y) = log(I(x, y)) , r0,y) = log(R(x,少)),l(x,y) = log(L(x,y))。如此原來的乘法關係被轉化爲:i(x,y,t) = r(x,y) + l(x,y,t)。

關鍵幀提取

安防監控所採集的視頻數據量很是大，若是對視頻的每一幀都進行特徵提取、創建高維索引、檢索，那麼在視頻分析和檢索方面的時間開銷將很是大，因此第一步，要先對視頻流進行關鍵幀提取，只對關鍵幀進行特徵提取、創建高維索引、檢索的操做，大幅度縮短計算量；

視頻關鍵幀提取是指按照必定的規則提取可以表明原視頻內容的幀，該技術可以去除視頻數據中大部分冗餘信息，僅保留視頻數據有用的部分；關鍵幀提取是後續特徵提取。索引創建的前提，算法的優劣會直接影響整個視頻分析的準確率和性能；

關鍵幀提取的方法

關鍵幀提取方法主要分爲兩類：基於全圖像序列的方法和基於壓縮視頻的方法；  

目前大多數關鍵幀的提取研究是基於全圖像視頻分析的．具體實現方法的區別主要在於檢測方法的應用、特徵的選擇以及幀圖像子塊的劃分。主要能夠分爲如下幾類：

基於鏡頭邊界的方法

該方法將視頻流分割成不少的鏡頭，把鏡頭中的第一幀和最後一幀以及中間幾幀做爲關鍵幀。該方法簡單易行，適於內容活動性小或內容保持不變的鏡頭。但未考慮鏡頭視覺內容的複雜性：限制了鏡頭關鍵幀的個數：提取的關鍵幀表明性不強，效果不夠穩定。

基於內容分析的方法

該方法基於每一幀的顏色、紋理等視覺信息的改變來提取關鍵幀。比較經典的方法是幀平均法和直方圖平均法。幀平均法是在鏡頭中計算全部幀在某個位置上像素值的平均值．而後將鏡頭中該點位置的像素值最接近平均值的幀做爲關鍵幀；直方圖平均法是將鏡頭中全部幀的統計直方圖取平均．而後選取與該平均直方圖最接近的幀做爲關鍵幀。

基於運動分析的方法

此方法是根據運動信息提取關鍵幀．表明算法是Wolf提出的運動極小值算法 Wolf經過光流分析來計算鏡頭中的運動量．在運動量取局部最小值處選取關鍵幀。

基於聚類的方法

該方法是目前關鍵幀提取的主流技術．其基本思想是：首先肯定一個初始類心．而後根據當前幀與類心的距離來判斷當前幀是歸爲該類仍是做爲新的類心．將鏡頭中幀分類後．取各種中離類心距離最近的幀做爲關鍵幀。

基於壓縮視頻的方法

上述方法都是基於全圖像序列的，即在提取關鍵幀以前．對視頻進行解壓，還原成幀圖像。運算量大。基於壓縮域的方法是直接從MPEG壓縮視頻流上提取關鍵幀．無需對視頻流解壓或只需部分解壓，下降了計算的複雜性。

 

     業界比較經常使用的是基於聚類的方法和基於壓縮域的方法進行關鍵幀提取；

 

     關鍵幀提取完成後，就須要對提取到的關鍵幀進行特徵提取操做，主要是顏色特徵、紋理特徵、形狀特徵等幾個角度；特徵提取完成後，會對目標特徵創建高維索引，來提升檢索速度，最後經過對索引進行檢索來搜索目標圖像，返回搜索結果；