2017年研究生數學建模D題（前景目標檢測）相關論文與實驗結果

一直都想參加下數學建模，經過幾個月培訓學到一些好的數學思想和方法，今年終於有時間有機會有隊友一塊兒參加了研究生數模，but，爲啥今年說不培訓直接參加國賽，淚目~_~~，而後比賽前也基本沒看，直接硬剛。比賽完總結下是個好習慣，下面寫了一點分析，比較注重實現，有些地方我也不能講很清楚，看過的請權當參考。

 

問題1：對一個不包含動態背景、攝像頭穩定拍攝時間大約5秒的監控視頻，構造提取前景目標（如人、車、動物等）的數學模型，並對該模型設計有效的求解方法，從而實現相似圖1的應用效果。（附件2提供了一些符合此類特徵的監控視頻）

 

圖1 左圖：原視頻幀；右圖：分離出的前景目標

分析：第一問最簡單，攝像頭穩定，靜態背景下，直接使用幀間差法便可解決，基於幀差法改進的一些方法效果也不錯，試過使用VIBE算法（改進背景更新策略）檢測效果都很好，可是這個題目測試視頻有個坑，那個電梯運動的視頻，嚴格來講不算靜態背景視頻，電梯部分後面經過算法微調才勉強去除，這部分用到了基於LBP（二值類似性模式）的MultiLayer算法，算法論文在這裏：Multi-Layer Background Subtraction Based on Color and Texture ，供參考。下圖是office視頻和smoke視頻（帶電梯運動那個）的提取結果（圖從論文中截出來的，有點模糊）

office	smoke

圖2 原始視頻幀與分離出的前景目標

 

問題2：對包含動態背景信息的監控視頻（如圖2所示），設計有效的前景目標提取方案。（附件2中提供了一些符合此類特徵的典型監控視頻）

圖3 幾種典型的動態視頻背景，：樹葉搖動，水波動，噴泉變化，窗簾晃動

分析：這個問題直觀地就是經過運動幅度來來建模，常常使用高斯分佈來表示，這部分使用了基於改進BSP的LBSP方法，效果很不錯。算法的論文放在這裏：Improving Background Subtraction using Local Binary Similarity Patterns，下圖是waterSurface視頻（海面波動）的提取結果

 圖4 原始視頻幀與分離出的前景目標

 

問題3：在監控視頻中，當監控攝像頭髮生晃動或偏移時，視頻也會發生短暫的抖動現象（該類視頻變換在短期內可近似視爲一種線性仿射變換，如旋轉、平移、尺度變化等）。對這種類型的視頻，如何有效地提取前景目標？（附件2中提供了一些符合此類特徵的典型監控視頻，其它一些典型視頻可從http://wordpress-jodoin.dmi.usherb.ca/dataset2014/下載）

分析：這個問題開始咱們想的是用Faster-RNN之類的網絡識別目標，而後再跟蹤目標分割出來，可是好像有點麻煩，短期內很差作，後面仔細看了題目，他們其實有提示，仿射變換？是啊，攝像頭抖動就至關於短期內的仿射變換，這種仿射變換怎麼計算出來呢？咱們能夠經過提取圖像的特徵點（實測matlab的MinEigen方法偏差點最少，它的核心是Harris角點檢測），計算出兩幅圖像之間的對應特徵點，天然就能夠獲得它們之間的仿射變換了，花了一個晚上加一個上午把程序弄好（還作了僞補全圖像），效果還很不錯，可以獲得穩定的視頻，可是這種方法有侷限性。下圖是people2的提取結果

 圖5 原始視頻幀與分離出的前景目標

 

問題4：在附件3中提供了8組視頻（avi文件與mat文件內容相同）。請利用大家所構造的建模方法，從每組視頻中選出包含顯著前景目標的視頻幀標號，並將其在建模論文正文中獨立成段表示。務須註明前景目標是出現於哪個視頻（如Campus視頻）的哪些幀（如241-250，421-432幀）。

分析：這個沒啥說的，拿前面的算法跑一遍就好了，咱們作的順序是124356，5,6最後只寫了想法。

 

問題5：如何經過從不一樣角度同時拍攝的近似同一地點的多個監控視頻中（如圖3所示）有效檢測和提取視頻前景目標？請充分考慮並利用多個角度視頻的前景之間（或背景之間）相關性信息（一些典型視頻可從http://cvlab.epfl.ch/research/surv/multi-people-tracking下載）

 

圖6 在室內同一時間從不一樣角度拍攝同一地點得到的視頻幀

分析：這個題目的意思感受不是太清晰，可是最好的方法應該是pom了，只是他們沒有開放源代碼，項目主頁在這裏：https://cvlab.epfl.ch/software/pom/，能夠研究下。

昨天與一等獎大神討論了下，其實這題是有簡單的方法的，和第三題相似，想法很簡單，先試試能不能搞出來，搞出來了再放過程和結果。這一問的論文能夠看看這裏 ，對極幾何那部分。

 

問題6：利用所獲取前景目標信息，可否自動判斷監控視頻中有無人羣短時彙集、人羣驚慌逃散、羣體規律性變化（如跳舞、列隊排練等）、物體爆炸、建築物倒塌等異常事件？可考慮的特徵信息包括前景目標奔跑的線性變化形態特徵、前景規律性變化的週期性特徵等。嘗試對更多的異常事件類型，設計相應的事件檢測方案。（請從網絡下載包含各類事件的監控視頻進行算法驗證）

分析：沒有完成，應該基於前面的算法，利用聚類方法和運動軌跡進行分析，主要在判別策略上。

/*end of all*/