一、2014.Two-stream convolutional networks for action recognition in videos
兩個流:空間流作single frame,時間流作multi-frame對稠密光流作CNN處理。兩個流分別通過softmax後作class score fusion,(平均法 or SVM)。網絡
二、2015.Towards Good Practices for Very Deep Two-Stream ConvNets
空間流3 channel,時間流10 channel。ide
trick:優化
1.空間流在ImageNet上預訓練,時間流中的光流轉換爲0-255灰度圖在ImageNet上預訓練。spa
2.learning rate:時間流5e-3,1W個Iteration*0.1,3W次中止。空間流1e-3,4K個Iteration*0.1,1W次中止。視頻
3.data argmentation:因爲數據集太小的緣由,採用裁剪增長數據集,4個角和1箇中心,還有各類尺度的裁剪。從{26,224,192,168}中選擇尺度與縱橫比進行裁剪。blog
4.high dropout rate圖片
5.多GPU訓練源碼
有PyTorch源碼it
三、16年Temporal Segment Networks Towards Good Practices for Deep Action Recognition
和上一篇是同一批做者,應該是把上一篇的內容豐富了一些,但尚未具體去看。上一篇5頁,這一篇17頁,後面再說吧。io
提出兩點貢獻:
-
提出一個temporal segment network(TSN)網絡,基於視頻的動做識別網絡,結合了稀疏時間採樣策略,和大規模時間結構建模。(將視頻分紅K個序列,隨機抽取一個,網絡在全部的序列上共享參數)
-
一系列優化的策略,估計跟上一篇差不太多。
四、16年Convolutional Two-Stream Network Fusion for Video Action Recognition
此論文有公開源代碼,用的是MATLAB。
五、17年Hidden Two-Stream Convolutional Networks for Action Recognition
此論文有公開源代碼,用的是Caffe。