zheey團隊的成員來自北京郵電大學，其中王文哲爲隊長，是計算機學院研究生一年級的學生，主要研究方向爲多媒體內容理解與數據挖掘，其餘成員均是準備進入實驗室讀研或正在實驗室實習的計算機學院的本科生。團隊參與此次比賽主要是本着學習的目的，但願可以經過這次比賽更好地瞭解目前多媒體內容理解的前沿算法和相關知識。分工方面，主要由隊長來進行模型的搭建、優化和結果的提交等等，其餘成員則主要經過頭腦風暴來提供一些思路。git
2019 iQIYI多模態視頻人物識別挑戰賽的任務本質上是一我的物檢索問題,給定待檢測的人物ID，在測試集的視頻庫中找到最可能爲該人物的視頻片斷並按照機率進行降序排列。數據集由約20w視頻片斷組成，其中包含10034個待檢索人物，數據規模很大，並且存在一些人臉識別比較困難的樣本，須要充分利用視頻中的多模態信息，另外官方也引入了不少干擾樣本，整體來講該挑戰賽的難度較大。github
團隊首先對競賽的任務進行了分析，並參考去年取得較高成績的團隊們的方法，對賽題的難度有了一個大體的瞭解，接着在五月初開始下載數據集並設計初步模型方案。直觀來看，要想實現視頻中人物的識別，主要是經過人臉進行區分。爲了更快地實現baseline方案，團隊直接選用了官方提供的人臉特徵進行實驗，在官方劃分的訓練集上訓練了一個MLP模型，在驗證集上達到了接近0.83的mAP值，而後將訓練集和驗證集數據合併後進行了從新劃分，並訓練了相同的模型。在耗費了幾天時間熟悉docker的基本操做以後，團隊完成了baseline方法的提交併在測試集上取得了0.8742的成績，在當時成功提交的幾支隊伍中排名第1，從而堅決了繼續投入時間參與比賽的決心。web
在接下來的時間裏，全體隊員們開始對模型進行優化，包括引入多模型融合策略、對人臉特徵進行質量篩選、模型參數微調、引入人臉質量分數做爲權重等等，經過在官方劃分的訓練集上進行訓練、驗證集上進行測試的方式逐一驗證這些策略的效果來進行篩選，而後在合併的訓練與驗證集數據上訓練最終的模型進行提交。通過屢次嘗試，該方案在測試集上的最終分數爲0.8949，在全部參賽隊伍中排名第6。具體細節以下（具體代碼已在https://github.com/zhezheey/iQIYI-VID 公開）：算法
（1）模型輸入：官方提供的人臉特徵。docker
（2）模型結構：微信
三層感知機；app
中間層層寬：4096，激活函數：relu；函數
使用batch normalization和dropout；學習
最大batch size：32768（GPU：TITAN Xp）。測試
（3）訓練階段：
抗干擾：將干擾數據統一設置爲第10035類。
多模型：1）基於人臉特徵的質量分數劃分區間：0-200，20-200，40-200，0-60；2）合併訓練集與驗證集，取不一樣的隨機種子進行打亂，以19:1的比例從新對數據集進行劃分。
（4）預測階段：
人臉質量分數：1）對於人臉特徵數量不小於8的視頻片斷，僅選取人臉質量較高的前1/2數據進行預測；2）以人臉質量分數做爲權重對機率進行加權平均。
多模型：取均值。
（5）最終結果：
基礎模型（0.8742）；
模型融合（0.8861）；
質量篩選（0.8916）；
模型微調（0.8937）；
增長權重（0.8949）。
最後一週的時間裏，團隊開始嘗試引入更多策略，例如融合多模態信息、引入圖像分類模型提取特徵、對訓練數據進行加強等等。然而，這些策略中部分效果並不明顯，部分因爲時間關係並無得以很好地實現。在競賽截止前的最後一夜，團隊嘗試增長了MLP模型的層數，並在驗證集上取得了必定的效果提高，可是因爲時間比較緊張，加上最後階段競賽的測試環境壓力較大，也出現了一些問題，這一次提交併無運行成功（後來通過官方的驗證，此次提交的確可以取得更高的分數）。部分排名靠前的隊伍也使用了這些策略，可見其對結果的提高是比較明顯的。若是時間充足，本團隊的成績應該還會有必定的提高，這也留下了一些遺憾。
團隊在本次比賽中最大的收穫是自信心上的提高，同時也對多媒體內容理解方向有了一個基本的瞭解。回顧比賽歷程，咱們總結了如下經驗：在時間分配方面，要把重心放在覈心策略的優化上，不要過度糾結於模型的細節；因爲存在提交次數的限制，在競賽中要設置合理的驗證策略；經常使用的一些trick在競賽成績的提高中十分重要，例如數據加強、模型融合等等；在策略效果不佳時要嘗試對其進行檢查和分析，不要輕言放棄；人員任務分配要合理，保證你們可以共同參與進來，提高模型的效果。
若是將來比賽繼續開放，但願可以基於目前的算法引入多模態的信息，參考其餘獲勝隊伍的方法進行改進，與你們積極交流、相互促進，共同爭取取得更好的成績。最後，也但願可以進一步對數據集、所提供的多模態特徵和組織流程進行優化，爲你們進行算法創新提供更好的支持。
end
也許你還想看
人物識別挑戰賽TOP5團隊經驗分享：堅持不懈自己就是一種超越
人物識別挑戰賽TOP4團隊經驗分享：砥礪創新，享受過程
人物識別挑戰賽TOP3團隊經驗分享：明確目標，奮力前行
小方案蘊藏大改變，人物識別挑戰賽TOP2團隊依靠創新突圍
人物識別精準度提高至91.14%，TOP1團隊如何實現
掃一掃下方二維碼，更多精彩內容陪伴你！
愛奇藝技術產品團隊
簡單想，簡單作
▼獲取開源地址請點擊閱讀原文
本文分享自微信公衆號 - 愛奇藝技術產品團隊（iQIYI-TP）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。