paper 50 ：人臉識別簡史與近期進展

自動人臉識別的經典流程分爲三個步驟：人臉檢測、面部特徵點定位（又稱Face Alignment人臉對齊）、特徵提取與分類器設計。通常而言，狹義的人臉識別指的是"特徵提取+分類器"兩部分的算法研究。

  在深度學習出現之前，人臉識別方法通常分爲高維人工特徵提取（例如：LBP, Gabor等）和降維兩個步驟，表明性的降維方法有PCA, LDA等子空間學習方法和LPP等流行學習方法。在深度學習方法流行以後，表明性方法爲從原始的圖像空間直接學習判別性的人臉表示。

通常而言，人臉識別的研究歷史能夠分爲三個階段。在第一階段（1950s-1980s），人臉識別被看成一個通常性的模式識別問題，主流技術基於人臉的幾何結構特徵。在第二階段（1990s）人臉識別迅速發展，出現了不少經典的方法，例如Eigen Face, Fisher Face和彈性圖匹配，此時主流的技術路線爲人臉表觀建模。在第三階段（1990s末期到如今），人臉識別的研究不斷深刻，研究者開始關注面向真實條件的人臉識別問題，主要包括如下四個方面的研究：1）提出不一樣的人臉空間模型，包括以線性判別分析爲表明的線性建模方法，以Kernel方法爲表明的非線性建模方法和基於3D信息的3D人臉識別方法。2）深刻分析和研究影響人臉識別的因素，包括光照不變人臉識別、姿態不變人臉識別和表情不變人臉識別等。3）利用新的特徵表示，包括局部描述子（Gabor Face, LBP Face等）和深度學習方法。4）利用新的數據源，例如基於視頻的人臉識別和基於素描、近紅外圖像的人臉識別。

2007年以來，LFW數據庫成爲事實上的真實條件下的人臉識別問題的測試基準。LFW數據集包括來源於因特網的5,749人的13,233張人臉圖像，其中有1680人有兩張或以上的圖像。LFW的標準測試協議包括6000對人臉的十折確認任務，每折包括300對正例和300對反例，採用十折平均精度做爲性能評價指標。

 自從LFW發佈以來，性能被不斷刷新。2013年以前，主要技術路線爲人造或基於學習的局部描述子+測度學習。2014年以後，主要技術路線爲深度學習。

  2014年以來，深度學習+大數據（海量的有標註人臉數據）成爲人臉識別領域的主流技術路線，其中兩個重要的趨勢爲：1）網絡變大變深（VGGFace16層，FaceNet22層）。2）數據量不斷增大（DeepFace 400萬，FaceNet2億），大數據成爲提高人臉識別性能的關鍵。

 

  在前DL時代，以VIPL實驗室三代半SDK爲例，關鍵技術點包括1）分塊人臉特徵融合：Gabor特徵+LPQ特徵。 2）子空間學習進行特徵降（PCA+LDA）。3）融合多尺度的人臉歸一化模板。SDK3.5的相關技術在FRGC實驗4上取得了0.1%錯誤接受率條件下96%的確認率，至今依然是FRGC數據集上最好結果。

 須要指出的是，雖然深度學習強調特徵學習，但學習特徵並非DL的專利。在前DL時代，利用淺層模型從圖像中直接學習表示和基於人造描述子學習語義表示（例如學習中層屬性表示的Attributes and Simile Classifier和學習高層語義表示的Tom-vs-Pete）的工做都見於相關文獻。

2014年，Facebook發表於CVPR14的工做DeepFace將大數據（400萬人臉數據）與深度卷積網絡相結合，在LFW數據集上逼近了人類的識別精度。其中DeepFace還引入了一個Local Connected卷積結構，在每一個空間位置學習單獨的卷積核，缺點是會致使參數膨脹，這個結構後來並無流行起來。

DeepID家族能夠看做是DL時代人臉識別領域的一組表明性工做。最先的DeepID網絡包括四個卷積層，採用softmax損失函數。DeepID2在DeepID網絡的基礎上，同時考慮了分類損失（identity loss) 和確認損失（verification loss）， 這兩種損失在Caffe深度學習框架中分別能夠採用softmaxwithloss層和contrastive loss層來實現。DeepID2+網絡則是在DeepID2的基礎上，增長了每一層的輔助損失函數（相似Deep Supervised Network)。

 Google發表於CVPR2015的工做FaceNet採用了22層的深層卷積網絡和海量的人臉數據（800萬人的2億張圖像）以及經常使用於圖像檢索任務的Triplet Loss損失函數。值得一提的是，因爲人臉類別數達到800萬類，若是使用softmax loss，輸出層節點將達到800萬個，須要至少32GB顯存（假設上一個隱層節點1024個，採用單精度浮點數），而Triplet Loss則不須要額外佔用顯存。FaceNet在LFW數據集上十折平均精度達到99.63%，這也是迄今爲止正式發表的論文中的最好結果，幾乎宣告了LFW上從2008年到2015年長達8年之久的性能競賽的結束。