本文轉載自中國科學院自動化研究所。算法
（影視劇換臉結果 素材來源自網絡）微信
科技改變影視生態網絡
賦予機器類人創造力，使之可以自動理解和編輯影像是人工智能領域的前沿方向。app
中科院自動化所智能感知與計算研究中心長期從事圖像分析理解的信息理論基礎研究，近期提出一種基於最優傳輸理論的影視換臉技術，着力於解決複雜光照和膚色條件下的人臉外觀遷移問題，在挑戰性的影視劇場景中實現了高效逼真的換臉效果。框架
該技術可以部分緩解影視換臉人力成本高昂的問題，有望進一步推進影視娛樂領域的智能化程度。相關論文因可能會在深度僞造領域帶來人工智能倫理影響，被NeurIPS2020大會條件接收，近日在得到6位專業審稿人（包含2位人工智能倫理專家）一致確定後，被正式接收。機器學習
影視換臉是指將原有影視做品中演員的人臉替換爲另外一名演員的人臉。爲了實現逼真效果，除卻身份信息外，替換後的人臉需保持和替換前人臉相同的屬性，如光照和膚色等。編輯器
傳統的影視換臉須要專業人員手動逐幀編輯，費時費力且造價高昂。例如，電影《雙子殺手》中將年輕時威爾·史密斯的人臉替換至影片中，短短4分鐘的換臉戲份花費了長達九個月的後期製做時間。漫長的週期、高昂的費用嚴重製約了影視換臉的發展。性能
近年來興起的生成機器學習模型給影視換臉帶來了新穎且經濟的解決思路。研究人員利用生成模型強大的學習和映射能力，實現人臉的自動替換。學習
然而，當被替換影視中的人臉處於複雜的外觀（光照、膚色）條件下時，當前基於生成模型的換臉技術難以取得使人滿意的效果，出現各類「換臉後遺症」，如圖1左邊生成視頻的面部出現忽明忽暗的色塊。測試
如何彌補生成視頻和源視頻之間的顏色屬性差別，從而有效地實現換臉過程當中的外觀遷移成爲亟待解決的問題。
圖1. 複雜光照條件下，DeepFaceLab (左)和新方法(右)對比圖
爲了解決上述問題，自動化所智能感知中心研究人員基於最優傳輸理論，將外觀顏色遷移問題建模爲一個最優傳輸問題，並提出外觀最優傳輸模型Appearance Optimal Transport（AOT）。
如圖2所示，其採用從新打光生成器(Relighting)和混合分割判別器(Mix-and-Segment)分別在特徵空間和像素空間同時求解傳輸計劃。
特徵空間上的遷移：提出一種神經最優傳輸計劃估計模塊（NOTPE），經過最小化隱空間特徵的Wasserstein距離近似求解最優傳輸，實現外觀在隱層空間的映射。
這樣一方面規避了傳統最優傳輸方法的大規模計算問題，另外一方面解決了圖像之間運用最優傳輸時生成不連續且不真實圖片的問題。
同時該方法提取人臉相應的座標以及法線信息，用於表示面部幾何和光照，使得在特徵空間上遷移的過程更爲準確。
圖2. AOT方法框架圖
像素空間上的遷移：因爲同一圖像的特徵空間和像素空間之間存在強關聯性，該方法進一步探索如何在像素空間上減小外觀差別。
在傳統的生成對抗網絡中，判別器用於區分整張圖像的真假，這樣會使模型趨向於關注總體特徵而忽略局部特徵。
爲了實現更細粒度的圖像生成，該方法利用換臉過程當中的結構一致性，引入一種圖像分割遊戲。其將生成的假臉切塊並和源圖像隨機混合，並使用一種新的判別器Mix-and-Segment（MSD）區分真假混合圖像塊中的真實部分。
這種分割對抗機制可以促使生成圖像在像素空間和目標圖像儘量類似，從而顯著提高換臉效果。
在DPF-1.0數據集上，該方法與當前主流的換臉算法DFL和FSGAN的對好比圖3所示。實驗結果顯示出該方法對光照變化的魯棒性，可以在複雜光照條件下實現更加逼真的換臉效果。
圖3. 受控場景下測試結果
圖4代表在現實影視場景中，該方法仍然展示出比傳統方法更加卓越的性能優點。
圖4. 現實影視場景下測試結果
【1】Hao Zhu*, Chaoyou Fu*, Qianyi Wu, Wayne Wu, Chen Qian, Ran He†. AOT: Appearance Optimal Transport Based Identity Swapping for Forgery Detection. NeurIPS, 2020.
【2】Ran He, Xiang Wu, Zhenan Sun, Tieniu Tan. Wasserstein CNN: Learning Invariant Features for NIR-VIS Face Recognition. IEEE Trans. Pattern Anal. Mach. Intell., 41(7): 1761-1773 (2019)
END
備註：人臉
人臉技術交流羣
人臉檢測、識別、對齊、重建、表情識別、表情遷移等技術，
若已爲CV君其餘帳號好友請直接私信。
微信號:aicvml
QQ羣:805388940
微博知乎:@我愛計算機視覺
投稿:amos@52cv.net
網站:www.52cv.net
在看，讓更多人看到
本文分享自微信公衆號 - 我愛計算機視覺（aicvml）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。