點擊上方「視學算法」，選擇加"星標"或「置頂」算法
重磅乾貨，第一時間送達
數據庫
魚羊 蕭簫 發自 凹非寺
量子位 報道 | 公衆號 QbitAI
哈利波特世界裏，能讓報紙上的照片動起來的魔法，如今麻瓜們已經掌握得愈來愈熟練了。安全
看，16歲的圖靈正穿越時空朝你眨眼、微笑，神態十分天然。微信
本來在老照片中沉默的美人，當年眼波流轉、巧笑倩兮的模樣，也從新清晰呈現。app
而這樣的全家福，是否喚醒了一段有關過往的回憶？svg
這就是這個週末國外社交媒體上最火的AI應用，呈如今人們眼前的「魔法」。函數
連李開復本人都忍不住玩了一把……工具
無需掌握什麼技術，只要在MyHeritage這個網站上上傳一張老照片，10-20秒以後，AI就會自動幫你賦予照片「生命」。flex
甚至是雕塑也同樣OK：網站
△圖源：twitter@FlintDibble
如此天然的效果，讓很多網友感嘆：這很是哈利波特。
任何足夠先進的技術都沒法與魔法區分開來。
神奇的是，這是一個在線家譜網站…
因此，這個當紅炸子雞MyHeritage是什麼來頭，咋就忽然掀起熱潮了？
當你點進這個網站，你會發現它的本職實際上是一個在線家譜平臺……
真的能幫你方便整理家譜的那一種……你能夠在其中填寫每個家庭成員的信息、上傳照片。
△是的還有官方中文
其背後的公司2003年創辦於以色列。截至2020年，該網站已支持42種語言，在全球擁有超過5000萬用戶，並已爲用戶構建了約5200萬個家譜……
雖然創始人Gilad Japhet是在一個家庭農場裏搞出了這麼一家公司，但扒一扒他們過往的發展歷程，會發現MyHeritage還真是前沿技術弄潮兒。
好比2006年，MyHeritage就推出了人臉識別功能，這個功能能夠幫用戶從照片數據庫中識別人臉特徵，將個體聯繫在一塊兒。
2016年，MyHeritage還推出了一項基因檢測服務，號稱能幫你發現你的種族起源，並尋找到新的親戚……目前售價59美圓。
據《國家地理雜誌》報道，2018年，MyHeritage提供了5000份這樣的DNA檢測工具包，幫助在美墨邊境散失的移民家庭團聚。
而公開資料顯示，到2019年爲止，MyHeritage成爲了全球第三大DNA檢測公司。
嗯，從製做家譜，到DNA檢測，再到用AI「復活」老照片，這個技術發展路徑還真挺合理呢！（手動狗頭）
不只變高清，還能動起來
咳咳，梳（ba）理（gua）完了，咱們仍是照例說回到技術自己。
雖然MyHeritage沒有詳細說明這一火爆應用背後的技術細節，但大體上，讓老照片動起來的效果，須要兩步來完成。
先是用超分辨率，讓照片變得更高清：
而後再用動做遷移，將另外一個視頻中的人物動做，「遷移」給照片中的人物。
首先，是超分辨率技術，也就是經過降噪、增長分辨率等方法，來增長照片的清晰度。
這裏，就須要GAN來發揮做用了，對這種模型進行訓練後，再採用其中的生成器，來對低頻圖像進行重建。
總體而言，GAN可以解決MSE損失函數缺乏高頻信息的問題，從而補全圖像中有關高頻細節的內容。
△深度生成算法ILO
利用這種方法重建的圖像，能構造出很是細節的人臉圖像，甚至連馬賽克人臉都能還原：
不過，這種方法也有一些問題，那就是在還原圖像的過程當中，模型會更注重圖像風格的類似、而非像素的類似（即感知類似）。
因此即便人物逼真，在細節上也可能會出現像這樣與原圖不一致的狀況：
△深度生成算法ILO
固然，將圖片變得清晰後，還須要利用動做遷移，讓照片動起來。
這項技術能實時提取一段視頻中的任務關鍵點，並將這些關鍵點和照片中的人臉關鍵點對應起來。
利用一項名爲「骨架」（skeleton）的技術，模型將視頻人物的關鍵點提取出來，並給照片中的人物也標記上對應的關鍵點。
△動做遷移算法TransMoMo
而後，再一幀幀將視頻人物的動做「遷移」到圖片中去。
經過這種方法，哪怕只有一張照片，也能讓裏面的人物跟着「開口說話」：
確實接近於「魔法」了。
有人感動，也有人擔憂
除了對「魔法」效果的驚歎，這樣的技術，也實實在在帶來了感動。
在reddit熱度高達2.9k的火爆討論之中，就有網友寫下了本身的真實感覺：
我試了試我父親的老照片，效果令我哽咽。他在我幾個月大時就去世了，這是我第一次看見他動起來，眨眼、微笑……
也有網友提出，這要是搭配上AR放到博物館裏，讓照片裏的人親自給你講述他們的人生故事，那真的簡直了。
不過，也有很多網友表示，擔憂這樣的技術被濫用，好比拍攝某些小電影……
而雖然MyHeritage強調他們不會向任何第三方提供用戶上傳的照片，而且未被徹底註冊的照片會被自動刪除，但網友仍然對數據泄露表示擔心。
畢竟MyHeritage原本也有過翻車歷史……
2018年6月，MyHeritage被發現一個安全漏洞，泄露了超過9200萬名用戶的數據。
這些數據，包括用戶的Email地址和密碼。
雖然MyHeritage聲稱，用戶家譜、DNA圖譜和信用卡等信息存儲在另外一個系統，未被泄露，且在漏洞發現當天就對用戶進行了雙重身份驗證。
但2019年12月，這些泄露的信息卻出如今了各類非法網站上，正被出售（並且出售的信息不止Email地址和密碼）。
參考連接：
[1] 網站地址：https://www.myheritage.cn/deep-nostalgia/result/866401141-500002
[2] https://www.theverge.com/2021/2/28/22306097/ai-brings-still-photos-life-meme-twitter-geneaology-myheritage
[3] https://arxiv.org/abs/2102.07364
[4] https://arxiv.org/abs/2003.14401
— 完 —
本文系網易新聞•網易號特點內容激勵計劃簽約帳號【量子位】原創內容，未經帳號受權，禁止隨意轉載。
點個在看 paper不斷！
本文分享自微信公衆號 - 視學算法（visualAlgorithm）。
若有侵權，請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」，歡迎正在閱讀的你也加入，一塊兒分享。