[譯] 使用 iPhone X 與 Maya 實現快速麪部捕捉

• 原文地址：Using iPhone X With Maya For Quick And Cheap Facial Capture
• 原文做者：IAN HAMILTON
• 譯文出自：掘金翻譯計劃
• 本文永久連接：github.com/xitu/gold-m…
• 譯者：ALVINYEH
• 校對者：luochen1992、melon8

iPhone X 可否成爲一個快速、廉價、簡單的面部捕捉系統？大約在一個月前，Kite & Lightning 的科裏·斯特拉斯伯格收到了蘋果公司的一部 iPhone X。不到一天，他就在用 TrueDepth 相機和 ARKit 來測試軟件。他想看看這臺手機是否能夠用於他們的遊戲和電影內容。

Kite & Lightning 是 Oculus VR 開發工具包早期的創新者，還使用一些引人注目的人物捕捉技術構建了像 Senza Peso 那樣等突破性的體驗。如今，他們正在建造巴比倫皇家戰役。遊戲圍繞着這些有巨大態度的 「beby」 角色展開。他想知道是否能夠經過使用 iPhone X 面部捕捉來更快更廉價地完成賦予這些角色一個比較大的個性，他在週末花一些時間在上面。

「我認爲目前我得出的一個重大結論是：iPhone X 所捕獲數據很是微妙、穩定並且不會過分平滑」，斯特拉斯伯格在一封電子郵件中寫道：「它實際上可以捕捉到很是微妙的動做，甚至是微小的抽搐，它已經足夠乾淨(無噪音)，能夠在手機上直接使用，固然這取決於你的標準。」

他認爲這是一種相對便宜的面部捕捉的可行方法。該系統也是可移動的，能夠使它更容易創建和部署。蘋果收購了一家名爲 Faceshift 的公司，該公司彷佛爲這項功能提供了很大的動力。雖然斯特拉斯伯格指出 Faceshift 的解決方案還有其餘一些很酷的功能，但他已經可以用蘋果所發佈的 iPhone X 提取出足夠的表現力，這可能對虛擬現實的製做仍然是有用的。

• YouTube 視頻連接：https://youtu.be/w047Dbo-fGQ

捕捉過程

下面是斯特拉斯伯格概述爲了獲取 iPhone X 的面部捕捉數據，並用它來激活動畫角色在 Maya 中的表情全過程：

• 使用蘋果 ARKit 和 Unity，我導入了一個正在開發中的 Bebylon 角色，並將其面部表情混合形狀和 ARKit 輸出的面部捕捉數據掛鉤。 這讓我能夠根據本身的表情來驅動嬰兒的臉部動畫。
• 我須要捕捉這個表情數據，以便導入到 Maya 中。我添加了一個記錄函數，將面部表情數據傳入文本文件中。而後保存在本地的 iPhone 上。捕獲的每個表情從起始到中止都會被存成一個單獨的文本文件，而且能夠在捕獲應用程序中命名或重命名。
• 我經過 USB 將文本文件從 iPhone X 複製到桌面。
• 爲了導入到 Maya 中，捕捉的數據須要從新格式化，所以我編寫了一個簡單的桌面應用程序來實現這一點。它可以獲取所選的文本文件並將它們轉換爲 Maya .anim 文件。
• 我將 .anim 文件導入到 Maya 和 voila 中，你的角色會模仿你在捕捉過程當中在 iPhone 看到的本身的樣子。

據斯特拉斯伯格所說，他看到數據中出現了幾個小漏洞，認爲多是他的代碼所形成的。此外，儘管捕獲發生在 60 幀每秒，可是這個過程目前呈如今 30 幀每秒，因此你能夠看到一些質量上的損失。根據斯特拉斯伯格的說法，這一點在「馬脣」部分中最爲顯著。

「這個系統真正的美妙之處在於它很是快和容易捕捉(就在你的手機上)，而後導入到 Maya 或遊戲引擎中，」斯特拉斯伯格寫道：「在任什麼時候候都沒有涉及到真正的處理過程，數據看起來也很乾淨，而且能夠直接經過手機來使用未經修改的數據。」

下一步

斯特拉斯伯格但願能將 iPhone X 安裝在頭盔上，而後同時用 Xsens 套裝進行全身運動，同時還能人臉捕捉。

「我很是有信心，經過調整形狀融合變形器的參數雕塑造型，以及添加適當的皺紋貼圖，能夠在臉部動畫時使皮膚變形，從而可以顯着改善 beby 這個角色。」斯特拉斯伯格寫道：「一樣，使用捕捉到的數據來驅動次級混合變形，表情將感受更有活力和生動。」

---

掘金翻譯計劃 是一個翻譯優質互聯網技術文章的社區，文章來源爲 掘金 上的英文分享文章。內容覆蓋 Android、iOS、前端、後端、區塊鏈、產品、設計、人工智能等領域，想要查看更多優質譯文請持續關注 掘金翻譯計劃、官方微博、知乎專欄。