蘋果耳機AirPods Max（Pro）的空間音頻技術，Unity端開源框架下載

公衆號[三次方AIRX]：三次方•數字化人才在線教育平臺。幫助Z時代大學生和0-5年職場人得到混合現實、人工智能、遊戲開發、大數據等能力。markdown

AIRX三次方會按期爲你們推薦一些可移植性強的、可二次開發應用的、可落地實際場景使用的實戰工程源碼分享給你們。另外有優秀的demo或案例推廣、解決方案對接的也能夠聯繫咱們（尾部有聯繫方式）。本部分分享的代碼主要是Unity 空間音頻（AirPods Pro（Max））app

不論是AirPods Pro，仍是新出AirPods Max，支持動態頭部追蹤的空間音頻功能可在觀看大片時，帶給你劇場般的環繞聲體驗。利用內置的陀螺儀和加速感應器，AirPods Max 能與 iPhone 或 iPad 配合，追蹤頭部的輕微活動，讓你始終感受聲音來自設備的方向。框架

蘋果在iOS 14中發佈了Headphone Motion API，能夠經過AirPods Pro（Max）兼容耳機訪問頭部跟蹤數據。Unity也公開這個API。使用這個來從蘋果耳機(如AirPods Pro)獲取頭部跟蹤數據到Unity場景中。oop

Headphone Motion API：大數據

developer.apple.com/documentati…編碼

下****面是一些頭部跟蹤數據的可能用途:人工智能

用於空間音頻應用的音頻偵聽器旋轉
頭像頭部運動
天然手勢交互(點頭表示贊成)
健身跟蹤應用程序

該插件的功能：spa

檢查給定設備上的耳機運動API是否可用
耳機鏈接和斷開鏈接事件

項目工程代碼：插件

assetstore.unity.com/packages/to…設計

空間音頻絕對是MR眼鏡必備功能，蘋果一直在研發新的音頻空間格式。就像對ARKit的3D模型（usdz）所作的那樣，Apple正在開發一種新的音頻格式，即便在用戶移動，戴着「 Apple Glass 」或其餘AR設備時，也能夠更輕鬆沉浸式地在用戶周圍放置「3d聲音」。

之前已經證實Apple在爲AR製做高分辨率視頻圖像，如今它也致力於與之配套產生高質量的音頻。在新的專利申請中，該公司正在研究與空間音頻有關的工做。

具體來講，Apple但願創建一種音頻格式，例如.MP3或.AAC，並結合了AR所需的額外空間信息。該格式不只須要包含實際的音頻，並且還遠遠超出在立體聲圖片的左側仍是右側播放元素的範圍。蘋果之前曾與皮克斯合做開發一種名爲USDZ的格式，該格式用於將音頻放置在用戶周圍的3D空間中。

「在加強現實（AR），虛擬現實（VR）和混合現實（MR）應用程序中產生三維（3D）聲音效果是具備挑戰性的……由於現有的音頻格式最初是爲在物理環境中產生3D聲音而設計的具備固定的揚聲器位置和固定的聽衆。」

蘋果將AR，VR和MR統稱爲「模擬現實」（SR），並表示但願在許多現有3D音頻格式的基礎上發展。例如，旨在產生3D聲音的空間音頻格式包括MPEG-H 3D音頻標準，HOA空間音頻技術和DOLBY ATMOS環繞聲技術。

蘋果公司提出的解決方案是建立一種格式，該格式相似於.m4v和.mp4是將不一樣元素組合在一塊兒的格式。對於蘋果公司對空間音頻的新要求，該公司建議建立一個音頻資產庫，其中包括資產元數據，使模擬現實（SR）應用程序開發人員可以爲SR應用程序編寫聲音。」

蘋果公司說：「音頻通過了格式化，包括音頻數據，這些數據編碼了可以被編入SR應用程序的聲音，以及資產元數據，不只描述了聲音的編碼方式，並且還描述了SR環境中聽衆的感覺。

另外Facebook Reality Labs研究小組以前也分享了一些關於AR的音頻項目。該小組的目標是將技術融入到AR眼鏡中，經過在嘈雜的環境中輕鬆隔離對話聲音，加強你的聽力，並可以重現虛擬聲音，讓它們看起來像是來自你周圍的真實世界。自定義的HRTF是提供這種體驗的關鍵，它是每一個人根據頭部和耳朵形狀聽到聲音的獨特方式的數字版本，但這個過程既耗時又昂貴。該團隊正在研究一種可擴展的解決方案，能夠從你的耳朵的一張簡單照片生成精確的HRTF。

不論是蘋果仍是FaceBook，都在一步步圍繞ARVR來迭代相關技術，將來的AR眼鏡或是AR應用也會由於這些細節技術（空間音頻等）更加沉浸、更加現實，帶來更好的用戶體驗！