苹果耳机AirPods Max(Pro)的空间音频技术,Unity端开源框架下载
?
AIRX三次方會定期為大家推薦一些可移植性強的、可二次開發應用的、可落地實際場景使用的實戰工程源碼分享給大家。另外有優秀的demo或案例推廣、解決方案對接的也可以聯系我們(尾部有聯系方式)。本部分分享的代碼主要是Unity 空間音頻(AirPods Pro(Max))
不管是AirPods Pro,還是新出AirPods Max,支持動態頭部追蹤的空間音頻功能可在觀看大片時,帶給你劇場般的環繞聲體驗。利用內置的陀螺儀和加速感應器,AirPods Max 能與 iPhone 或 iPad 配合,追蹤頭部的輕微活動,讓你始終感覺聲音來自設備的方向。
蘋果在iOS 14中發布了Headphone Motion API,可以通過AirPods Pro(Max)兼容耳機訪問頭部跟蹤數據。Unity也公開這個API。使用這個來從蘋果耳機(如AirPods Pro)獲取頭部跟蹤數據到Unity場景中。
Headphone Motion API:
https://developer.apple.com/documentation/coremotion/cmheadphonemotionmanager
下面是一些頭部跟蹤數據的可能用途:
- 用于空間音頻應用的音頻偵聽器旋轉
- 頭像頭部運動
- 自然手勢交互(點頭表示同意)
- 健身跟蹤應用程序
該插件的功能:
- 檢查給定設備上的耳機運動API是否可用
- 耳機連接和斷開連接事件
項目工程代碼:
https://assetstore.unity.com/packages/tools/integration/headphone-motion-179629#description
空間音頻絕對是MR眼鏡必備功能,蘋果一直在研發新的音頻空間格式。就像對ARKit的3D模型(usdz)所做的那樣,Apple正在開發一種新的音頻格式,即使在用戶移動,戴著“ Apple Glass ”或其他AR設備時,也可以更輕松沉浸式地在用戶周圍放置“3d聲音”。
以前已經證明Apple在為AR制作高分辨率視頻圖像,現在它也致力于與之配套產生高質量的音頻。在新的專利申請中,該公司正在研究與空間音頻有關的工作。
具體來說,Apple希望建立一種音頻格式,例如.MP3或.AAC,并結合了AR所需的額外空間信息。該格式不僅需要包含實際的音頻,而且還遠遠超出在立體聲圖片的左側還是右側播放元素的范圍。蘋果以前曾與皮克斯合作開發一種名為USDZ的格式,該格式用于將音頻放置在用戶周圍的3D空間中。
“在增強現實(AR),虛擬現實(VR)和混合現實(MR)應用程序中產生三維(3D)聲音效果是具有挑戰性的……因為現有的音頻格式最初是為在物理環境中產生3D聲音而設計的具有固定的揚聲器位置和固定的聽眾。”
蘋果將AR,VR和MR統稱為“模擬現實”(SR),并表示希望在許多現有3D音頻格式的基礎上發展。例如,旨在產生3D聲音的空間音頻格式包括MPEG-H 3D音頻標準,HOA空間音頻技術和DOLBY ATMOS環繞聲技術。
蘋果公司提出的解決方案是創建一種格式,該格式類似于.m4v和.mp4是將不同元素組合在一起的格式。對于蘋果公司對空間音頻的新要求,該公司建議創建一個音頻資產庫,其中包括資產元數據,使模擬現實(SR)應用程序開發人員能夠為SR應用程序編寫聲音。”
蘋果公司說:“音頻經過了格式化,包括音頻數據,這些數據編碼了能夠被編入SR應用程序的聲音,以及資產元數據,不僅描述了聲音的編碼方式,而且還描述了SR環境中聽眾的感受。
另外Facebook Reality Labs研究小組之前也分享了一些關于AR的音頻項目。該小組的目標是將技術融入到AR眼鏡中,通過在嘈雜的環境中輕松隔離對話聲音,增強你的聽力,并能夠重現虛擬聲音,讓它們看起來像是來自你周圍的真實世界。自定義的HRTF是提供這種體驗的關鍵,它是每個人根據頭部和耳朵形狀聽到聲音的獨特方式的數字版本,但這個過程既耗時又昂貴。該團隊正在研究一種可擴展的解決方案,可以從你的耳朵的一張簡單照片生成精確的HRTF。
不管是蘋果還是FaceBook,都在一步步圍繞ARVR來迭代相關技術,未來的AR眼鏡或是AR應用也會因為這些細節技術(空間音頻等)更加沉浸、更加現實,帶來更好的用戶體驗!
總結
以上是生活随笔為你收集整理的苹果耳机AirPods Max(Pro)的空间音频技术,Unity端开源框架下载的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: nth_element()
- 下一篇: 物竞党的福利来啦~如何学物理竞赛获得省一