近日，第一屆網易集團創新獎評選落下帷幕，網易智企“逼近人耳極限-音頻通話”項目從眾多參賽作品中脫穎而出，榮獲“0-1創新獎”三等獎。

此次獲獎的項目誕生于網易智企旗下網易云信的音頻實驗室。從2020年初至今，音頻實驗室團隊在穩定的音頻通信質量基礎之上，不斷的進行探索和創新，“從0到1”成功研發和落地了多個創新算法，包括了實時 AI 音頻降噪、Noise Injection、移動端雙講檢測、實時語音 3D 音效、實時智能音樂場景檢測等。

其中，實時語音 3D 音效在?RTC 行業內屬于首創，不僅實現了實時的 3D 空間音效，還加入了距離衰減以及房間建模特性。

很多朋友知道空間音效是因為“吃雞”等第一人稱射擊類游戲場景，但是空間音效是如何實現的？目前有哪些主流方案？可以應用于什么場景？對產品甚至行業有什么價值？

今天，我們通過8問8答，一篇文章讓你全面了解空間音效。

本篇文章包含以下3個部分：

#01

通用篇：小白也能看懂

Q1 什么是空間音效？

Q2 如何聽到空間音效？

Q3 空間音效的基本原理是什么？

Q4 空間音效的效果受哪些因素影響？

#02

技術篇：大牛了解一下

Q5 空間音效的技術難點主要在哪里？

Q6 空間音效目前有哪些主流方案？

#03

場景篇：問價值？看這里就對了！

Q7 空間音效具備什么樣的特點和優勢？

Q8 空間音效可以應用于哪些場景？

通用篇

小白也能看懂

Q1?什么是空間音效？

維基百科是這樣介紹的：3D 音效也稱空間音效（Spatial Sound），是一套可以操控立體聲揚聲器、環繞聲揚聲器、揚聲器陣列或者耳機所產生聲音的音效。它可以將音源虛擬成從三維空間特定位置發出，包括聽者水平面的前后左右，以及垂直方向的上方或下方。

本質上，空間音效就是基于人耳的一些特殊心理聲學效應，通過一些聲學相關算法計算模擬，仿造出似乎存在但實際是虛構的聲音。

（網易云信 3D 音效，建議帶上耳機播放）

例如游戲中，敵人偷偷出現在你左后方時的腳步聲，同伴在你右邊換彈夾的聲音，左邊窗戶被打碎的聲音，和右前方手榴彈的爆炸聲。

Q2?如何聽到空間音效？

事實上，我們可以通過很多種方式實現聽到空間音效的目的，比如使用揚聲器或耳機。這里根據使用目的、應用場景的不同，總結了4種方式：

1.使用多個揚聲器

創建空間音效的一種方法是在一個空間中放置多個揚聲器，當通過環繞聲系統聆聽電影配樂或音樂時，可以將單個元素平移到與聆聽者頭部相同平面上的任何位置。對話、音樂和音效似乎來自揚聲器或介于兩者之間的任何地方。這是電影院以及家庭影院常用的解決方案。

（圖源見參考文獻）

2. 使用串擾消除技術的條形音箱或立體聲揚聲器

如果你無法安裝多個揚聲器，但想擁有一個家庭影院，這可能是性價比更高、更方便的選擇。

使用串擾消除技術的智能條形音箱目前已經可以提供完整的 3D 體驗。串擾消除技術在用揚聲器渲染雙耳信號方面起著重要作用，它主要是通過預失真濾波器，讓揚聲器播放的聲音在特定聲學傳輸路徑上面產生相位抵消。

簡單說來，就是從右揚聲器傳到左耳、從左揚聲器傳到右耳的聲音被抵消。串擾消除濾波器應根據頭部位置實時更新，因此需要頭部跟蹤以達到最佳運行效果。

（圖源見參考文獻）

3. 使用靜態雙耳混音的耳機

在使用耳機的情況下，可以基于上混或者 diffuser 濾波器等技術，產生多聲道音源，然后對各個聲道數據進行 HRTF 卷積濾波，從而增加聲音的方位感。適當結合混響效果器的使用，可以產生特定 3D 聲場效果。該方法的一個主要優勢在于可以消除“頭中效應”，適用于游戲以及電影場景，可以帶來一定的沉浸感。華為手機常見的 histen 音效中的 3D 沉浸以及 3D 宏大模式，主要是基于這類技術實現。

4. 結合使用頭部跟蹤和頭部鎖定音頻

雙耳聲音的耳機通常聽起來并不真實，部分原因是當你轉動頭部時它不會改變，因此頭部追蹤是非常重要的。例如，使用光學相機方法或陀螺儀傳感器跟蹤你頭部的位置和方向。雙耳渲染可以整合你的動作，這意味著可以根據你的頭部旋轉和位置來更新渲染。

（圖源見參考文獻）

蘋果就是通過 AirPods Pro 內置的加速傳感器和陀螺儀，對佩戴者的頭部進行實時追蹤，當頭部移動時，可以對數據進行重新計算，以便佩戴者聽到的環境音效與最初的效果一致。除了可以對佩戴者的頭部實時追蹤外，AirPods Pro 的傳感器還能夠追蹤頭部和設備之間的運動數據，并且支持數據對比，以確保用戶在乘坐地鐵或公交遭遇到緊急剎車的狀況時，環繞音效不會中斷。

Q3?空間音效的基本原理是什么？

現實生活中，我們所聽到聲音是存在方向和距離的，并且聲源本身也是存在一定的寬度。不同方向、距離、寬度的聲音共同組成了我們所聽到聲音的聲源定位。

而空間音效一般利用頭部相關傳輸函數（HRTF）和聲波空間卷積，模仿自然聲波的傳播，使其仿佛來自三維空間中的一個點。

頭部相關傳輸函數（HRTF）可以用來描述你的頭部和耳朵對你所感知到的聲音的影響。來自不同方向的聲音分別到達兩只耳朵時，會具有輕微的相位和頻率上的差異，這個差異能夠讓我們本能地定位到聲源。

簡單來說，HRTF 就是試圖模擬我們人耳獲取聲音的模型，并且通過這個模型虛擬任意聲源對人耳所造成的感覺。

因此，HRTF 首先就需要測量眾多人耳的數據，通過這些數據建立起黑盒子的聲學模型，其關鍵就是如何測得較為準確的 HRTF 數據，以及如何建立起比較適合的相關模型。

Q4?空間音效的效果受哪些因素影響？

第一個難以避免的因素就是方向。

當發聲源在我們的右側時，聲波通常是先抵達我們的右耳，然后才到達左耳，而這些小小的時間差異，便足以讓大腦判斷，聲音是來自于我們的右方，這就是 ITD（Interaural time difference，雙耳時間差），而右耳因為直接接收到聲波，所以音量會略大過左耳，加上左耳所接收到的聲音，有部分是從外部的反射及繞射而來的，因此會導致音色發生變化，這就是 ILD（interaural level differences，雙耳聲強差）。此外，人是最大的變量。我們聽聲音時，不可能保證我們的頭和耳朵是一動不動的。ITD、ILD 以及人帶來的影響形成 HRTF，而耳朵、頭部以及肩膀的影響也是 HRTF 需要個性化的原因。

（圖源：網絡）

第二個因素是距離，包括主觀響度感覺、高頻的衰減、頭部對聲音的影響、反射聲等。另外，多普勒效應（波長或頻率會因為人與聲源的相對運動而產生變化）也會影響空間音效。

第三個因素是環境，例如反射、混響、吸收、障礙、傳播、衍射等。

最后，還有一些其他因素，例如聽音者往往混淆前方聲像和后方聲像，而視覺輔助以及移動往往會增強定位效果等等。

技術篇

大牛了解一下

Q5?空間音效的技術難點主要在哪里？

第4道問題中影響空間音效效果的因素，也決定了空間音效的技術難點，這里我們主要分享以下3點：

1. 高質量 HRTF 數據庫的構建

為確保音源從空間任意位置傳遞到人耳的特性均被準確記錄，因此需要盡可能多的在不同距離，不同角度上進行測量，最終導致采集到的 HRTF 數據庫比較龐大，在特定應用場景會受到限制。

研究表明，聲音的方向信息與聲音到達人的雙耳時間差，雙耳強度差相關性比較高，同時也會受到外耳耳廓，內耳耳道以及肩膀寬度的影響。這直接導致無法創建一個完美適用于所有人的單一 HRTF 數據庫。

2. 距離感的構建

人耳可以基于響度的大小以及頻率成分的差異，分辨出聲音的遠近。另外，聲源從遠及近或者由近及遠的過程中，人耳感受到的聲音頻率會發生變化，也就是所謂的多普勒效應。在開發空間音頻時，需要開發適當的算法來模擬聲音在傳播過程中隨距離的衰減情況，以及聲源在移動過程中的多普勒效應。

3. 聲學環境的構建

聲音在空間中傳播可以類比光的傳播。當聲音在傳播過程中遇到墻壁時，會產生反射，同時墻體材料不同，聲音還會被一定程度的吸收。針對一個特定的三維房間，聲音從某個點傳播到聽音者的聲音，既有直達聲，也有經過房間一次反射吸收之后的聲音，也有耳朵甚至是多次反射之后傳遞過來的聲音。如果高效的對于這種聲音在特定環境中的傳播進行建模，是一個比較復雜和有挑戰的問題。

Q6?空間音效目前有哪些主流方案？

1. 基于多聲道的 3D 音頻方案。

該方案是最早也是應用最廣泛的方案。該方案利用布置在空間中的多個揚聲器，直接在特定方向播放聲音，從而到達聲音從空間特定位置發出的效果。基于多聲道的 3D 音頻，在家庭影院中最常見的方案有 5.1 聲道系統和 7.1 聲道系統。5.1 聲道和 7.1 聲道的方案僅僅只能帶來水平面的空間效果，在垂直方向上則沒有效果。

目前，在專業的電影院，已經出現了 11.1 或者 22.1 聲道的回放系統，這些方案通過在不同垂直面上面布置揚聲器，從而改善了高于水平面或者低于水平面等方向的空間效果。

目前常見的多聲道回放解決方案有：杜比 7.1 環繞聲 （Dolby Surround 7.1），杜比數字 5.1 （Dolby Digital 5.1） ，auro 公司推出的 auro9.1 , auro10.1 , auro 13.1 等解決方案。日本 NHK 公司推出了 22.2 的多聲道回放系統。

（杜比 7.1）

2. 基于對象的音頻

目前市場上采用了基于的空間音頻解決方案有杜比全景聲（Dolby Atmos?），DTS:X 的環繞聲系統以及 MPEG-H。

杜比全景聲（Dolby Atmos）是杜比實驗室于 2012 年推出的高級環繞聲標準，通過將前置、側置、后置和天空揚聲器加上復雜的音頻處理和算法相結合，提供高達最高64聲道的環繞聲，增加空間沉浸感。

杜比全景聲技術的核心是空間編碼，聲音信號被分配到空間中的位置而不是特定的通道或揚聲器。

DTS:X 技術是開放式的新一代的編解碼標準，同時也是基于對象的多維空間音頻技術。與現有的環繞聲系統不同，DTS:X 音頻不再受到固定位置的揚聲器擺位或具體聲道信號的束縛，它能根據回放環境的不同進行靈活調試，從而獲得在該環境下最佳的音效表現。它還能夠在觀眾周圍的精確位置點上營造逼真的聲音效果，締造更為豐富的音景。

DTS:X 與 DolbyAtmos 都是采用基于聲音對象的錄制技術。

3.?Ambisonics

該方案在采集端錄制和編碼 ambisonic 格式的音源，在播放時，再根據回放系統的揚聲器布置解碼成為對應的格式。目前市面上有多種支持該格式的音頻采集設備。

（圖源：網絡）

4. 基于雙耳渲染的方案

基于該方案目前在音樂 App 以及消費電子設備中有廣泛應用。例如：蝰蛇音效中的 5.1 全景式、3D 麗音，網易云音樂的鯨云音效等。

場景篇

問價值？看這里就對了

Q7?空間音效具備什么樣的特點和優勢？

1. 空間音效復制了現實生活中聲音的處理方式

我們每天聽到的聲音是復雜的。空間音頻的非凡之處在于它以數字方式再現了我們在現實生活中聽到的聲音。

聲音會根據你離聲源的近或遠而變化，當你傾斜或轉動頭部時，聲音會根據耳朵的方向而變化，你可以感受到聲音的高度。空間音頻打開了全方位的聲音，提供了 3D 聲音景觀。

2. 空間音效提供身臨其境的動態體驗

空間音效讓數字世界更加真實。當你與 3D 圖像進行交互時，聲音也應該讓你感受到空間感，只有這樣才能真真正正的體會身臨其境的感覺。

例如，在玩游戲時，你可能會在穿過黑暗的走廊時聽到頭頂上有空調嗡嗡作響。當你靠近時，聲音會變得更響亮。鳥兒在樹上嘰嘰喳喳，瀑布在遠處轟鳴——所有這一切都將出現在使用空間音頻的郁郁蔥蔥的 3D 環境中。

（圖源見參考文獻）

在日新月異的時代，我們可以感受到的一個趨勢是“沉浸感”，現實和虛擬的深度融合，正在讓人類開啟一個人機交融的“元宇宙”（Metaverse）。空間音頻和類似的沉浸式音頻技術，將會從聲音體驗上，強化“元宇宙”的沉浸感，讓“元宇宙”中的我們，從視覺到聽覺，徹底沉浸。

3. 空間音頻提供了更準確、更清晰的音頻

空間音頻允許我們精確定位聲音的位置并將其與多個來源區分開來，這在遠程溝通的場景中非常有價值。

以視頻會議舉例，視頻會議的局限性凸顯了逼真音頻的重要性。使用空間音效讓我們更容易理解誰在說話。當兩個或更多人同時說話時，也更容易辨認他們在說什么。

在一天的過程中，它確實在減少疲勞和享受對話方面發揮了重要作用。清晰度使實時空間音頻大放異彩。

Q8?空間音效可以應用于哪些場景？

1. 游戲行業

我們所熟知的，是空間音效在 FPS 游戲（第一人稱射擊游戲）的應用。通過使玩家依賴對聲音線索來源的正確判斷，空間音效可以提高玩家在 FPS 游戲中的環境意識。熟練的玩家在游戲過程中僅憑輕微的聲響或技能音效，就能精確定位危險所在，和隊友連麥時，可以通過求助語音準確辨別隊友位置展開救援。

但是不僅限于第一人稱射擊類游戲，作為增強沉浸式體驗的關鍵因素之一，空間音頻可以為絕大部分游戲在一定程度上提升游戲體驗。

例如，通過空間音效，讓手機游戲等小屏幕游戲營造出大游戲的體驗感；以聲音（空間音效）為中心的游戲可以幫助視覺受損的人享受游戲；恐怖游戲可以利用黑暗和缺少能見度，使玩家依賴 3D 聲音線索，從而創造更有沉浸感的體驗。

（圖源：網絡）

此外，傳統的聲音為二維平面，這與 VR 提供的視野是脫節的。頭戴設備（例如 Oculus Rift）與空間音效相結合，可以讓玩家通過頭部轉動來確定聲音的來源方向，從而進一步提升 VR 體驗。

2. 音樂演出

如果你是聽眾，空間音效可以讓你選擇同一場館內不同位置的音效，如果你愿意，你甚至可以體會站在歌手身旁聽音樂的感覺，可以擁有坐在舞臺中央欣賞交響樂的體驗。而這一定程度上解決了現在線上演出缺乏沉浸感的問題。

如果你是創作者，空間音效更是為你帶來無限可能，聲音在自由度上的增強不僅有助于作曲家們在創作時的情感表達，還能夠讓配樂為動作和對話騰出更多的空間。未來會有更多的音樂創作基于“空間音效”來創作，從錄制階段就有針對性的錄音，音樂市場有可能進入一個沉浸式創作的時代。

3. 企業服務

正如第7道問題中提到，空間音效會把空間信息帶入音頻中，使用空間音效一定程度上讓我們更容易知道多人在場的音頻通話場景中，現在是誰在說話。當多人同時說話時，也更容易辨認他們在說什么。提升效率的同時，也減少了溝通的疲勞感。

數字展會和商業展廳也是可能的方向，VR 與空間音效結合，公司員工可以與客戶像面對面一樣介紹展位、溝通交流。真實的 VR 體驗，除了觸感、視覺等感官體驗，空間音效更是必不可少的。

4. 醫療保健

空間音效還可以用于醫療保健，例如，用于運動康復系統 、電子旅行輔助設備和其他輔助設備視障人士的技術，以視障人士為例，空間音效可以作為他們方向感的主要線索，為他們的日常生活提供了較大的便利。

技術的發展瞬息萬變，從單聲道，立體聲，到現在的空間音頻，斑斕的世界也隨之被帶到了我們耳邊。當聲音進入空間環境，它已不僅僅是音頻技術的變革，而是娛樂等眾多生態的基礎構件。為了更好的服務于各行各業的企業客戶，網易云信將于近期正式對外發布實時語音 3D 音效，敬請期待。

參考文獻

• https://www.thepaper.cn/newsDetail_forward_13162631

• https://www.jiqizhixin.com/articles/2017-10-25-5

• https://zhuanlan.zhihu.com/p/92991993

• https://abbeyroadinstitute.nl/blog/spatial-audio-continuing-evolution/

• http://www.yidianzixun.com/article/0Pj54HVb

• https://www.highfidelity.com/blog/3-major-benefits-of-spatial-audio

• https://www.yundongfang.com/Yun12951.html

關于網易云信

集網易21年IM以及音視頻技術打造的融合通信云服務專家，穩定易用的通信與視頻 PaaS 平臺。

提供融合通信與視頻的核心能力與組件，包含 IM 即時通訊、5G 消息平臺、一鍵登錄、信令、短信與號碼隱私保護等通信服務，音視頻通話、直播、點播、互動直播與互動白板等音視頻服務，視頻會議等組件服務。

網易云信服務于網易云音樂、好未來、新東方、科大訊飛、南京銀行等各行各業客戶，已有100w+ 企業開發者接入云信服務。

總結

以上是生活随笔為你收集整理的8问8答，一篇文章读懂空间音效的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。