在視頻或者音頻通話(huà)過(guò)程中，一方面為了減小原始聲音數(shù)據(jù)的傳輸碼率，需要進(jìn)行音頻壓縮，另一方面為了得到更高質(zhì)量的音質(zhì)，需要進(jìn)行音頻處理。如何處理好這兩方面，保證聲音傳播的高真性，是個(gè)技術(shù)活兒！

音頻處理的方法主要包括：音頻降噪、自動(dòng)增益控制、回聲抑制、靜音檢測(cè)和生成舒適噪聲，主要的應(yīng)用場(chǎng)景是視頻或者音頻通話(huà)領(lǐng)域。音頻壓縮包括各種音頻編碼標(biāo)準(zhǔn)，涵蓋ITU制定的電信領(lǐng)域音頻壓縮標(biāo)準(zhǔn)（G.7xx系列）和微軟、Google、蘋(píng)果、杜比等公司制定的互聯(lián)網(wǎng)領(lǐng)域的音頻壓縮標(biāo)準(zhǔn)。（iLBC、SILK、OPUS、AAC、AC3等）。

?

●●●

音頻基礎(chǔ)概念

在進(jìn)一步了解音頻處理和壓縮之前需要知道這些：

（1）音調(diào)：泛指聲音的頻率信息，人耳的主觀感受為聲音的低沉（低音）或者尖銳（高音）。

（2）響度：聲音的強(qiáng)弱。

（3）采樣率：聲音信息在由模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)過(guò)程中的精確程度，采樣率越高，聲音信息保留的越多。

（4）采樣精度：聲音信息在由模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)過(guò)程中，表示每一個(gè)采樣點(diǎn)所需要的字節(jié)數(shù)，一般為16bit（雙字節(jié)）表示一個(gè)采樣點(diǎn)。

（5）聲道數(shù)：相關(guān)的幾路聲音數(shù)量，常見(jiàn)的如單聲道、雙聲道、5.1聲道。

（6）音頻幀長(zhǎng)：音頻處理或者壓縮所操作的一段音頻信息，常見(jiàn)的是10ms，20ms，30ms。

?

●●●

音頻處理基礎(chǔ)

1 噪聲抑制（Noise Suppression）

手機(jī)等設(shè)備采集的原始聲音往往包含了背景噪聲，影響聽(tīng)眾的主觀體驗(yàn)，降低音頻壓縮效率。以Google著名的開(kāi)源框架WebRTC為例，我們對(duì)其中的噪聲抑制算法進(jìn)行嚴(yán)謹(jǐn)?shù)臏y(cè)試，發(fā)現(xiàn)該算法可以對(duì)白噪聲和有色噪聲進(jìn)行良好的抑制。滿(mǎn)足視頻或者語(yǔ)音通話(huà)的要求。

其他常見(jiàn)的噪聲抑制算法如開(kāi)源項(xiàng)目Speex包含的噪聲抑制算法，也有較好的效果，該算法適用范圍較WebRTC的噪聲抑制算法更加廣泛，可以在任意采樣率下使用。

?

2 回聲消除（Acoustic EchoCanceller）

在視頻或者音頻通話(huà)過(guò)程中，本地的聲音傳輸?shù)綄?duì)端播放之后，聲音會(huì)被對(duì)端的麥克風(fēng)采集，混合著對(duì)端人聲一起傳輸?shù)奖镜夭シ?#xff0c;這樣本地播放的聲音包含了本地原來(lái)采集的聲音，造成主觀感覺(jué)聽(tīng)到了自己的回聲。

回聲產(chǎn)生的原理如下圖所示：

以WebRTC為例，其中的回聲抑制模塊建議移動(dòng)設(shè)備采用運(yùn)算量較小的AECM算法，該算法的處理步驟如下圖所示。有興趣的讀者可以參考AECM的源代碼進(jìn)行研究，這里不展開(kāi)介紹了。

3 自動(dòng)增益控制（Auto Gain Control）

手機(jī)等設(shè)備采集的音頻數(shù)據(jù)往往有時(shí)候響度偏高，有時(shí)候響度偏低，造成聲音忽大忽小，影響聽(tīng)眾的主觀感受。自動(dòng)增益控制算法根據(jù)預(yù)先配置的參數(shù)對(duì)輸入聲音進(jìn)行正向/負(fù)向調(diào)節(jié)，使得輸出的聲音適宜人耳的主觀感受。

以WebRTC為例，它的自動(dòng)增益控制算法的基本流程圖如下所示。

4 靜音檢測(cè)（Voice ActivityDetection）

靜音檢測(cè)的基本原理：計(jì)算音頻的功率譜密度，如果功率譜密度小于閾值則認(rèn)為是靜音，否則認(rèn)為是聲音。靜音檢測(cè)廣泛應(yīng)用于音頻編碼、AGC、AECM等。

5 舒適噪聲產(chǎn)生（ComfortableNoiseGeneration）

舒適噪聲產(chǎn)生的基本原理：根據(jù)噪聲的功率譜密度，人為構(gòu)造噪聲。廣泛適用于音頻編解碼器。在編碼端計(jì)算靜音時(shí)的白噪聲功率譜密度，將靜音時(shí)段和功率譜密度信息編碼。在解碼端，根據(jù)時(shí)間信息和功率譜密度信息，重建隨機(jī)白噪聲。

它的應(yīng)用場(chǎng)景：完全靜音時(shí)，為了創(chuàng)造舒適的通話(huà)體驗(yàn)，在音頻后處理階段添加隨機(jī)白噪聲。

●●●

音頻編碼基礎(chǔ)

音頻的另一個(gè)廣泛應(yīng)用的領(lǐng)域：音頻編碼。

首先看一下當(dāng)前應(yīng)用最廣泛的一些音頻編碼標(biāo)準(zhǔn)，如下圖所示。

圖中橫軸是音頻編碼碼率，縱軸是音頻頻帶信息。從圖中我們可以獲得如下幾方面信息。

（1）對(duì)于固定碼率的編碼標(biāo)準(zhǔn)，如G.711或者G.722，圖中采用單點(diǎn)表示，說(shuō)明這兩個(gè)編碼標(biāo)準(zhǔn)是固定碼率編碼標(biāo)準(zhǔn)。其他如Opus、Speex，它們的曲線(xiàn)是連續(xù)的，說(shuō)明這類(lèi)編碼標(biāo)準(zhǔn)是可變碼率的編碼標(biāo)準(zhǔn)。

（2）從頻帶方面看，G.711、G.722、AMR和iLBC等標(biāo)準(zhǔn)適用于narrowband（8khz采樣率）和wideband（16khz采樣率）范圍，針對(duì)普通的語(yǔ)音通話(huà)場(chǎng)景。AAC和MP3適用于fullband（48khz采樣率）范圍，針對(duì)特殊的音樂(lè)場(chǎng)景。而Opus適用于整個(gè)頻帶，可以進(jìn)行最大范圍的動(dòng)態(tài)調(diào)節(jié)，適用范圍最廣。

（3）從標(biāo)準(zhǔn)的收費(fèi)情況看，適用于互聯(lián)網(wǎng)傳輸?shù)膇LBC、Speex和Opus都是免費(fèi)且開(kāi)源的；適用于音樂(lè)場(chǎng)景的MP3和AAC，需要license授權(quán)，而且不開(kāi)源。

?

●●●

結(jié)語(yǔ)

隨著音頻處理和壓縮技術(shù)的不斷發(fā)展，效果更好、適用范圍更廣、性能更高的算法和新的技術(shù)必將不斷涌現(xiàn)，如果你有好的技術(shù)或者分享，歡迎微信后臺(tái)留言，我們一起探討。

——【特別推薦】——

短信效果不好？試試這幾招

總結(jié)

以上是生活随笔為你收集整理的音频处理与压缩技术的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。