2018年10月19日，LiveVideoStackCon音視頻技術(shù)大會(huì)在北京召開(kāi)。本屆會(huì)議以“技術(shù)開(kāi)啟新‘視’界”為主題，匯集資深的音視頻技術(shù)工程師，探討在音頻、視頻、圖像等技術(shù)的實(shí)踐與思考。網(wǎng)易云信資深音頻算法工程師李備在教育專(zhuān)場(chǎng)中的主題演講上，分享了軟件層實(shí)時(shí)音頻解決方案中，網(wǎng)易云信NRTC針對(duì)WebRTC 源生算法不足的優(yōu)化，以及在音樂(lè)內(nèi)容特殊場(chǎng)景下的新思考。

火爆的市場(chǎng)衍生更豐富的音視頻應(yīng)用場(chǎng)景

互聯(lián)網(wǎng)產(chǎn)品對(duì)實(shí)時(shí)音視頻技術(shù)的需求正在各個(gè)千億、百億規(guī)模的市場(chǎng)中爆發(fā)，并逐漸成為基礎(chǔ)設(shè)施型的重要技術(shù)。李備認(rèn)為，隨著未來(lái)更多可玩性的開(kāi)發(fā)被挖掘，音視頻的應(yīng)用仍有很大增長(zhǎng)空間。此外，實(shí)時(shí)音視頻技術(shù)助推了互聯(lián)網(wǎng)產(chǎn)品的創(chuàng)新和進(jìn)化，賦予了產(chǎn)品以更豐富、更高效的場(chǎng)景表達(dá)，也促進(jìn)了實(shí)時(shí)音視頻技術(shù)自身的進(jìn)化。

實(shí)時(shí)音視頻技術(shù)需要與行業(yè)和應(yīng)用場(chǎng)景緊密結(jié)合。當(dāng)前及未來(lái)，客戶(hù)的核心訴求除了對(duì)穩(wěn)定高效等技術(shù)性能的要求之外，個(gè)性化的需求也在增加。李備介紹，網(wǎng)易云信基于自研的全功能工業(yè)級(jí)的音視頻技術(shù)框架NRTC，進(jìn)行了諸多場(chǎng)景化和針對(duì)性的技術(shù)優(yōu)化，形成了對(duì)實(shí)時(shí)音頻應(yīng)用的觀察與思考。

網(wǎng)易云信NRTC優(yōu)化算法，彌補(bǔ)WebRTC源生算法的局限

李備強(qiáng)調(diào)，盡管當(dāng)前針對(duì)一般行業(yè)的軟件層實(shí)時(shí)音頻框架已經(jīng)日益成熟，但仍然有兩個(gè)較明顯的痛點(diǎn)需要解決：一是在復(fù)雜變化的網(wǎng)絡(luò)狀況中，因?yàn)樾盘?hào)弱或者網(wǎng)路擁塞而造成的延時(shí)或丟包現(xiàn)象；二是隨著終端種類(lèi)和應(yīng)用場(chǎng)景跨度的增加，不同類(lèi)型終端設(shè)備和使用環(huán)境的巨大差異對(duì)整體解決方案的適配度提出了更高的要求。一般行業(yè)基于交流的目的，在對(duì)于實(shí)時(shí)音頻的諸多需求中，首先看重框架的流暢性，低延時(shí)、音量足夠大的同時(shí)沒(méi)有明顯的回聲、噪聲和雜音。在滿(mǎn)足以上需求之外，最后才會(huì)去關(guān)注音質(zhì)、雙講體驗(yàn)以及其他性能。

那么一個(gè)解決以上痛點(diǎn)穩(wěn)定運(yùn)轉(zhuǎn)的音頻框架該如何設(shè)計(jì)？以WEBRTC的音頻框架圖為例：

WebRTC的線程模型與數(shù)據(jù)驅(qū)動(dòng)方式，不同顏色表示不同線程，藍(lán)色箭頭表現(xiàn)數(shù)據(jù)驅(qū)動(dòng)方式

但每個(gè)模塊為了保障實(shí)時(shí)音頻的穩(wěn)定都有很多方面的問(wèn)題需要注意，例如采集回聲非線性、音量大小，以及delay中系統(tǒng)內(nèi)在延遲的大小與變化等，都是平臺(tái)下音頻采集和播放的常見(jiàn)問(wèn)題。

由于音頻前處理的挑戰(zhàn)及WebRTC 源生算法的一些不足等原因，需要技術(shù)人員進(jìn)一步優(yōu)化以提升整個(gè)框架的技術(shù)表現(xiàn)，確保終端用戶(hù)的產(chǎn)品體驗(yàn)。網(wǎng)易云信的全功能工業(yè)級(jí)的音視頻技術(shù)框架NRTC針對(duì)這些不足做了一系列的優(yōu)化。比如，采集回聲的非線性是目前線上采集面臨的普遍問(wèn)題，其穩(wěn)定性會(huì)直接影響回聲的消除和處理效果。WebRTC在這方面的不足使得一些廠商為了服務(wù)回聲消除，不得不以降低音量為代價(jià)。針對(duì)源生WebRTC Delay Estimation 的穩(wěn)定性問(wèn)題，網(wǎng)易云信的NRTC將遠(yuǎn)端和近段的delay進(jìn)行了對(duì)齊優(yōu)化，提升了整體框架消除回聲、雜音和降噪方面的性能。

再譬如，對(duì)于用戶(hù)在溝通中產(chǎn)生的氣聲的采集和處理，也是音頻框架面臨的普遍難點(diǎn)之一。因?yàn)闅饴暟l(fā)音能量低，回聲大，而且能量集中在中高頻，所以正常算法無(wú)法滿(mǎn)足處理需求。以源生WebRTC AEC 和NRTC 在iPhone6P氣音發(fā)音下的表現(xiàn)進(jìn)行對(duì)比，經(jīng)NRTC框架進(jìn)行算法優(yōu)化后的效果明顯更優(yōu)。

網(wǎng)易云信針對(duì)音樂(lè)場(chǎng)景下實(shí)時(shí)音頻解決方案如何取舍的新思考

除了一般性溝通場(chǎng)景下的音視頻應(yīng)用，音樂(lè)內(nèi)容及其應(yīng)用場(chǎng)景對(duì)技術(shù)有更為特殊的要求。李備介紹，與普通場(chǎng)景相比，音樂(lè)內(nèi)容場(chǎng)景對(duì)聲音的要求存在較大差異。譬如，人耳對(duì)于音樂(lè)的感知是更加敏感的，稍有音質(zhì)的下降人耳就能察覺(jué)，這對(duì)于聲音處理提出了更高的要求。而相對(duì)于以交流為目的一般場(chǎng)景，音樂(lè)內(nèi)容對(duì)實(shí)時(shí)音頻技術(shù)要求的優(yōu)先級(jí)也有所不同：穩(wěn)定和音質(zhì)成為第一訴求，降噪和低延遲降級(jí)為次要需求。

由于音樂(lè)內(nèi)容場(chǎng)景的上述特殊性，一般的實(shí)時(shí)音頻框架在音樂(lè)內(nèi)容場(chǎng)景下便會(huì)呈現(xiàn)某些局限性。比如，適用于一般場(chǎng)景的音頻框架的低采樣率、非全頻段處理、對(duì)近端聲音和對(duì)雙講的粗糙處理、碼率設(shè)置較低、簡(jiǎn)單的Audio QoS都不足以支撐音樂(lè)內(nèi)容的特殊場(chǎng)景。再如，在采用更高碼率的情況下，如果還沿用一般的策略，便會(huì)造成比較嚴(yán)重的擁塞或丟包。那么，面對(duì)這些新的需求、痛點(diǎn)和局限性，在資源有限的情況下如何取舍，李備分享了網(wǎng)易云信的四點(diǎn)新思考：

• AGC(auto gain control) 在音樂(lè)內(nèi)容下新需求——因?yàn)橐魳?lè)場(chǎng)景下有情感投入的特殊需求，比如在情感舒緩的時(shí)候音量較低，在情感猛烈時(shí)音量較高。因此，如果在AGC算法中對(duì)能量進(jìn)行相近處理，對(duì)于音樂(lè)內(nèi)容的傳輸是非常大的傷害；
• Howling Control 在音樂(lè)場(chǎng)景下的危害——在對(duì)音樂(lè)demo處理時(shí)，如果對(duì)某個(gè)頻段的回聲做過(guò)分的消除處理，會(huì)對(duì)人的聽(tīng)覺(jué)感受造成很大影響；
• NS(Noise Suppression)在音樂(lè)內(nèi)容下的痛處——有些音樂(lè)場(chǎng)景樂(lè)器眾多，NS處理會(huì)對(duì)某些聲音造成一定的損傷。為了追求對(duì)原聲的極致體驗(yàn)，有些工程師干脆關(guān)閉NS模塊，寧愿忍受噪聲，也不愿損失音樂(lè)效果。李備介紹，網(wǎng)易云信深知這一技術(shù)問(wèn)題給產(chǎn)品和用戶(hù)造成的困擾，在實(shí)踐中不斷優(yōu)化自己的NS算法，力爭(zhēng)給到客戶(hù)更好的技術(shù)服務(wù)；
• TSM(Time Scale Modification)在音樂(lè)場(chǎng)景下的影響——如果將用于一般場(chǎng)景的TSM算法直接照搬到音樂(lè)內(nèi)容場(chǎng)景下，會(huì)導(dǎo)致音樂(lè)內(nèi)容在傳輸時(shí)節(jié)拍的變化，所以需要做出專(zhuān)門(mén)適配音樂(lè)場(chǎng)景的TSM算法。

“在垂直領(lǐng)域愈發(fā)豐富的今天，針對(duì)不同的場(chǎng)景，對(duì)策略進(jìn)行調(diào)整，是每個(gè)底層技術(shù)提供商應(yīng)該思考的問(wèn)題，也是網(wǎng)易云信一直努力的方向。”李備總結(jié)道。讓技術(shù)匹配客戶(hù)，讓服務(wù)更加細(xì)致，既是整個(gè)行業(yè)生態(tài)追求的結(jié)果，也是推動(dòng)行業(yè)生態(tài)進(jìn)步的動(dòng)力。

?

另外，想要獲取更多產(chǎn)品干貨、技術(shù)干貨，記得關(guān)注網(wǎng)易云信博客。

?

總結(jié)

以上是生活随笔為你收集整理的网易云信实时音频框架背后：算法优化带来产品体验全面提升的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。