從無(wú)序中尋找蹤跡，從眼前事探索未來(lái)。

2021 年正值黃金十年新開(kāi)端，CSDN?以中立技術(shù)社區(qū)專業(yè)、客觀的角度，深度探討中國(guó)前沿?IT?技術(shù)演進(jìn)，推出年度重磅企劃?rùn)谀俊笖M合」，通過(guò)對(duì)話企業(yè)技術(shù)高管大咖，跟蹤報(bào)道企業(yè)前沿技術(shù)資訊，分享真知灼見(jiàn)，以點(diǎn)到面折射出中國(guó) IT 技術(shù)最新動(dòng)態(tài)，傳播技術(shù)影響力，幫助開(kāi)發(fā)者與企業(yè)捋清思路，共創(chuàng)數(shù)字經(jīng)濟(jì)新未來(lái)。

實(shí)時(shí)音視頻 RTC（Real-Time Communication），是新冠疫情黑天鵝事件中快速普及并崛起的技術(shù)與行業(yè)。2020年6月聲網(wǎng)納斯達(dá)克上市，年底即構(gòu)獲騰訊5000萬(wàn)美元C輪投資，2021年初馬斯克帶火語(yǔ)音社交Clubhouse。

資本加碼，爆款應(yīng)用，讓實(shí)時(shí)音視頻的想象空間再次被放大。《擬合》將試圖從頭部公司與用戶的觀點(diǎn)中，探知實(shí)時(shí)音視頻的下一個(gè)爆點(diǎn)。

受訪者 | 融云 CTO 任杰

作者 | 宋? 慧

?

音視頻從C端一直火到了開(kāi)發(fā)界。Clubhouse剛爆紅時(shí)，一位工程師僅用72小時(shí)就復(fù)刻了網(wǎng)頁(yè)版的Clubhouse。本期《擬合》專訪了融云CTO任杰，對(duì)于RTC技術(shù)關(guān)鍵點(diǎn)、創(chuàng)新的使用場(chǎng)景有哪些，未來(lái)RTC將引爆什么行業(yè)，開(kāi)發(fā)者的機(jī)會(huì)又在哪里，聽(tīng)聽(tīng)他的看法。

?

融云CTO 任杰

?

RTC的新挑戰(zhàn)

在RTC普及之前，高大上的視頻會(huì)議和電視電話會(huì)議，需要用到專網(wǎng)和專有硬件。大概在2012年前后，隨著3G、4G網(wǎng)絡(luò)的建設(shè)和WiFi普及，RTC技術(shù)開(kāi)始進(jìn)入互聯(lián)網(wǎng)。不過(guò)，任杰提到，各種手機(jī)、PC等設(shè)備都開(kāi)始進(jìn)入了互聯(lián)網(wǎng)的視頻通信領(lǐng)域，設(shè)備變得不可控。另外，從專有網(wǎng)絡(luò)變成了廣域網(wǎng)和互聯(lián)網(wǎng)以及無(wú)線網(wǎng)絡(luò)、4G網(wǎng)絡(luò)，網(wǎng)絡(luò)也變得不可控。

?

“PC不是為了通信這個(gè)場(chǎng)景進(jìn)行的設(shè)計(jì)，所以在回聲消除、降噪、視頻采集編碼層面都有不同的處理，有很多設(shè)備適配、算法的重新適配，大量細(xì)碎的功能要去做；手機(jī)在無(wú)線網(wǎng)絡(luò)下，丟包和帶寬會(huì)有瞬時(shí)變化，這些是新場(chǎng)景下面臨的新問(wèn)題，我們要重新去解決它，用新算法、新模式去處理它。”任杰說(shuō)。

?

2021年初，W3C（萬(wàn)維網(wǎng)聯(lián)盟）和IETF（互聯(lián)網(wǎng)工程任務(wù)組）宣布WebRTC成為官方標(biāo)準(zhǔn)，任杰認(rèn)為WebRTC被標(biāo)準(zhǔn)化組織接納認(rèn)可，但并不代表著RTC的技術(shù)已經(jīng)成熟。“一個(gè)行業(yè)如果在持續(xù)爆發(fā)和持續(xù)高發(fā)展階段，我們很難說(shuō)它的技術(shù)是成熟的，因?yàn)閳?chǎng)景越來(lái)越多，運(yùn)用的設(shè)備技術(shù)也越來(lái)越多。音視頻編碼在不斷變化，新場(chǎng)景下的網(wǎng)絡(luò)對(duì)抗、機(jī)器學(xué)習(xí)、降噪技術(shù)，都在持續(xù)井噴的發(fā)展過(guò)程中。”任杰如是說(shuō)。

?

新的技術(shù)、場(chǎng)景，也帶來(lái)了新的挑戰(zhàn)。任杰總結(jié)了四個(gè)融云在現(xiàn)階段面臨的RTC挑戰(zhàn)：

?

1、高清視頻：隨著WiFi和5G等基礎(chǔ)設(shè)施的升級(jí)，用戶對(duì)音視頻質(zhì)量要求更高，融云會(huì)跟隨新的編碼標(biāo)準(zhǔn)去提供高質(zhì)量、高碼率、高幀率的視頻體驗(yàn)。

?

2、語(yǔ)音還原度：傳統(tǒng)算法已經(jīng)不能滿足現(xiàn)有高質(zhì)量、高還原度的使用體驗(yàn)與要求，RTC將與AI結(jié)合，研發(fā)降噪、提升智能分辨率、提高整體視覺(jué)清晰度的技術(shù)，這是融云RTC技術(shù)研發(fā)的一大方向。

?

3、大量智能設(shè)備適配：除了安卓，將有大量實(shí)時(shí)操作系統(tǒng)RTOS設(shè)備進(jìn)入RTC領(lǐng)域，而這些設(shè)備有些配置較低，標(biāo)準(zhǔn)參差不齊，都需要RTC廠商做好適配，保證交互體驗(yàn)。

?

4、全球節(jié)點(diǎn)部署，服務(wù)出海開(kāi)發(fā)者：互聯(lián)網(wǎng)市場(chǎng)的人口紅利在逐漸消失，出海開(kāi)發(fā)者的音視頻業(yè)務(wù)需求量很大，融云在做全球節(jié)點(diǎn)的部署，以及更好的調(diào)度算法，確保全球任何一個(gè)地方、任何一種方式接入，都有優(yōu)越的音視頻體驗(yàn)。

?

RTC的三大創(chuàng)新場(chǎng)景

雖然疫情讓RTC極大普及，但是任杰認(rèn)為，疫情本身并未創(chuàng)造新的RTC場(chǎng)景，而是推動(dòng)了音視頻在各類場(chǎng)景和行業(yè)落地，加速了RTC發(fā)展進(jìn)程。

?

他舉例說(shuō)明，在線教育毫無(wú)疑問(wèn)是疫情中被推動(dòng)與廣泛落地的RTC場(chǎng)景。除了k12（kindergarten through twelfth grade，學(xué)前教育至高中教育的縮寫，代指基礎(chǔ)教育）的在線課程外，現(xiàn)在素質(zhì)教育也在向線上遷移。不過(guò)與基礎(chǔ)教育不同的是，素質(zhì)教育涉及經(jīng)驗(yàn)的傳遞和指導(dǎo)，是更加個(gè)人化的過(guò)程，例如音樂(lè)、繪畫，過(guò)程要求比較高。RTC技術(shù)與使用體驗(yàn)感的提升，將有助于素質(zhì)教育的在線化進(jìn)程。

?

教育的另一個(gè)創(chuàng)新場(chǎng)景是在線考試，考試一直是嚴(yán)肅的事，過(guò)程控制更加嚴(yán)格。而因?yàn)橐咔橛绊?#xff0c;考試也開(kāi)始線上化，例如考場(chǎng)設(shè)前置攝像頭、后置攝像頭，并全程錄像，方便監(jiān)督和考試后抽查。

?

除了教育，任杰提到第二個(gè)RTC創(chuàng)新場(chǎng)景將是強(qiáng)互動(dòng)型與娛樂(lè)應(yīng)用。電商直播、共享電影、線上拍賣、3D虛擬形象的語(yǔ)音社交、在線合唱等等，這些強(qiáng)互動(dòng)型應(yīng)用將會(huì)越來(lái)越多，值得開(kāi)發(fā)者從產(chǎn)品層面發(fā)揮想象力。

?

第三個(gè)創(chuàng)新場(chǎng)景在行業(yè)應(yīng)用中，疫情之后需要“無(wú)接觸服務(wù)”各個(gè)行業(yè)，包括政府辦事、金融、保險(xiǎn)、交通、海關(guān)等等領(lǐng)域，都在將辦事、審批服務(wù)過(guò)程轉(zhuǎn)向線上，這些也是RTC非常重要的新場(chǎng)景。

?

當(dāng)AI遇見(jiàn)RTC

對(duì)于RTC和AI、5G等新技術(shù)的融合趨勢(shì)，任杰分別介紹了AI技術(shù)對(duì)音視頻領(lǐng)域四類問(wèn)題的解決辦法。

?

AI智能降噪。比如在線教育場(chǎng)景下，（老師/學(xué)生）敲擊鍵盤、倒水、咳嗽的聲音，過(guò)去的算法對(duì)這些非穩(wěn)態(tài)噪音無(wú)能為力，而AI技術(shù)可以分辨的場(chǎng)景和分辨的噪聲更多，將幫助RTC在降噪方面有較大提升；

?

AI超分處理。在相同帶寬下傳輸?shù)囊曨l圖像，利用AI技術(shù)可以使其在解碼還原后較之前更加清晰；

?

利用AI技術(shù)把不同的視頻場(chǎng)景或者音頻場(chǎng)景分辨與分開(kāi)。對(duì)于靜態(tài)場(chǎng)景編碼、清晰度和幀率的控制，對(duì)于動(dòng)態(tài)場(chǎng)景下編碼和幀率的控制，用AI技術(shù)都可以將其區(qū)分開(kāi)，做不同的處理；以及用AI技術(shù)重構(gòu)帶寬估計(jì)的算法。

?

對(duì)于更遠(yuǎn)的未來(lái)，在全真互聯(lián)網(wǎng)時(shí)代，任杰表示，音視頻從采集到編碼、傳輸、解碼、渲染、互動(dòng)的整個(gè)過(guò)程，將是全真互聯(lián)網(wǎng)必須具備的一大塊能力，而RTC有望成為全真互聯(lián)網(wǎng)的基礎(chǔ)設(shè)施。

?

受訪者簡(jiǎn)介：

任杰：融云CTO，負(fù)責(zé)融云音視頻整體技術(shù)規(guī)劃和演進(jìn)；擁有 20 年以上互聯(lián)網(wǎng)通信領(lǐng)域產(chǎn)品設(shè)計(jì)、架構(gòu)設(shè)計(jì)、技術(shù)研發(fā)經(jīng)驗(yàn)，是移動(dòng)通信領(lǐng)域頂級(jí)技術(shù)專家，致力于為全球開(kāi)發(fā)者提供專業(yè)的互聯(lián)網(wǎng)通信云服務(wù)；加入融云前，曾擔(dān)任神州泰岳集團(tuán)副總裁；原飛信CTO，帶領(lǐng)飛信平臺(tái)從零開(kāi)始到千萬(wàn)在線；曾擔(dān)任微軟中國(guó)顧問(wèn)咨詢部電信行業(yè)負(fù)責(zé)人，帶領(lǐng)團(tuán)隊(duì)完成多個(gè)千萬(wàn)級(jí)項(xiàng)目的實(shí)施。

總結(jié)

以上是生活随笔為你收集整理的融云任杰：强互动，RTC下一个“爆点”场景|拟合的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。