點(diǎn)擊一鍵訂閱《云薦大咖》專欄，獲取官方推薦精品內(nèi)容，學(xué)技術(shù)不迷路！

?

近年來(lái)，實(shí)時(shí)音視頻快速發(fā)展，WebRTC作為實(shí)時(shí)音視頻的標(biāo)準(zhǔn)也快速發(fā)展，從直播到通訊，其應(yīng)用場(chǎng)景也在不斷豐富。如果您關(guān)注實(shí)時(shí)音視頻方向的技術(shù)產(chǎn)品應(yīng)用與創(chuàng)新，本系列文章就將會(huì)為您分享音視頻方向的技術(shù)產(chǎn)品動(dòng)態(tài)，助您第一時(shí)間獲取業(yè)界信息。本文將為你快速解析近期值得關(guān)注的技術(shù)、產(chǎn)品與行業(yè)熱點(diǎn)。

一、騰訊會(huì)議發(fā)布3.0版本

11月4日，2021騰訊數(shù)字生態(tài)大會(huì)上發(fā)布了騰訊會(huì)議3.0版本，下面就分享幾個(gè)小點(diǎn)。

（一）降低人們達(dá)成共識(shí)的成本是騰訊會(huì)議的定位，產(chǎn)品設(shè)計(jì)圍繞產(chǎn)品定位

這個(gè)點(diǎn)深有感觸，人們往往會(huì)說(shuō)小團(tuán)隊(duì)/小公司比較敏捷，是小團(tuán)隊(duì)的人比大公司的人更牛嘛，明顯不是。在大的團(tuán)隊(duì)中達(dá)成共識(shí)的成本是很高的，你要準(zhǔn)備很多內(nèi)容讓協(xié)作的團(tuán)隊(duì)認(rèn)可你的觀點(diǎn)，但有時(shí)候觀點(diǎn)一旦形成，外力是很難扭轉(zhuǎn)的。

（二）騰訊會(huì)議發(fā)布了網(wǎng)絡(luò)研討會(huì)模式

騰訊會(huì)議終于像Zoom和Hopin看齊，補(bǔ)上了網(wǎng)絡(luò)研討會(huì)模式。目前可以以主持人、嘉賓、觀眾身份入會(huì)，單會(huì)議支持5W人參加。而且打通了活動(dòng)報(bào)名，門(mén)票售賣(mài)，自定義會(huì)場(chǎng)主題，會(huì)中互動(dòng)等等環(huán)節(jié)，讓舉辦大型線上研討會(huì)的成本大大降低。去年看到Hopin快速崛起的時(shí)候就在想騰訊會(huì)議會(huì)不會(huì)補(bǔ)齊這部分，今年果然支持了。之前跟國(guó)外一位研究Hopin的投資人聊天的時(shí)候就問(wèn)他怎么看Hopin這么快的崛起，他的答案是：拋開(kāi)疫情的影響之外，Hopin把線上活動(dòng)的每個(gè)流程打磨的都很順暢，真正的做到了線上開(kāi)辦一個(gè)活動(dòng)的閉環(huán)。不確定騰訊會(huì)議有沒(méi)有完成整個(gè)閉環(huán)，具體的體驗(yàn)又是怎樣的？對(duì)國(guó)內(nèi)做活動(dòng)直播的廠商SaaS來(lái)說(shuō)，不得不考慮騰訊會(huì)議的競(jìng)爭(zhēng)， 這個(gè)市場(chǎng)還很大如何做出差異化的競(jìng)爭(zhēng)。

（三）騰訊會(huì)議開(kāi)放平臺(tái)

騰訊會(huì)議升級(jí)開(kāi)放平臺(tái)，開(kāi)放API+SDK+第三方應(yīng)用市場(chǎng)，想要成為辦公協(xié)同SaaS的入口，初期開(kāi)放了招聘類的MOKA、小畫(huà)桌、面唄等SaaS的產(chǎn)品接入。我查了一下Zoom的數(shù)據(jù)，Zoom在疫情初期接入的第三方應(yīng)有有200個(gè)，一年之后這個(gè)數(shù)據(jù)變?yōu)榱?000個(gè)，一年的時(shí)間增長(zhǎng)500%。記得有人說(shuō)過(guò)，一個(gè)好的開(kāi)放平臺(tái)要能長(zhǎng)出超過(guò)這個(gè)平臺(tái)價(jià)值的產(chǎn)品，我們期待騰訊會(huì)議的表現(xiàn)，一個(gè)朋友開(kāi)玩笑說(shuō)：騰訊會(huì)議有Zoom的那味了。

（四）基于深度學(xué)習(xí)的Penguins語(yǔ)音引擎

這個(gè)算是整個(gè)發(fā)布會(huì)的一個(gè)小驚喜，會(huì)議也發(fā)布了基于深度學(xué)習(xí)的語(yǔ)音編解碼方案，可以在6kbps的超低碼率下進(jìn)行高質(zhì)量的語(yǔ)音通話。今年以來(lái)基于深度學(xué)習(xí)的語(yǔ)音編碼方案出來(lái)好幾個(gè)，今年二月微軟推出Satin方案，Google推出Lyra方案，并且開(kāi)源了出來(lái)，幾個(gè)月之后Google又推出SoundStream方案，號(hào)稱比Lyra方案更優(yōu)秀。期待這些方案能更快速的落地。

二、微軟將推出元宇宙產(chǎn)品

11月2日微軟在Ignite大會(huì)上也推出元宇宙的產(chǎn)品預(yù)告，微軟的元宇宙產(chǎn)品還是基于Teams和之前已經(jīng)出的Mesh云服務(wù)。說(shuō)到元宇宙微軟一直在投入，比如HoloLens AR眼鏡，我之前體驗(yàn)過(guò)一次Helolens2，效果很驚艷。但因?yàn)镠elolens較高的售價(jià)以及對(duì)電腦配置的要求很高所以目前的客戶局限在B端。微軟基于Teams的元宇宙產(chǎn)品預(yù)計(jì)2022年上半年推出，用戶將能夠在虛擬世界中共享Office文件和功能，比如PowerPoint面板，用戶可以用虛擬人物或動(dòng)畫(huà)卡通形象出現(xiàn)在視頻會(huì)議中。

今天，你元宇宙了嘛？

三、Firefox啟動(dòng)最大一次WebRTC升級(jí)

Firefox曾經(jīng)是先進(jìn)瀏覽器的代名詞，很多新的特性都會(huì)領(lǐng)先的支持，后因?yàn)镃hrome的份額逐漸增大，Firefox也逐漸走向落寞，很多特性支持的都會(huì)比Chrome慢。在WebRTC方向，Firefox的Bug也越來(lái)越多。不過(guò)最近迎來(lái)了一個(gè)好消息，Firefox即將迎來(lái)最大的一次WebRTC升級(jí)，升級(jí)到M96, 整個(gè)升級(jí)過(guò)程持續(xù)了一年多。

確實(shí)有點(diǎn)唏噓，從曾經(jīng)的領(lǐng)先者到被Chrome超越，到被落下的越來(lái)越遠(yuǎn)。希望Firefox也有一個(gè)光明的未來(lái)。

四、在M96中WebRTC已經(jīng)默認(rèn)打開(kāi)Opus+Red冗余編碼

之前在WebRTC中如果想提升音頻的弱網(wǎng)抗性，能做的就是增加NACK(重傳)和開(kāi)啟Opus的FEC。如今我們有了更多的方案，在M96的WebRTC支持了通過(guò)red來(lái)發(fā)送音頻冗余包來(lái)提升音頻弱網(wǎng)抗性。RTP的RED規(guī)范之前很早就存在，二十多年前就被提出，基本思路就是通過(guò)發(fā)送多余的冗余包，使用RED將一個(gè)或者兩個(gè)冗余音頻幀放入每個(gè)分組中，有時(shí)候也被稱為“帶外FEC”。當(dāng)然，這些都是有代價(jià)的，可以能將你的音頻碼率從30kbps增加到60kbps或者90kbps，不過(guò)跟視頻相比這些碼率的增加并不算大，非常適合音頻優(yōu)先的場(chǎng)景。

在M96中可以通過(guò)setCodecPreferences 方法調(diào)整opus+red的順序來(lái)開(kāi)啟，默認(rèn)Chrome中只會(huì)編碼一個(gè)red冗余包，這樣可以在不過(guò)多增加帶寬的情況下提升弱網(wǎng)抗性。另外可以通過(guò)WebRTC Encoded Insertable stream來(lái)調(diào)整冗余度。github上已經(jīng)有如何使用的demo https://github.com/fippo/opus-fec，另外開(kāi)源的Janus媒體服務(wù)器已經(jīng)支持。

五、WebEX加入cPaaS市場(chǎng)

WebEX是視頻會(huì)議方向的黃埔軍校，Zoom的創(chuàng)始人Eric Yuan，聲網(wǎng)的創(chuàng)始人趙斌，拍樂(lè)云的創(chuàng)始人趙加雨都是出自WebEX。WebEX之前聚焦于企業(yè)內(nèi)部市場(chǎng)，作為在線會(huì)議的鼻祖，不知道是否關(guān)注或者探索過(guò)cPaaS市場(chǎng)，在聲網(wǎng)上市一年之后才緩慢的加入cPaaS市場(chǎng)，這可能就是所謂的創(chuàng)新者的窘境吧。

WebEX這個(gè)階段進(jìn)入cPaaS市場(chǎng)也說(shuō)明原來(lái)的企業(yè)內(nèi)部會(huì)議市場(chǎng)也面臨很大的競(jìng)爭(zhēng)，Zoom的業(yè)務(wù)突飛猛進(jìn)，微軟的Teams來(lái)勢(shì)洶洶，國(guó)內(nèi)的騰訊會(huì)議也逐漸建立起一個(gè)平臺(tái)，還有各種各樣的創(chuàng)新的會(huì)議軟件在參與競(jìng)爭(zhēng)。WebEX還列舉了Gartner的一份報(bào)告，報(bào)告指出到2025年cPaaS市場(chǎng)都會(huì)保持30%以上的年增速，到2025年cPaaS市場(chǎng)市場(chǎng)總值會(huì)達(dá)到217億美元。

六、騰訊云推出5G實(shí)時(shí)遠(yuǎn)程超控方案?——?“騰訊云無(wú)界”

騰訊云We5G正式推出5G遠(yuǎn)程實(shí)時(shí)產(chǎn)品及解決方案，該方案基于5G技術(shù)和騰訊實(shí)時(shí)音視頻(TRTC)，可實(shí)現(xiàn)時(shí)延100ms以內(nèi)的車(chē)輛一對(duì)多幾種遠(yuǎn)程實(shí)時(shí)控制。在兩個(gè)大的場(chǎng)景下非常有用，一個(gè)是輔助駕駛，最新的自動(dòng)駕駛分級(jí)標(biāo)準(zhǔn)中引入遠(yuǎn)程協(xié)助和遠(yuǎn)程駕駛概念，以及遠(yuǎn)程助手和遠(yuǎn)程駕駛。在全自動(dòng)駕駛成熟之前，輔助駕駛會(huì)一直有市場(chǎng)，而遠(yuǎn)程駕駛則是輔助駕駛的一個(gè)很重要的實(shí)現(xiàn)方式。另一個(gè)是高危/復(fù)雜/惡劣環(huán)境作業(yè)，通過(guò)遠(yuǎn)程操控，可以使一線作業(yè)人員遠(yuǎn)離危險(xiǎn)，為一線人員提供安全舒適的作業(yè)環(huán)境。像礦山場(chǎng)景下的無(wú)人礦卡，無(wú)人挖掘機(jī)，無(wú)人推土機(jī)，港口場(chǎng)景下的無(wú)人吊車(chē)，這些都需要遠(yuǎn)程控制/操作的能力。騰訊云已經(jīng)三一重工達(dá)成戰(zhàn)略合作，甚至在生態(tài)大會(huì)現(xiàn)場(chǎng)就可以通過(guò)遠(yuǎn)程操控方案駕駛一輛1500km之外的卡車(chē)。

七、線上虛擬活動(dòng)/辦公平臺(tái)Gather拿到5000萬(wàn)美金B(yǎng)輪融資

11月4日Gather宣布拿到5000W美元的B輪融資，去年知道Gather的時(shí)候認(rèn)為他的定位的視頻會(huì)議場(chǎng)景，只是一個(gè)場(chǎng)景化的會(huì)議產(chǎn)品。目前看產(chǎn)品的定位已經(jīng)超過(guò)了視頻會(huì)議，Gather在試圖把線下辦公，展會(huì)，活動(dòng)搬到線上。目前Gahter上列舉的場(chǎng)景已經(jīng)非常多，可以在上面加入各種房間一起游戲、學(xué)習(xí)、討論。目前整個(gè)產(chǎn)品的數(shù)據(jù)也很不錯(cuò)，有10000多個(gè)團(tuán)隊(duì)將Gather作為自己虛擬辦公室的構(gòu)建平臺(tái)，舉辦了2萬(wàn)多場(chǎng)專業(yè)的會(huì)議活動(dòng)，用戶則超過(guò)了1000萬(wàn)。

八、Zoom支持自動(dòng)生成字幕

Zoom正面臨著很激勵(lì)的競(jìng)爭(zhēng)，前一段時(shí)間開(kāi)始做RTC的PaaS服務(wù)，以147億美元收購(gòu)five9，但最后以失敗而告終。Zoom也在不斷迭代提升其產(chǎn)品的粘性，最近自動(dòng)生成字幕能力現(xiàn)在可用于所有免費(fèi)的Zoom會(huì)議賬號(hào)，目前只支持英文，后續(xù)會(huì)支持其他的語(yǔ)言。

以后我們?cè)诤屯鈬?guó)人開(kāi)會(huì)就再也不怕蹩腳的英文了。

自動(dòng)生成的字幕可以在Zoom視頻會(huì)議或網(wǎng)絡(luò)研討會(huì)上自動(dòng)提供發(fā)言人字幕。若要啟用該功能，需要訪問(wèn)Zoom網(wǎng)絡(luò)門(mén)戶。與會(huì)者仍可以私下要求會(huì)議主持人在會(huì)議期間使用會(huì)議工具欄啟用現(xiàn)場(chǎng)轉(zhuǎn)錄。并且Zoom還支持手動(dòng)字幕以及跟第三方字幕服務(wù)的整合。

所以，騰訊會(huì)議什么時(shí)候支持上這個(gè)功能呢?

九、SharePlay上線

10月26日，Apple推送了iOS 15.1正式版。本次更新修復(fù)了iOS 15.0中無(wú)法通過(guò)Apple Watch解鎖iPhone的bug，同時(shí)還正式上線了FaceTime同播共享（SharePlay），并為iPhone 13Pro系列機(jī)型帶來(lái)了Apple ProRes視頻拍攝功能。

同播共享（SharePlay）可以讓用戶在進(jìn)行FaceTime通話時(shí)，和對(duì)方同步觀看視頻，聽(tīng)音樂(lè)，共享屏幕。

蘋(píng)果利用自己生態(tài)的優(yōu)勢(shì)來(lái)提升自己產(chǎn)品的粘性，目前已經(jīng)看到一些小游戲在嘗試使用SharePlay，相信后面基于SharePlay越來(lái)越多的創(chuàng)新玩法會(huì)涌現(xiàn)。

Android平臺(tái)目前還沒(méi)有類似的玩法和生態(tài)系統(tǒng)，不知后續(xù)是否會(huì)進(jìn)行更新。但不妨礙第三方公司會(huì)推出類似玩法和跨平臺(tái)的方案的體驗(yàn)，但SharePlay利用了蘋(píng)果特有的權(quán)限，第三方的實(shí)現(xiàn)可能很難達(dá)到類似的跨平臺(tái)的體驗(yàn)。

目前可以看到體驗(yàn)共享方向的產(chǎn)品越來(lái)越多，比如K歌體驗(yàn)共享：線下K歌可以與朋友對(duì)唱，及時(shí)聽(tīng)到好友演唱，在超低延遲的加持下，線上K歌可以連麥，獲得無(wú)感知延遲的合唱體驗(yàn)。聽(tīng)歌體驗(yàn)共享：“一起聽(tīng)”是在線聽(tīng)歌中的新的休閑娛樂(lè)模式，讓聽(tīng)歌和社交互動(dòng)完美結(jié)合。當(dāng)兩個(gè)陌生人配對(duì)成功并“一起聽(tīng)”，還可以進(jìn)行實(shí)時(shí)的語(yǔ)音視頻以及其他的互動(dòng)玩法。觀影體驗(yàn)共享：和一起觀影的人討論電影可以增加觀影樂(lè)趣，新技術(shù)驅(qū)動(dòng)下，在線上觀影場(chǎng)景中，逐漸產(chǎn)生了更多的共享體驗(yàn)?zāi)Ｊ健?/p>

同時(shí)也不難想象，未來(lái)會(huì)有更多類似體驗(yàn)共享的應(yīng)用通過(guò)同播共享給自己的APP加入一些新的有創(chuàng)意功能的團(tuán)隊(duì)，這一功能的未來(lái)也是無(wú)可限量。

十、Safari更新導(dǎo)致大量bug

在iOS 15.0 Safari的更新中，增加了很多WebRTC相關(guān)的特性，比如Insertable stream的支持，可以用來(lái)端到端加密，屏幕共享、HTTP3.0的支持，甚至支持在瀏覽器中跟facetime互通。但同時(shí)也出現(xiàn)了很多bug，對(duì)WebRTC影響比較大的是，iOS15.1系統(tǒng)在使用WebRTC推流的時(shí)候會(huì)導(dǎo)致crash，iOS 15.0的safari中websocket如果在服務(wù)端開(kāi)啟了壓縮，會(huì)導(dǎo)致連不上。

十一、WebRTC要實(shí)現(xiàn)SVC了

其實(shí)WebRTC很早就支持了vp9的SVC, 但一直只能通過(guò)命令行開(kāi)啟，并不能默認(rèn)打開(kāi)。后來(lái)SVC成為WebRTC 1.0 API的擴(kuò)展規(guī)范， 現(xiàn)在可實(shí)現(xiàn)完備的SVC支持。SVC在視頻會(huì)議場(chǎng)景中很受用，但也帶來(lái)了不少問(wèn)題，比如在移動(dòng)端開(kāi)啟了SVC后，可能就要放棄硬件編碼，一個(gè)很美好的技術(shù)到真正落地的時(shí)候總會(huì)帶著很多遺憾和取舍。

咨詢了Intel給Chrome做硬件編解碼支持的專家后，了解到這次SVC的實(shí)現(xiàn)并不是那么的完美：“其實(shí)是給av1用的vp9還不理睬這個(gè)api 264只會(huì)支持L1T2和L1T3。然而av1的硬件編碼我只在windows上加了支持，且只會(huì)以后支持L1T2和L1T3。除非你只用軟件編碼”。

現(xiàn)在讓我們靜靜等待SVC，有總好過(guò)沒(méi)有。

十二、兩年后Skype Web版本現(xiàn)在也能在Firefox上使用了

2020年，由于COVID-19的流行，線上視頻會(huì)議這一溝通方式開(kāi)始意外走紅，微軟也跳上了這一行列，這并不奇怪。Skype作為VOIP鼻祖級(jí)別的公司，被微軟收購(gòu)之后反而走向了下坡路，很多人可能已經(jīng)忘記了Skype。微軟的Teams推出之后， 由于跟Office套件的捆綁策略迅速搶占了大量的企業(yè)辦公協(xié)同市場(chǎng)，就在人們以為微軟會(huì)放棄Skype之后，Skype終于讓他的web版本，支持了firefox。

前一段時(shí)間甚至傳出微軟會(huì)重新定位Skype，主打年輕人。那對(duì)于Skype為什么要支持web端，就像是蘋(píng)果終于讓FaceTime支持web端大概思路是一樣，雖然web中WebRTC的體驗(yàn)沒(méi)法跟native的體驗(yàn)相比，但web所具有的一大優(yōu)勢(shì)就是不用下載，人人往往低估了這一優(yōu)勢(shì)，個(gè)人的看法是當(dāng)web端的功能或者體驗(yàn)?zāi)苓_(dá)到native的70%的時(shí)候，人們會(huì)積極的擁抱web的版本。

十三、Edge瀏覽器將支持GeForce Now服務(wù)

自從微軟將Edge從其自制的EdgeHTML引擎切換到Chromium之后，對(duì)WebRTC的支持越來(lái)越好，最近Edge瀏覽器將支持GeForce Now服務(wù)，XBox玩家可以把他們的PC游戲通過(guò)Edge瀏覽器串流到主機(jī)游戲上玩， 看起來(lái)這是一個(gè)基于WebRTC的局域網(wǎng)云游戲，好奇他們?cè)诰钟蚓W(wǎng)下基于WebRTC的云游戲可以做到端到端多少毫秒的延遲。

值得一提的是，今年9月的Edge瀏覽器更新，還添加了對(duì)另外一個(gè)云服務(wù)——谷歌Stadia的支持，允許玩家在Xbox主機(jī)上使用Edge瀏覽器在谷歌Stadia上玩游戲。

持續(xù)關(guān)注云游戲的發(fā)展。

十四、ClubHouse上線支持Replay功能

作為最火的音頻直播產(chǎn)品ClobHouse依舊保持比較快的迭代能力，最近支持Replay能力，說(shuō)的通俗一點(diǎn)就是支持直播的回放能力。ClobHouse在回放的能力之上又做了一些創(chuàng)新，可以讓房間創(chuàng)建者在直播結(jié)束之后看到誰(shuí)在聽(tīng)一個(gè)房間的回放，還可以讓他們與其他沒(méi)有實(shí)時(shí)收聽(tīng)的用戶聯(lián)系。回放能力雖然已經(jīng)被應(yīng)用的很多，但我比較好奇的是如果支持了回放能力就跟以前的博客有什么區(qū)別呢？這個(gè)問(wèn)題可以延伸到直播和短視頻的對(duì)比上，直播的創(chuàng)作成本很低，短視頻的創(chuàng)作成本較高，但單位時(shí)間內(nèi)信息密度明顯直播小于短視頻很多，目前短視頻的消耗時(shí)長(zhǎng)也明顯高于直播。

ClubHouse的音頻直播的空間有多大呢？我簡(jiǎn)單的搜索了一下Clubhouse的Google Trends，最近半年搜索量是逐漸下降的，祝ClubHouse好運(yùn)。

十五、WebOBS直播推流工具要流行起來(lái)了?

OBS一直是企業(yè)直播/個(gè)人直播的主流的直播推流工具，StreamLab這家基于OBS開(kāi)發(fā)直播工具的廠商也在19年被羅技以8900萬(wàn)美元的現(xiàn)金收購(gòu)。隨著Web端能力越來(lái)越強(qiáng)大，比如WebGPU、WebCodecs、WebTransport、WebAssembly，這些技術(shù)的出現(xiàn)讓在Web端進(jìn)行復(fù)雜的音視頻處理、合流、美顏、人像分割等等成為了可能。

十六、騰訊云Penguins AI-Codec超低碼率高清語(yǔ)音編解碼解密

騰訊會(huì)議發(fā)布的Penguins音頻編解碼器，也與研發(fā)人員交流了行業(yè)情況。目前微軟的Satin音頻編碼號(hào)稱在Teams中1v1通過(guò)場(chǎng)景中落地，Google的SoundStream還沒(méi)有看到具體的落地消息。

很開(kāi)心的是看到騰訊在這個(gè)方向其實(shí)走在了前列。

摘抄文中的一段話非常認(rèn)可：5G乃至未來(lái)更強(qiáng)的通信技術(shù)發(fā)展會(huì)帶來(lái)更豐富的帶寬資源，但人們對(duì)實(shí)時(shí)音視頻體驗(yàn)的追求也是無(wú)止境的。我們不僅需要聽(tīng)得清，還需要聽(tīng)得真。對(duì)于實(shí)時(shí)的全頻帶音頻傳輸、空間音頻技術(shù)乃至聲場(chǎng)重建等技術(shù)，高效率編解碼器可以為這些技術(shù)帶來(lái)更可靠有效的基礎(chǔ)支持；而且在現(xiàn)實(shí)情況中總是會(huì)有弱網(wǎng)情況的出現(xiàn)，通過(guò)高效編解碼節(jié)省的資源可以用于抗性提升，保障實(shí)時(shí)通信的穩(wěn)定性。因此，Penguins及其未來(lái)演進(jìn)版本的提出，將有非常廣闊的應(yīng)用前景。

十七、Ringcentral：給你的會(huì)議增加AI能力

Ringcentral近日更新了他們的會(huì)議產(chǎn)品，這次主打AI能力。這幾個(gè)能力包括：

• 自動(dòng)跟隨能力。當(dāng)你進(jìn)行移動(dòng)的時(shí)候你的采集畫(huà)面的焦點(diǎn)會(huì)跟追你的面部；

• 低光補(bǔ)償。當(dāng)你在昏暗環(huán)境下開(kāi)會(huì)的時(shí)候，AI算法會(huì)自動(dòng)進(jìn)行燈光補(bǔ)償；

• 視頻濾鏡。可以為你的畫(huà)面增加更有趣的效果。

無(wú)獨(dú)有偶的是Zoom前一段時(shí)間剛增加了自動(dòng)翻譯能力，Google Meet前一段時(shí)間也增加了燈光自動(dòng)補(bǔ)償?shù)饶芰?#xff0c;Around也增加了自動(dòng)跟隨和智能降噪等能力。在視頻會(huì)議越來(lái)越同質(zhì)化的現(xiàn)在，各家產(chǎn)品不得不開(kāi)始進(jìn)行微創(chuàng)新來(lái)增加用戶粘性。

十八、WebRTC M96即將發(fā)布，將廢除Plan B

Plan B是Chrome/Chromium獨(dú)有的實(shí)現(xiàn)，Safari和Firefox一直支持Unified Plan，Chrome在M72已經(jīng)支持Unified Plan。從某種程度上說(shuō)如果后續(xù)再開(kāi)發(fā)WebRTC可以不考慮Plan B的支持了，因?yàn)閁nified Plan的支持已經(jīng)非常好。

Plan B和Unified Plan各有優(yōu)劣，在只有一路音頻和視頻的時(shí)候這兩種方案并沒(méi)有什么區(qū)別，在多路音視頻的時(shí)候Unified Plan每一路音視頻都會(huì)有一個(gè)Mline，這樣就提供了很大的靈活性，可以針對(duì)每一路音視頻協(xié)商不同的能力，比如我們有一路攝像頭和一個(gè)屏幕共享，就可以讓屏幕共享使用av1編碼，而攝像頭使用h264。

作為多年跟SDP打交道的開(kāi)發(fā)者不得不說(shuō)SDP Sucks，SDP真的是一個(gè)很糟糕的設(shè)計(jì)，它是一個(gè)標(biāo)準(zhǔn)但又是一個(gè)相對(duì)靈活的標(biāo)準(zhǔn)，每家的實(shí)現(xiàn)可能又不一樣，不得不花費(fèi)很多精力進(jìn)行SDP的適配，如果你還有沒(méi)有被SDP的適配困擾過(guò)某種意義上你可能還沒(méi)有完全了解WebRTC。但標(biāo)準(zhǔn)一旦確立，別人撼動(dòng)它也很難，微軟曾經(jīng)搞出來(lái)ORTC標(biāo)準(zhǔn)來(lái)屏蔽SDP的協(xié)商問(wèn)題，最終也還是失敗了。

十九、Unreal Engine即將支持WebRTC通過(guò)WHIP推流

Unreal Engine較早就支持WebRTC，Unreal Engine基于WebRTC開(kāi)發(fā)了他們的Pixel Streaming服務(wù)，讓用戶可以在云端服務(wù)器上運(yùn)行虛幻引擎應(yīng)用程序，通過(guò)WebRTC將渲染的幀和音頻流送到瀏覽器和移動(dòng)設(shè)備上。場(chǎng)景非常像云游戲或者云渲染。

國(guó)外有位開(kāi)發(fā)者M(jìn)urillo(開(kāi)源WebRTC媒體服務(wù)器Meddoze的作者) 給Unreal Engine增加了使用WebRTC通過(guò)WHIP的支持。支持WHIP標(biāo)準(zhǔn)之后，可以讓一些對(duì)WebRTC和音視頻不熟悉的開(kāi)發(fā)者也可以很方便的使用WebRTC推流，這將把云游戲/云渲染的開(kāi)發(fā)成本降低很多。期待這個(gè)PR可以早日合并。

另外需要說(shuō)的是騰訊云的快直播也已經(jīng)支持WHIP協(xié)議推流，后面你可以很方便的從Unreal Engine或者Unity中把渲染好的畫(huà)面推動(dòng)到騰訊云，并做到端到端幾百ms內(nèi)的延遲觀看。

關(guān)于騰訊云快直播的WHIP推流能力，我寫(xiě)了一個(gè)demo放在github上。

二十、WebKit發(fā)布135版本增強(qiáng)音視頻采集,?渲染以及端到端延遲統(tǒng)計(jì)能力

蘋(píng)果在進(jìn)一兩年明顯加大了在Web技術(shù)上的投入，一部分原因可能來(lái)自Chrome的壓力，另一部分原因可能來(lái)自這兩年越來(lái)越多App Store的反壟斷以及30%的收入分成，更具體的原因需要蘋(píng)果自身來(lái)回答了。在最新的版本中我們主要關(guān)注音視頻相關(guān)的更新，新版本支持了requestVideoFrameCallback API，該API可以讓我們統(tǒng)計(jì)采集延遲，端到端網(wǎng)絡(luò)延遲，渲染延遲等數(shù)據(jù)指標(biāo)，Chrome中已經(jīng)支持該API。在WebRTC方面的優(yōu)化則包括延遲的降低，VP9-SVC的增強(qiáng)，以及對(duì)H265編解碼的增強(qiáng)，其他的具體的優(yōu)化可以自行查看。

二十一、Chrome M97 Beta發(fā)布?重磅能力WebTransport發(fā)布

Chrome M97版本進(jìn)入Beta階段，正式版本22年1月4號(hào)發(fā)布，該版本帶來(lái)今年最期待的能力：WebTransport。WebTransport提供低延遲，client和server之間雙向通信的能力。WebTransport提供基于HTTP3實(shí)現(xiàn)的API，自動(dòng)獲得QUIC和HTTP3本身的特性，比如應(yīng)用層的擁塞，避免隊(duì)頭阻塞。雙向通信的能力，多個(gè)傳輸通道復(fù)用一個(gè)連接的能力，能夠很好的替代WebSocket。提供發(fā)送/接受不可靠UDP的能力，這個(gè)是瀏覽器一直欠缺的能力。我之前寫(xiě)過(guò)一篇文章詳細(xì)的結(jié)果過(guò)WebTransport，歡迎查看。

另一個(gè)很多人沒(méi)注意的點(diǎn)是移除了SDES Key Exchange，使用SDES Key Exchange可以繞過(guò)DTLS協(xié)商，使用SDP的方式完成加解密的協(xié)商，使用該方式可以降低WebRTC連接的時(shí)間，以及提高連接成功率，但google認(rèn)為是降低了安全性，在M97中這個(gè)特性被徹底移除了。

另一個(gè)比較重要的能力“Region Capture”進(jìn)入了實(shí)驗(yàn)階段，這個(gè)“Region Capture”可以讓你在屏幕共享的時(shí)候只采集屏幕的某一部分，非常有用的一個(gè)特性，期待早點(diǎn)結(jié)束實(shí)驗(yàn)。

二十二、百度發(fā)布Metaverse產(chǎn)品“希壤”

用戶在使用希壤的時(shí)候需要?jiǎng)?chuàng)建好虛擬的人物形象以及昵稱，生成一個(gè)獨(dú)一無(wú)二的虛擬人物。然后即可進(jìn)入到希壤App內(nèi)構(gòu)造的虛擬世界中，然后通過(guò)屏幕上的搖桿進(jìn)行方位上的走動(dòng)，在該虛擬世界中，用戶可以通往三個(gè)小場(chǎng)景，分別是“馮唐藝術(shù)層”、“百度世界大會(huì)”，以及鮮奶體驗(yàn)館。無(wú)獨(dú)有偶，前一段時(shí)間網(wǎng)易發(fā)布瑤臺(tái)，產(chǎn)品定位為“在虛擬世界，一起工作、學(xué)習(xí)、聚會(huì)”。其他的產(chǎn)品還看到兔子洞云活動(dòng)，tatame虛擬活動(dòng)平臺(tái)，元象唯思也發(fā)布了他們的“XVERSE大世界”，這個(gè)方向會(huì)越來(lái)越熱鬧。

二十三、WebRTC服務(wù)商Daily獲得4000w$ B輪融資

最近WebRTC服務(wù)商Daily宣布獲得4000w$ B輪融資，相比于國(guó)內(nèi)已經(jīng)非常紅海的RTC PaaS領(lǐng)域，國(guó)外才進(jìn)入發(fā)展快車(chē)道。前一段時(shí)間100ms.live宣布拿到450w$融資，提供RTC PaaS服務(wù)，此外Zoom和Webex在今年都推出了RTC PaaS服務(wù)。

Daily的服務(wù)很有自己的特色，主打快速接入，他提供了“prebuild”自帶UI的音視頻通話組件，讓你可以引入一個(gè)js文件就能具備音視頻通話能力，也提供了豐富的restful API來(lái)進(jìn)行房間和用戶的管理。另外Daily主打的一個(gè)場(chǎng)景是在線醫(yī)療和在線問(wèn)診場(chǎng)景，提供全流程的方案。

目前Daily提供的方案都是基于js版本，native也只提供了react-native版本的SDK，看創(chuàng)始人說(shuō)正在開(kāi)發(fā)基于rust版本的SDK，這輪融資之后會(huì)引入多位音視頻領(lǐng)域的人才以及繼續(xù)完善產(chǎn)品。

國(guó)外RTC領(lǐng)域還有機(jī)會(huì)，國(guó)內(nèi)的玩家不妨多多出海去卷。

二十四、Subspace:?構(gòu)建實(shí)時(shí)互聯(lián)網(wǎng)

最近初創(chuàng)的公司Subspace登頂Producthunt，Subspace給自己的定位是構(gòu)建全球?qū)崟r(shí)網(wǎng)絡(luò)，RTC領(lǐng)域的伙伴對(duì)這個(gè)應(yīng)該不陌生，比如騰訊云音視頻的RT-ONE網(wǎng)絡(luò)，聲網(wǎng)的SD-RTN, 都是在為構(gòu)建全球?qū)崟r(shí)網(wǎng)絡(luò)而生。Subspace給出的產(chǎn)品解決方案有三個(gè)，一個(gè)是數(shù)據(jù)包的網(wǎng)絡(luò)加速，第二個(gè)是全球的Turn加速網(wǎng)絡(luò)，第三個(gè)是SIP電話加速。其中第一個(gè)數(shù)據(jù)包的加速其實(shí)上國(guó)內(nèi)這些云廠商都有，只是很多不是專門(mén)為音視頻而生。第二個(gè)全球的Turn加速網(wǎng)絡(luò)，目前已經(jīng)有兩三家提供過(guò)類似的方案，包括twillio，但目前已經(jīng)在twillio官網(wǎng)找不到相關(guān)的產(chǎn)品鏈接了，某種程度上也說(shuō)明這個(gè)點(diǎn)可能并不是那么痛，上個(gè)月也聽(tīng)到Cloudflare要在他的全球200多個(gè)節(jié)點(diǎn)上提供Turn加速服務(wù)。

Subspace的理想是很美好的，要解決的事情一些云廠商巨頭也會(huì)關(guān)注，期待Subspace能提供比大的云廠商更優(yōu)的產(chǎn)品解決方案。

二十五、秒點(diǎn)：遠(yuǎn)控產(chǎn)品創(chuàng)新繼續(xù)

遠(yuǎn)程控制相信大家都不陌生，qq其實(shí)自帶遠(yuǎn)程控制能力，企業(yè)遠(yuǎn)控方向也有很多傳統(tǒng)的玩家，比如國(guó)外的Teamviewer(市值80億$)、Splashtop、Logmein、Remotepc、AnyDesk等等產(chǎn)品，國(guó)內(nèi)有向日葵、oDesk、幫我吧等等產(chǎn)品。這個(gè)方向的傳統(tǒng)的玩家很多產(chǎn)品也很完善了，WebRTC本身的成熟提供了新的創(chuàng)新的可能，IOT方向也有了更多的場(chǎng)景，我們稱之為面向控制的RTC，我也非常看好這個(gè)方向。秒點(diǎn)是我身邊一個(gè)朋友創(chuàng)業(yè)的項(xiàng)目，前云帆加速聯(lián)合創(chuàng)始人扶凱新的創(chuàng)業(yè)項(xiàng)目。

二十六、實(shí)時(shí)音視頻大會(huì)

本周看到國(guó)外一個(gè)新創(chuàng)辦的實(shí)時(shí)音視頻技術(shù)的磊會(huì)——RealTimeConference,?當(dāng)一個(gè)方向的技術(shù)大會(huì)或者行業(yè)大會(huì)的越來(lái)越多的時(shí)候是不是也能說(shuō)明這個(gè)方向也越來(lái)越成熟。

在國(guó)內(nèi)有包老板舉辦的LiveVideoStack, 聲網(wǎng)搞的RTE大會(huì)，國(guó)外還Kranky Geek大會(huì)以及Demuxed大會(huì)。這里重點(diǎn)說(shuō)一下包老板的LVS, 不遠(yuǎn)的將來(lái)LVS就要進(jìn)入美國(guó)市場(chǎng)。

?

?《云薦大咖》是騰訊云加社區(qū)精品內(nèi)容專欄。云薦官特邀行業(yè)佼者，聚焦于前沿技術(shù)的落地及理論實(shí)踐之上，持續(xù)為您解讀云時(shí)代熱點(diǎn)技術(shù)、探索行業(yè)發(fā)展新機(jī)。點(diǎn)擊一鍵訂閱，我們將為你定期推送精品內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的RTC风向标：11月最值得关注的26个热点的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。