采訪講師｜莊澤森

聲網(wǎng)Agora架構(gòu)師，畢業(yè)于復(fù)旦大學(xué)電子工程系，專業(yè)方向是信號(hào)處理和估計(jì)理論，畢業(yè)后一直從事音視頻相關(guān)算法研究和優(yōu)化。2014年加入聲網(wǎng)后，專注于實(shí)時(shí)音視頻方案的架構(gòu)和實(shí)時(shí)網(wǎng)絡(luò)加速相關(guān)技術(shù)的研究，對(duì)擁塞控制算法、丟包對(duì)抗技術(shù)、FEC、jitter buffer等算法等都有相關(guān)經(jīng)驗(yàn)，多年來和團(tuán)隊(duì)一起研發(fā)了聲網(wǎng)一系列關(guān)鍵產(chǎn)品，包括音頻引擎、通信視頻引擎、直播SDK、多人視頻等等。

以下內(nèi)容由LiveVideoStack與莊澤森的采訪整理而成

您目前的工作以及近期關(guān)注的技術(shù)和產(chǎn)品？

莊澤森：目前在聲網(wǎng)專注于傳輸和網(wǎng)絡(luò)相關(guān)算法的研究，同時(shí)，作為架構(gòu)師參與聲網(wǎng)產(chǎn)品和服務(wù)核心質(zhì)量的技術(shù)改進(jìn)。

所以，對(duì)與網(wǎng)絡(luò)相關(guān)算法和技術(shù)有關(guān)的、旨在提升音視頻體驗(yàn)的傳輸和媒體技術(shù)以及機(jī)器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用于音視頻場景和網(wǎng)絡(luò)的技術(shù)，都比較關(guān)注。

您加入聲網(wǎng)的六年間對(duì)音視頻服務(wù)&技術(shù)有了哪些新的理解；在您眼中，聲網(wǎng)在這期間又歷經(jīng)了怎樣的發(fā)展和變化？

莊澤森：深刻體會(huì)到做好實(shí)時(shí)音視頻服務(wù)的不易。實(shí)際網(wǎng)絡(luò)和端設(shè)備的復(fù)雜性與多樣性，對(duì)實(shí)現(xiàn)不卡、不糊和低延遲的音視頻體驗(yàn)有著極大的挑戰(zhàn)；另一方面，越來越多的實(shí)時(shí)音視頻需求，需要我們的服務(wù)支持高并發(fā)，具備高可用性和高可擴(kuò)展性。這都要求我們在技術(shù)上從算法、架構(gòu)到工程不斷迭代，勇攀高度，做到極致。

需要強(qiáng)調(diào)的是，相關(guān)的配套設(shè)施和服務(wù)產(chǎn)品也需要跟上，如質(zhì)量監(jiān)控和透明，以及客戶支持等等。

這些年，聲網(wǎng)團(tuán)隊(duì)規(guī)模一步步從小到大發(fā)展起來，聲網(wǎng)的產(chǎn)品不斷推出，產(chǎn)品線越來越全，業(yè)務(wù)也從一開始的無人問津到現(xiàn)在的每天億級(jí)分鐘數(shù)。這一切進(jìn)步的背后，不變的是團(tuán)隊(duì)對(duì)技術(shù)能力技術(shù)高度的追求、對(duì)音視頻技術(shù)和對(duì)實(shí)際網(wǎng)絡(luò)的不斷探索。

目前為止您所參與的最難忘的項(xiàng)目是什么，可以與LiveVideoStack的讀者分享其中的一兩個(gè)小故事嗎

莊澤森：在聲網(wǎng)的這些年有太多難忘的經(jīng)歷了，這里就說說剛加入聲網(wǎng)時(shí)的情況吧。

那時(shí)我的第一個(gè)項(xiàng)目就是獨(dú)立負(fù)責(zé)音頻網(wǎng)絡(luò)jitter buffer優(yōu)化，這也是當(dāng)時(shí)音頻引擎研發(fā)中的難點(diǎn)之一。

團(tuán)隊(duì)對(duì)引擎的網(wǎng)絡(luò)自適應(yīng)能力要求很高，而我也發(fā)現(xiàn)實(shí)際網(wǎng)絡(luò)jitter情況比想象中復(fù)雜得多，各種網(wǎng)絡(luò)類型和各種網(wǎng)絡(luò)條件，包括設(shè)備和服務(wù)器的處理瓶頸等等，都會(huì)最終表現(xiàn)為不同的jitter。如何做到在這些pattern下有流暢的音頻體驗(yàn)，同時(shí)做到延時(shí)較低，這些都很有挑戰(zhàn)性；而另一方面，那時(shí)我剛從穩(wěn)定的外企來到創(chuàng)業(yè)團(tuán)隊(duì)，一切都是新鮮的也是讓人忐忑的，能否快速適應(yīng)更高效更快速的工作節(jié)奏和氛圍，我心里也是沒有底的。

針對(duì)這些情況，我的做法還是擺正心態(tài)，積極融入團(tuán)隊(duì)，并把注意力轉(zhuǎn)移到技術(shù)上，快速學(xué)習(xí)相關(guān)技術(shù)文獻(xiàn)和paper，同時(shí)進(jìn)行實(shí)際網(wǎng)絡(luò)pattern的抓取和分析。記得當(dāng)時(shí)還寫了一些腳本，對(duì)抓取的數(shù)據(jù)進(jìn)行分析和可視化展示，進(jìn)行算法仿真，并最終代碼實(shí)現(xiàn)，這樣才把第一個(gè)項(xiàng)目比較完美地交付了。

在您的技術(shù)進(jìn)階之路上，給您啟發(fā)最大的是什么？

莊澤森：多年來一直從事技術(shù)工作，可以說有不少人都給了我很大的幫助和引導(dǎo)，比如聲網(wǎng)的資深技術(shù)顧問錢世鍔老師，他也是我上一家公司的導(dǎo)師；再比如現(xiàn)在聲網(wǎng)的首席科學(xué)家鐘聲老師，大家都是相關(guān)領(lǐng)域的專家和學(xué)者，在技術(shù)上和職業(yè)發(fā)展上給了我不少引導(dǎo)，他們對(duì)學(xué)術(shù)的追求和求真的態(tài)度也對(duì)我影響很大。這里邊兒還包括我們的CEO Tony，他對(duì)技術(shù)的熱忱和敏感判斷，以及做事的方法，都給了我很多幫助和啟示。

您現(xiàn)階段正在解決的問題以及您下一階段的研發(fā)目標(biāo)?

莊澤森：現(xiàn)階段主要在做下一代網(wǎng)絡(luò)自適應(yīng)的傳輸和媒體算法研發(fā)，在復(fù)雜的網(wǎng)絡(luò)和應(yīng)用場景下希望可以給出更魯棒更極致的方案，進(jìn)一步提升音視頻體驗(yàn)，應(yīng)對(duì)由于疫情和5G帶來的在全世界范圍井噴的音視頻需求。

音視頻服務(wù)做到“實(shí)時(shí)”并不容易，能請老師與大家分享您對(duì)構(gòu)建實(shí)時(shí)音視頻方案架構(gòu)的相關(guān)經(jīng)驗(yàn)，以及您對(duì)于技術(shù)意義上的“實(shí)時(shí)”的理解?

莊澤森：提到實(shí)時(shí)音視頻，也許很多人都會(huì)想到低延時(shí)，而我想強(qiáng)調(diào)的是不要單看延時(shí)，除了“低延時(shí)”，還有“體驗(yàn)三角形”、“場景”這幾個(gè)關(guān)鍵詞。

音視頻體驗(yàn)包括延時(shí)、流暢度和清晰度，我稱之“體驗(yàn)三角形”。音視頻方案如果只優(yōu)化單一指標(biāo)，事情會(huì)相對(duì)簡單。舉個(gè)例子，假如只看延時(shí)，我們可以在各種網(wǎng)絡(luò)條件下盡量降低視頻碼率，整個(gè)傳輸和媒體方案可以做得很“敏感”，達(dá)到相對(duì)低的延時(shí)。但這樣就犧牲了清晰度，最終體驗(yàn)可能也無法滿足要求。

所以，實(shí)時(shí)音視頻是在低延時(shí)語境下延時(shí)、流暢度和清晰度三者的綜合體驗(yàn)結(jié)果，用現(xiàn)在流行的話說，就是“既要，又要，還要”的表述了。

另一方面，其實(shí)不同的業(yè)務(wù)對(duì)“體驗(yàn)三角形”里三方的要求也不一樣，這就是“場景”的不同帶來要求也不同。比如直播場景，延時(shí)的要求可能降低，而對(duì)清晰度和流暢度則要求很高；通信場景則對(duì)延時(shí)和流暢度的要求很高，清晰度相對(duì)就排在后面了。實(shí)時(shí)音視頻也可以說是滿足場景要求的實(shí)時(shí)音視頻。

所以，實(shí)時(shí)音視頻方案的基礎(chǔ)，是需要一個(gè)在各種網(wǎng)絡(luò)條件下魯棒和高效的傳輸棧，傳輸延時(shí)和throughput兩個(gè)指標(biāo)綜合評(píng)估能做到最佳結(jié)果，同時(shí)有根據(jù)業(yè)務(wù)需求向某個(gè)體驗(yàn)指標(biāo)偏倚的能力，即可以方便地場景化；另一方面，在傳輸棧之上，需要一個(gè)具備網(wǎng)絡(luò)適應(yīng)和對(duì)抗能力的媒體層，如自適應(yīng)網(wǎng)絡(luò)的編碼器，以及優(yōu)化的媒體jitter buffer等等。

您覺得實(shí)時(shí)音視頻場景下目前挑戰(zhàn)較大的技術(shù)難點(diǎn)有哪些，聲網(wǎng)的解決思路是什么？

莊澤森：實(shí)時(shí)音視頻場景下從算法、架構(gòu)到工程，各個(gè)方面都有不少難點(diǎn)和挑戰(zhàn)。如果挑其中較大的難點(diǎn)來說，可能主要在兩個(gè)地方：一個(gè)是隨著疫情的出現(xiàn)和5G技術(shù)的發(fā)展，音視頻服務(wù)的體量極大飆升，如何能撐得起這個(gè)體量，做到支持高并發(fā)，達(dá)到高可用和高可擴(kuò)展；另一個(gè)就是如何在各種網(wǎng)絡(luò)狀況和資源條件下，始終提供極致的實(shí)時(shí)音視頻體驗(yàn)。

對(duì)于第一個(gè)難點(diǎn)，聲網(wǎng)團(tuán)隊(duì)在架構(gòu)設(shè)計(jì)、資源儲(chǔ)備和工程實(shí)現(xiàn)方面下足了功夫，迭代演進(jìn)過程中也一直牢記著這些要求。甚至為了保證服務(wù)，我們會(huì)瞄準(zhǔn)比計(jì)劃的目標(biāo)負(fù)荷更大的負(fù)荷；對(duì)于第二個(gè)難點(diǎn)，聲網(wǎng)在算法和版本上快速迭代，對(duì)整個(gè)音視頻pipeline、各個(gè)層級(jí)、各個(gè)模塊先定義好邊界，然后分別對(duì)具體模塊具體算法不斷探索，快速落地，進(jìn)而迭代。

為什么您選擇在這次LiveVideoStackCon中重點(diǎn)講網(wǎng)絡(luò)傳輸中的擁塞控制算法？

莊澤森：擁塞控制和帶寬估計(jì)是網(wǎng)絡(luò)傳輸里非常關(guān)鍵的部分，算法的設(shè)計(jì)將大大影響整個(gè)傳輸棧的性能和效率，進(jìn)而影響上層業(yè)務(wù)的體驗(yàn)和結(jié)果。而復(fù)雜多樣的網(wǎng)絡(luò)條件、各個(gè)地區(qū)網(wǎng)絡(luò)運(yùn)營的不同以及應(yīng)用場景的不同又對(duì)算法提出了不同的需求，如何有一個(gè)魯棒的算法設(shè)計(jì)，確實(shí)很有挑戰(zhàn)，而能否做到，將最終決定服務(wù)的好壞。

人工智能、深度學(xué)習(xí)在擁塞控制算法中的應(yīng)用處于什么什么狀態(tài)，以及未來的展望？

莊澤森：深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的應(yīng)用確實(shí)是當(dāng)前擁塞控制算法研究的方向之一，也是熱點(diǎn)。可以說，這個(gè)方向甚至可能是一把鑰匙——最終完美解決目前該領(lǐng)域所有問題的鑰匙。

不過，該方向的算法目前實(shí)際落地的很少，一些學(xué)術(shù)界的成果在實(shí)際網(wǎng)絡(luò)或者更復(fù)雜的弱網(wǎng)環(huán)境下測試效果并不令人完全滿意。這里面的原因有多方面，其中之一是實(shí)際網(wǎng)絡(luò)數(shù)據(jù)及數(shù)據(jù)標(biāo)定難以獲得，特別是能涵蓋所有網(wǎng)絡(luò)狀況和網(wǎng)絡(luò)類型的數(shù)據(jù)。

后疫情時(shí)代的視頻會(huì)議服務(wù)發(fā)生了哪些變化，對(duì)相關(guān)技術(shù)、算法優(yōu)化提出了哪些新的要求？

莊澤森：關(guān)于疫情時(shí)代對(duì)音視頻服務(wù)和行業(yè)的影響，相信已經(jīng)有不少文章做過詳細(xì)論述了，我就簡單講下個(gè)人的看法。

教育、辦公、社交、娛樂等領(lǐng)域，都在往線上轉(zhuǎn)移，或者說線上線下結(jié)合。其實(shí)這本來就是一種趨勢，但疫情又在一定程度上加速了這種趨勢，使得這些在短期內(nèi)有了一個(gè)跳變。加上各種線上產(chǎn)品形態(tài)的迸發(fā)，又進(jìn)一步帶來了實(shí)時(shí)音視頻服務(wù)需求的短期飆升。

其實(shí)不止線上辦公、線上教育等領(lǐng)域，這次疫情的特殊性還在于，它讓大家意識(shí)到，把業(yè)務(wù)搬到線上，可能是繞不開的一個(gè)工作，是保障業(yè)務(wù)對(duì)抗未知的“安全”戰(zhàn)略。可以預(yù)計(jì)，更多的領(lǐng)域更多的玩法，都會(huì)有線上的形態(tài)，而實(shí)時(shí)音視頻服務(wù)的需求和體量也許會(huì)比我們估計(jì)的更大。

一方面線上音視頻體量飆升，另一方面，像線上教育線上辦公這些應(yīng)用場景，對(duì)實(shí)時(shí)音視頻體驗(yàn)和質(zhì)量的要求也更高了。同時(shí)，隨著服務(wù)的客戶和業(yè)務(wù)增多，也將碰到更多的場景，更多的網(wǎng)絡(luò)狀況和更多的國家地區(qū)以及更多的設(shè)備等等。

所以相應(yīng)的，首先我們要“撐得起”現(xiàn)在的音視頻體量，從架構(gòu)和資源等方面要支持高并發(fā)，達(dá)到高可用性和高可擴(kuò)展性。甚至為了保證服務(wù)，架構(gòu)設(shè)計(jì)和資源儲(chǔ)備時(shí)還要向前一步，把更大的體量支持考慮進(jìn)去。

另一方面，從媒體層到傳輸層，算法能力也需要更上一層，以應(yīng)對(duì)更多的網(wǎng)絡(luò)狀況、設(shè)備狀況和場景，以保持魯棒性，提供穩(wěn)定的極致體驗(yàn)。舉個(gè)例子，網(wǎng)絡(luò)優(yōu)化要考慮不同地區(qū)的差異，考慮到音視頻用量激增后在傳輸中可能遇到更多的資源和網(wǎng)絡(luò)瓶頸等等。

LiveVideoStackCon 2020北京站日程官宣

10月31日-11月1日，今年唯一的一場線下LiveVideoStackCon如約而至。連續(xù)兩天的技術(shù)干貨，60余場精彩演講以及眾多熱門話題圓桌討論。大會(huì)日程現(xiàn)已上線，選擇你中意的內(nèi)容，確認(rèn)好時(shí)間，帶上你的小伙伴一起來High！

9月30日前購票可享受九折優(yōu)惠

https://bj2020.livevideostack.cn/schedule

點(diǎn)擊【閱讀原文】了解更多日程信息

總結(jié)

以上是生活随笔為你收集整理的​实时音视频服务的“既要、又要、还要”的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。