2018年音視頻生態(tài)發(fā)生了許多變化，從視頻編碼到網(wǎng)絡(luò)傳輸，5G的標(biāo)準(zhǔn)完善、QUIC的更名確認(rèn)、人工智能的不斷升溫，他們對(duì)多媒體技術(shù)將產(chǎn)生怎樣的影響，未來技術(shù)發(fā)展方向又將如何？LiveVideoStack邀請(qǐng)了三體云系統(tǒng)架構(gòu)師時(shí)杰、即構(gòu)科技資深架構(gòu)師祝永堅(jiān)和七牛直播云流媒體負(fù)責(zé)人謝然探討網(wǎng)絡(luò)傳輸、QoE以及2019年技術(shù)展望。

文 / 祝永堅(jiān)，時(shí)杰，謝然

整理 / LiveVideoStack

LiveVideoStack：5G將有望在2020年開啟商用，對(duì)音視頻技術(shù)來說5G將會(huì)帶來哪些方面的改變或突破？是否看好明年對(duì)于5G的提前布局？

祝永堅(jiān)：5G具有高速率、低延遲、高性能、高容量的特性，可能會(huì)帶來帶寬、延遲、密度方面的變化，一般認(rèn)為，5G可以帶來Gb/s級(jí)別的用戶帶寬，ms級(jí)別空口延遲。在5G時(shí)代，用戶對(duì)超高清視頻的需求，也讓實(shí)時(shí)音視頻的發(fā)展和應(yīng)用有更大的想象力。

成本和性能仍然是廠商重點(diǎn)考量的維度，5G如果普及開來，對(duì)于實(shí)時(shí)音視頻來說，意味著處理的數(shù)據(jù)量也會(huì)增長(zhǎng)很多，面臨著處理性能的技術(shù)升級(jí)，包括音視頻的編解碼性能。

時(shí)杰：5G將會(huì)給多媒體時(shí)代帶來全新的體驗(yàn)，質(zhì)量上的提升，尤其是直播系統(tǒng)中實(shí)時(shí)性會(huì)更好。對(duì)于受傳輸限制的一些技術(shù)點(diǎn)，會(huì)有明顯的幫助和提高。而對(duì)于明年的提前布局我相信是必然的，像三體云的3tclass就是很好的一步。

謝然：我個(gè)人比較看好。在 5G 普及后，由于帶寬逐漸變得不敏感，應(yīng)用上會(huì)更加關(guān)注實(shí)時(shí)性，類似 STEAM 的游戲?qū)崟r(shí)傳輸?shù)漠a(chǎn)品會(huì)有增加。對(duì)于編碼器而言會(huì)更關(guān)注實(shí)時(shí)編碼的優(yōu)化。

LiveVideoStack:Google QUIC將正式更名為HTTP/3，它將會(huì)對(duì)音視頻技術(shù)和行業(yè)帶來怎樣變化？其實(shí)早在去年W3C大會(huì)上就有人提出通過QUIC來實(shí)現(xiàn)WebRTC，這會(huì)成為明年的發(fā)展趨勢(shì)和技術(shù)突破？從技術(shù)實(shí)現(xiàn)和實(shí)際應(yīng)用中會(huì)遇到怎樣的困難？

謝然：我認(rèn)為可能對(duì)于點(diǎn)播的意義大過直播。對(duì)實(shí)時(shí)音視頻可能意義不大。目前客戶端的支持還是貧乏的，以及服務(wù)端的開源實(shí)現(xiàn)也是。

時(shí)杰：QUIC的正式更名說明它裝開始新的時(shí)代、新的起點(diǎn)。至于實(shí)現(xiàn)什么？這個(gè)還有待于實(shí)踐的的結(jié)果，目前理論上講是很好的技術(shù)革新，技術(shù)的發(fā)展大部分總是螺旋式上升的，但要引起質(zhì)的變化還需要新的突破，在實(shí)際應(yīng)用中會(huì)出現(xiàn)各種新的未知困難。

祝永堅(jiān)：對(duì)于實(shí)時(shí)音視頻，重要的體驗(yàn)是低延遲和流暢。QUIC在弱網(wǎng)的情況具有優(yōu)秀的表現(xiàn)。音視頻行業(yè)的追求依然是低延遲，因此這個(gè)技術(shù)能解決痛點(diǎn)。實(shí)際應(yīng)用中，在QUIC支持還沒有完全起來，可能會(huì)遇到防火墻的限制的問題。目前主流的rtmp一直有它的弊端，QUIC對(duì)于rtmp，很可能是解決痛點(diǎn)的一個(gè)可行方案，如果形成標(biāo)準(zhǔn)那就更好。當(dāng)大家都來做這事，對(duì)于行業(yè)來說是個(gè)促進(jìn)共同進(jìn)步的好事，例如原來的防火墻規(guī)則可能也會(huì)因此而得到更快的適應(yīng)。

LiveVideoStack：AI技術(shù)的快速發(fā)展為視頻編碼算法優(yōu)化、網(wǎng)絡(luò)自適應(yīng)調(diào)度策略、圖像識(shí)別、視頻分析等賦予了更強(qiáng)的支持，另一方面AI技術(shù)也逐漸滲透到安防、教育、汽車等行業(yè)中。您認(rèn)為在未來人工智能與音視頻技術(shù)還將在哪些方面產(chǎn)生化學(xué)反應(yīng)，帶來更多的突破？

時(shí)杰：人工智能會(huì)改變用戶交互的方式就是語音，我們有語音，因?yàn)槲矣X得這里有越來越多互聯(lián)網(wǎng)的溝通走向語音的溝通；可以大膽的想像一下，除了語音外還可以有表情、眼神、甚至想法，都可以通過AI達(dá)到溝通。所以視頻分析技術(shù)將是人工智能技術(shù)爆發(fā)式增長(zhǎng)的主要領(lǐng)域之一。

謝然：最大的實(shí)用價(jià)值可能是從音視頻中抽取有效信息供搜索引擎檢索。未來的文字和圖片將逐漸被音視頻代替。

LiveVideoStack：伴隨視頻逐漸成為人們?nèi)粘Ｉ畹囊徊糠?#xff0c;用戶對(duì)于觀看體驗(yàn)的要求也不斷提升，如何有效預(yù)警與解決潛在問題，提供持續(xù)滿意的用戶體驗(yàn)？這其中都會(huì)有哪些關(guān)鍵技術(shù)點(diǎn)和難題，又是如何去解決的？

時(shí)杰：一切從用戶的實(shí)現(xiàn)想法和需求出發(fā)，滿足用戶永遠(yuǎn)是技術(shù)革新的源動(dòng)力和新起點(diǎn)；除了本領(lǐng)域內(nèi)的發(fā)展，與之相關(guān)的相關(guān)行業(yè)的發(fā)展也會(huì)影響多媒體領(lǐng)域的發(fā)展，像AI和云端計(jì)算及使用終端的呈現(xiàn)都需要同步配合、相互促進(jìn)。

謝然：主要做法是在客戶端埋點(diǎn)，主動(dòng)監(jiān)控客戶端到服務(wù)端之間的網(wǎng)絡(luò)質(zhì)量，采用服務(wù)端多備份的措施來避免單點(diǎn)問題。以及服務(wù)升級(jí)需要使用熱升級(jí)，來避免斷播的情況。

祝永堅(jiān)：即構(gòu)有質(zhì)量體驗(yàn)評(píng)估的方法，根據(jù)量化的質(zhì)量指標(biāo)來評(píng)估質(zhì)量；加上完備的監(jiān)控系統(tǒng)，在出現(xiàn)問題時(shí)能夠及時(shí)告警，及時(shí)處理。網(wǎng)絡(luò)鏈路監(jiān)控和質(zhì)量監(jiān)控，包括rtt、丟包率、首幀時(shí)間、卡頓率、負(fù)載情況、主播到觀眾的鏈路、容量預(yù)警等等。

難點(diǎn)是在用戶接入方面，根據(jù)域名解析來實(shí)施就近接入，或者ip庫來實(shí)施就近接入，都有一定的缺陷。特別在國(guó)外一些網(wǎng)絡(luò)基礎(chǔ)環(huán)境較落后的地區(qū)，挑戰(zhàn)會(huì)更大。技術(shù)上，我們嘗試被動(dòng)接入和主動(dòng)測(cè)速相結(jié)合的方案；運(yùn)營(yíng)上，我們除了對(duì)節(jié)點(diǎn)覆蓋地區(qū)和運(yùn)營(yíng)商用戶的質(zhì)量做質(zhì)量測(cè)試，還會(huì)將線上的質(zhì)量數(shù)據(jù)沉淀下來，做大數(shù)據(jù)分析，來迭代優(yōu)化節(jié)點(diǎn)覆蓋的質(zhì)量。

另外，跨國(guó)網(wǎng)絡(luò)鏈路質(zhì)量也是一個(gè)挑戰(zhàn)，我們對(duì)各區(qū)的網(wǎng)絡(luò)質(zhì)量進(jìn)行了監(jiān)控，技術(shù)上我們有中轉(zhuǎn)的路由方案，結(jié)合網(wǎng)絡(luò)質(zhì)量監(jiān)控，可以實(shí)施動(dòng)態(tài)路由，避開故障的線路。另外我們還和合作廠商使用SDN方案來優(yōu)化主要的跨區(qū)鏈路。

LiveVideoStack：您認(rèn)為2019年音視頻技術(shù)發(fā)展趨勢(shì)是怎樣的？哪些技術(shù)會(huì)成為熱點(diǎn)或?yàn)槎嗝襟w開發(fā)帶來新的突破？

祝永堅(jiān)：音視頻技術(shù)將會(huì)隨著行業(yè)應(yīng)用的深入，遭遇到的技術(shù)挑戰(zhàn)會(huì)越來越大，克服這些挑戰(zhàn)之后，應(yīng)用場(chǎng)景也將越來越多，玩法越來越多。除了泛娛樂直播，其他行業(yè)也可以音視頻技術(shù)，實(shí)現(xiàn)業(yè)務(wù)的創(chuàng)新。比如，公檢法也可以接入音視頻技術(shù)，實(shí)現(xiàn)可視化執(zhí)法、遠(yuǎn)程接訪、視頻庭審。民生政務(wù)方面，可以通過小程序接入技術(shù)，實(shí)現(xiàn)視頻辦事。除了單一線上的支持，音視頻技術(shù)也可以跟軟硬件結(jié)合，形成一站式解決方案。越來越多的智能硬件產(chǎn)品開始接入音視頻技術(shù)，像無人機(jī)、車聯(lián)網(wǎng)、機(jī)器人、智能眼鏡等，兩者結(jié)合后又能應(yīng)用到不同的行業(yè)。

音視頻技術(shù)的發(fā)展，未來的趨勢(shì)主要有幾個(gè)方面：

變聲和聲音特效。在服務(wù)客戶的過程中，我們發(fā)現(xiàn)很多泛娛樂直播社交和游戲行業(yè)的客戶，都提出了變聲和聲音特效的需求，來豐富各種業(yè)務(wù)端玩法，目前即構(gòu)的SDK也基本能滿足這些場(chǎng)景多種變聲的需求。

更好的去背景噪聲。當(dāng)前實(shí)用的降噪算法主要集中在噪音學(xué)習(xí)和陣列降噪上，但是人耳人腦的能力遠(yuǎn)超現(xiàn)在算法能達(dá)到的水平，比如人在嘈雜環(huán)境下，也有很大可能“過濾掉”噪聲和其他人的語音集中理解某個(gè)人說話。

語音分離、音樂分離，比如兩個(gè)人說話的時(shí)候，技術(shù)上能把一個(gè)人的語音完整分離出來。能夠從交響樂分離出大提琴的聲音等，如即構(gòu)和Finger打造的在線音樂陪練，就是典型用了音樂識(shí)別和人聲識(shí)別的技術(shù)。

視頻跟鑒黃、AI、人臉識(shí)別、行為識(shí)別的結(jié)合的應(yīng)用會(huì)越來越多。

謝然：比較看好 wasm 的性能提升，期待能達(dá)到 ffmpeg h264 decoder 的原生性能。web 端開放更多的流媒體接口。MSE 在移動(dòng)端的普及。

時(shí)杰：云計(jì)算推動(dòng)視頻技術(shù)的長(zhǎng)足發(fā)展，現(xiàn)在像直播、短視頻、智能視頻已經(jīng)讓人的精神生活豐富起來，這些需求滿足之后就會(huì)有更高的要求。可能VR更能帶來不一樣的體驗(yàn)，并能在終端上普及。多媒體通過人工智能的分析、識(shí)別、提取等突破后會(huì)出現(xiàn)爆發(fā)式增長(zhǎng)。

如果你覺得意猶未盡，本文幾位受訪嘉賓還將出席12月15日LiveVideoStack成都沙龍。此外，還有更多技術(shù)大咖與大家一同探討新技術(shù)在音視頻領(lǐng)域的實(shí)踐，以及新興應(yīng)用場(chǎng)景和傳統(tǒng)行業(yè)的突破。

• 《WebRTC在視頻會(huì)議領(lǐng)域的應(yīng)用》 雷輝

• 《音視頻技術(shù)助力遠(yuǎn)程醫(yī)療解析》 唐雷

• 《跨國(guó)應(yīng)用場(chǎng)景和即構(gòu)實(shí)時(shí)網(wǎng)絡(luò)的調(diào)度系統(tǒng)架構(gòu)設(shè)計(jì)》 祝永堅(jiān)

• 《直播系統(tǒng)中編碼之后插入自定義SEI的方法》時(shí)杰

• 《七牛WebRTC 連麥服務(wù)端架構(gòu)實(shí)踐》謝然

點(diǎn)擊【閱讀原文】了解更多詳細(xì)信息。

總結(jié)

以上是生活随笔為你收集整理的一切从用户的需求与体验出发的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。