2018年音視頻生態發生了許多變化，從視頻編碼到網絡傳輸，5G的標準完善、QUIC的更名確認、人工智能的不斷升溫，他們對多媒體技術將產生怎樣的影響，未來技術發展方向又將如何？LiveVideoStack邀請了三體云系統架構師時杰、即構科技資深架構師祝永堅和七牛直播云流媒體負責人謝然探討網絡傳輸、QoE以及2019年技術展望。

文 / 祝永堅，時杰，謝然

整理 / LiveVideoStack

LiveVideoStack：5G將有望在2020年開啟商用，對音視頻技術來說5G將會帶來哪些方面的改變或突破？是否看好明年對于5G的提前布局？

祝永堅：5G具有高速率、低延遲、高性能、高容量的特性，可能會帶來帶寬、延遲、密度方面的變化，一般認為，5G可以帶來Gb/s級別的用戶帶寬，ms級別空口延遲。在5G時代，用戶對超高清視頻的需求，也讓實時音視頻的發展和應用有更大的想象力。

成本和性能仍然是廠商重點考量的維度，5G如果普及開來，對于實時音視頻來說，意味著處理的數據量也會增長很多，面臨著處理性能的技術升級，包括音視頻的編解碼性能。

時杰：5G將會給多媒體時代帶來全新的體驗，質量上的提升，尤其是直播系統中實時性會更好。對于受傳輸限制的一些技術點，會有明顯的幫助和提高。而對于明年的提前布局我相信是必然的，像三體云的3tclass就是很好的一步。

謝然：我個人比較看好。在 5G 普及后，由于帶寬逐漸變得不敏感，應用上會更加關注實時性，類似 STEAM 的游戲實時傳輸的產品會有增加。對于編碼器而言會更關注實時編碼的優化。

LiveVideoStack:Google QUIC將正式更名為HTTP/3，它將會對音視頻技術和行業帶來怎樣變化？其實早在去年W3C大會上就有人提出通過QUIC來實現WebRTC，這會成為明年的發展趨勢和技術突破？從技術實現和實際應用中會遇到怎樣的困難？

謝然：我認為可能對于點播的意義大過直播。對實時音視頻可能意義不大。目前客戶端的支持還是貧乏的，以及服務端的開源實現也是。

時杰：QUIC的正式更名說明它裝開始新的時代、新的起點。至于實現什么？這個還有待于實踐的的結果，目前理論上講是很好的技術革新，技術的發展大部分總是螺旋式上升的，但要引起質的變化還需要新的突破，在實際應用中會出現各種新的未知困難。

祝永堅：對于實時音視頻，重要的體驗是低延遲和流暢。QUIC在弱網的情況具有優秀的表現。音視頻行業的追求依然是低延遲，因此這個技術能解決痛點。實際應用中，在QUIC支持還沒有完全起來，可能會遇到防火墻的限制的問題。目前主流的rtmp一直有它的弊端，QUIC對于rtmp，很可能是解決痛點的一個可行方案，如果形成標準那就更好。當大家都來做這事，對于行業來說是個促進共同進步的好事，例如原來的防火墻規則可能也會因此而得到更快的適應。

LiveVideoStack：AI技術的快速發展為視頻編碼算法優化、網絡自適應調度策略、圖像識別、視頻分析等賦予了更強的支持，另一方面AI技術也逐漸滲透到安防、教育、汽車等行業中。您認為在未來人工智能與音視頻技術還將在哪些方面產生化學反應，帶來更多的突破？

時杰：人工智能會改變用戶交互的方式就是語音，我們有語音，因為我覺得這里有越來越多互聯網的溝通走向語音的溝通；可以大膽的想像一下，除了語音外還可以有表情、眼神、甚至想法，都可以通過AI達到溝通。所以視頻分析技術將是人工智能技術爆發式增長的主要領域之一。

謝然：最大的實用價值可能是從音視頻中抽取有效信息供搜索引擎檢索。未來的文字和圖片將逐漸被音視頻代替。

LiveVideoStack：伴隨視頻逐漸成為人們日常生活的一部分，用戶對于觀看體驗的要求也不斷提升，如何有效預警與解決潛在問題，提供持續滿意的用戶體驗？這其中都會有哪些關鍵技術點和難題，又是如何去解決的？

時杰：一切從用戶的實現想法和需求出發，滿足用戶永遠是技術革新的源動力和新起點；除了本領域內的發展，與之相關的相關行業的發展也會影響多媒體領域的發展，像AI和云端計算及使用終端的呈現都需要同步配合、相互促進。

謝然：主要做法是在客戶端埋點，主動監控客戶端到服務端之間的網絡質量，采用服務端多備份的措施來避免單點問題。以及服務升級需要使用熱升級，來避免斷播的情況。

祝永堅：即構有質量體驗評估的方法，根據量化的質量指標來評估質量；加上完備的監控系統，在出現問題時能夠及時告警，及時處理。網絡鏈路監控和質量監控，包括rtt、丟包率、首幀時間、卡頓率、負載情況、主播到觀眾的鏈路、容量預警等等。

難點是在用戶接入方面，根據域名解析來實施就近接入，或者ip庫來實施就近接入，都有一定的缺陷。特別在國外一些網絡基礎環境較落后的地區，挑戰會更大。技術上，我們嘗試被動接入和主動測速相結合的方案；運營上，我們除了對節點覆蓋地區和運營商用戶的質量做質量測試，還會將線上的質量數據沉淀下來，做大數據分析，來迭代優化節點覆蓋的質量。

另外，跨國網絡鏈路質量也是一個挑戰，我們對各區的網絡質量進行了監控，技術上我們有中轉的路由方案，結合網絡質量監控，可以實施動態路由，避開故障的線路。另外我們還和合作廠商使用SDN方案來優化主要的跨區鏈路。

LiveVideoStack：您認為2019年音視頻技術發展趨勢是怎樣的？哪些技術會成為熱點或為多媒體開發帶來新的突破？

祝永堅：音視頻技術將會隨著行業應用的深入，遭遇到的技術挑戰會越來越大，克服這些挑戰之后，應用場景也將越來越多，玩法越來越多。除了泛娛樂直播，其他行業也可以音視頻技術，實現業務的創新。比如，公檢法也可以接入音視頻技術，實現可視化執法、遠程接訪、視頻庭審。民生政務方面，可以通過小程序接入技術，實現視頻辦事。除了單一線上的支持，音視頻技術也可以跟軟硬件結合，形成一站式解決方案。越來越多的智能硬件產品開始接入音視頻技術，像無人機、車聯網、機器人、智能眼鏡等，兩者結合后又能應用到不同的行業。

音視頻技術的發展，未來的趨勢主要有幾個方面：

變聲和聲音特效。在服務客戶的過程中，我們發現很多泛娛樂直播社交和游戲行業的客戶，都提出了變聲和聲音特效的需求，來豐富各種業務端玩法，目前即構的SDK也基本能滿足這些場景多種變聲的需求。

更好的去背景噪聲。當前實用的降噪算法主要集中在噪音學習和陣列降噪上，但是人耳人腦的能力遠超現在算法能達到的水平，比如人在嘈雜環境下，也有很大可能“過濾掉”噪聲和其他人的語音集中理解某個人說話。

語音分離、音樂分離，比如兩個人說話的時候，技術上能把一個人的語音完整分離出來。能夠從交響樂分離出大提琴的聲音等，如即構和Finger打造的在線音樂陪練，就是典型用了音樂識別和人聲識別的技術。

視頻跟鑒黃、AI、人臉識別、行為識別的結合的應用會越來越多。

謝然：比較看好 wasm 的性能提升，期待能達到 ffmpeg h264 decoder 的原生性能。web 端開放更多的流媒體接口。MSE 在移動端的普及。

時杰：云計算推動視頻技術的長足發展，現在像直播、短視頻、智能視頻已經讓人的精神生活豐富起來，這些需求滿足之后就會有更高的要求。可能VR更能帶來不一樣的體驗，并能在終端上普及。多媒體通過人工智能的分析、識別、提取等突破后會出現爆發式增長。

如果你覺得意猶未盡，本文幾位受訪嘉賓還將出席12月15日LiveVideoStack成都沙龍。此外，還有更多技術大咖與大家一同探討新技術在音視頻領域的實踐，以及新興應用場景和傳統行業的突破。

• 《WebRTC在視頻會議領域的應用》 雷輝

• 《音視頻技術助力遠程醫療解析》 唐雷

• 《跨國應用場景和即構實時網絡的調度系統架構設計》 祝永堅

• 《直播系統中編碼之后插入自定義SEI的方法》時杰

• 《七牛WebRTC 連麥服務端架構實踐》謝然

點擊【閱讀原文】了解更多詳細信息。

總結

以上是生活随笔為你收集整理的一切从用户的需求与体验出发的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。