盡管有WebRTC和FFmpeg這樣的超級工具，但多媒體開發的核心難點的難度并沒有因此降低，這需要開發者掌握牢固的基礎知識。LiveVideoStack專訪了即構科技音視頻技術資深架構師黃開寧，他對學習多媒體開發給出了十分可觀的評估。并對WebRTC的前景以及行業熱點給出了自己的分析。在5月19-20日舉行的WebRTCon 2018上，黃開寧會分享即構科技在WebRTC服務端開發方面的探索。

策劃 / LiveVideoStack

LiveVideoStack：能否簡要介紹下自己，包括目前的主要工作及關注領域？

黃開寧：目前在即構從事實時音視頻引擎開發和WebRTC-Gateway開發；主要關注傳輸優化、智能路由和高性能服務器等領域。

LiveVideoStack：從IVR、視頻會議到直播，十年來一直在多媒體通信領域，是順利自然的發展，還是有意而為之呢？

黃開寧：是自然的發展，也是有意為之。

一是由于市場的發展，讓我們做技術的也需要跟隨熱點去選擇技術方向。其次，在從事IVR行業時主要工作是語音處理以及通信技術，當時覺得傳輸技術神秘又高深，為了一探究竟然后就被它慢慢“吸”了進來；當時的網絡條件下，傳輸是視頻會議的難題之一，所以我認為進入視頻會議將會是學好傳輸技術的一個絕好機會。再后來，直播行業迅速發展，用戶分布在不同地區和國家，視音頻傳輸要適應在不同的網絡環境下達到低延遲、高并發和高可用性的特性，特別是互動直播比起視頻會議的技術難度會更高，所以選擇去了有億萬級直播用戶的YY；在音視頻領域爬模打滾將近10年后，意識到音視頻將會成為像水電一樣的基礎設施，要將視音頻云做成一種基礎設施那將會更富有挑戰性和意義，這也是我現在在即構工作的一大原因；在這個領域填了一些坑，也挖了很多坑，為了將這些坑填上，那只有選擇一路“坑”下去了。

LiveVideoStack：回顧過去這10多年，多媒體技術不斷迭代，公司起起落落，可以用哪些技術或其他關鍵詞來總結呢？

黃開寧：

• 封閉->開放

• 私有云->公有云

• 企業應用->個人應用

• 單向直播->互動直播

• 標清->高清->超高清

LiveVideoStack：學習多媒體開發的技術人普遍的感觸是“門檻很高，學好更難”。但有過多年多媒體開發經驗的“老鳥”卻認為，現在學習多媒體開發和10年前比容易太多了。果真如此嗎？對于學習多媒體開發，你有哪些學習建議？有哪些文檔、圖書、資料推薦？

黃開寧：由于這些年比如直播、短視頻和實時互動語音等多媒體應用發展迅速，有了大量實踐的機會，同時開源社區和技術問答網站也非常活躍，還有像LiveVideoStack這次舉辦的WebRTC大會這種類型的分享大會和沙龍也越來越多，大家可以從更多渠道去獲取到技術相關的咨詢和經驗，所以入門確實比較容易了，但一些關鍵的核心技術，依然是“門檻很高，學好更難”，所以我認為“容易”是相對的。舉個例子: 語音處理(AEC/NS/VAD/AGC)是大家認為最難的技術之一，Google在2011年就開源了WebRTC項目，里面就包含了這些語音處理的實現，按理我們可以直接拿來用或者研究優化，但事實是直到到今天，能很好解決回音消除的團隊或者公司其實都非常少，如果不能很好解決掉這些問題，是無法開發出優秀的實時互動類的應用的。

而且現在的應用場景越來越廣，受眾也從區域到全球化，用戶期望有更多的有趣的玩法， 迭代周期也在縮短，促使我們在技術方面要不斷的創新和突破，這同樣是件非常難的事。

關于學習建議，不同方向的學習路徑可能不太一樣，而且現在技術發展速度非常快，所以我認為只有扎實的基本功才能以不變應萬變，多媒體技術主要涉及圖形圖像處理、語音處理和網絡傳輸，而這些技術又主要是信號處理、統計和數理分析相關，所以學好這些基本功才能有機會去解決那些“核心技術”。其次，現在有很多優秀的開源項目，比如WebRTC、FFmpeg和OBS等等，可以通過閱讀和分析源碼來提高自己的技術。

LiveVideoStack：在你的自我介紹中提到，2012年起開始對WebRTC技術進行研究和應用。是什么樣的原因促使你對WebRTC做研究？

黃開寧：當時我們公司只有PC端和硬件終端的視頻會議產品，智能手機(iPhone/Android)已越來越普及，所以公司決定推出移動端APP并讓我負責組建團隊，公司本身沒有移動端開發人員儲備，在市場上熟悉移動端開發又精通實時音視頻技術的開發人員也招聘不到，所以我們只能從零開始學習和開發。剛好Google在2011年開源了WebRTC項目，這個項目有我們最需要學習和借鑒的2項技術: 跨平臺和移動端語音處理(AECM)，當時我就把WebRTC里的音視頻采集播放模塊和一些語音處理模塊提取出來用到了我們的項目中，并進行了一些優化，這樣我們大概只用了半年時間就成功推出了Android和iOS端的產品。

由于我一直從事音視頻引擎開發，WebRTC項目里面的模塊都是我平時工作相關和研究的內容，比如它的AudioProcessing、NetEQ、JitterBuffer和BWE等模塊都是非常值得研究學習的技術；同時我也認為在瀏覽器原生支持實時音視頻能力是一件非常cool的事，而且一定會成為一種趨勢，所以這些年也一直持續關注WebRTC進行研究學習。

LiveVideoStack：WebRTC在2017年底完成了1.0版定稿，這對WebRTC的生態意味著什么？你認為有WebRTC功能與成熟度還存在哪些不足？

黃開寧：早期WebRTC可以說只是Google的一個開源項目，或者說是Chrome一個實時音視頻能力的插件；現在我們說的WebRTC是一個通訊標準，1.0版定稿則表明得到了廣大廠商的支持認可，也將會從實驗階段走向應用階段；從Edge到Safari支持WebRTC，就可以預見將來會有更多的瀏覽器廠商支持WebRTC；既然它是個標準，那說明任何廠商都可以支持它，只要遵循標準就能和其他應用進行互聯互通。

WebRTC的不足主要體現在以下幾點：

雖然現在Chrome、Firefox、Opera、Edge和Safari都支持了WebRTC，但各自的實現卻有不同, 所以也會有兼容性問題；

由于不同硬件和系統組合非常多，也會造成音視頻采集播放設備兼容性問題；

接口還不夠開放，WebRTC原本是用于點對點，或者多方實時通話的技術，現在用戶也希望能用于直播等有娛樂性的應用開發，比如增加音視頻前處理(美顏、特效、混響)等功能；

沒有一個成熟的WebRTC服務器或者Gateway(媒體方面)。

LiveVideoStack：展望未來1-2年，除了教育、直播，你看好WebRTC哪些應用場景？

黃開寧：現在幾乎所有操作系統都安裝了瀏覽器，這樣用戶就可以隨時隨地通過WebRTC來進行音視頻通信，而并不需要預先安裝一個特定的APP，所以我認為跟這種需求比較接近的場景會先得到應用，比如客服系統和遠程救援等。

LiveVideoStack：能否介紹下你和你的團隊在WebRTC的研發方向？

黃開寧：當前我們團隊在自研一套通用的WebRTC-Gateway系統，用于和我們現有的協議對接，這些協議包括即構的私有媒體協議和RTMP等標準協議，這樣可以幫助用戶和現有系統進行互聯互通。其次將WebRTC-Gateway網關接入到我們即構全球分發調度和智能路由系統，滿足用戶低延時、高可用性和大規模實時分發的需求。

LiveVideoStack：現在開始學習WebRTC，是個好時機嗎？

黃開寧：1.0標準的定稿、Edge和Safari支持WebRTC，廠商對WebRTC的支持也越來越完善，說明這個趨勢開始從潛伏期轉向成長期，所以說現在是開始學習WebRTC的最好時機。

LiveVideoStack：展望2018年，你認為哪些技術將成為音視頻領域的熱門？

黃開寧：當前音視頻應用已非常普及，同時用戶也對這些應用體驗有更多期待。應用開發廠商會借助深度機器學習在圖形圖形處理和聲音處理等領域進行新的嘗試和突破，做出各種新奇的特效滿足用戶需求。最后，VR也將迎來2.0時代，相信VR直播也將迎來新的機遇。

LiveVideoStack：新的Codec（AV1、HEVC），5G網絡以及4K視頻普及，對WebRTC而言有哪些機會和挑戰？

黃開寧：就機會而言，由于HEVC的專利結構復雜，導致費用高，以及復雜的算法等因素讓解碼端異常吃力，所以我認為在瀏覽器端短期內不太可能支持HEVC；AV1的1.0版也已定稿，它是開源和完全免費的，而且像Google、微軟和Mozlla等瀏覽器廠商，以及Intel、AMD和NVIDIA等硬件廠商都參與其中，所以我認為它更可能會在瀏覽器中使用，這樣高清以及超高清的應用也能通過WebRTC來實現。

5G網絡的普及很可能會帶來音視頻應用的再一次爆發，這樣會有大量應用居于WebRTC來實現，可能會促使WebRTC進入一個快速發展時期。

挑戰方面，由于Codec是需要各個瀏覽器支持后才能互通的，現在各個廠商都有自己的實現和一些利益考慮，所以能否同時支持和支持的友好程度也將是一大挑戰；4K超高清則表示需要更高的分辨率、更高的碼率和幀率，當前的實現是否能支持也是個考驗。

WebRTCon 2018

??

WebRTCon 2018將于5月19-20日在上海光大國際會展中心舉行，這是一次對過去幾年WebRTC技術實踐與應用落地的總結。

WebRTC天然不具備服務端能力，如何實現高性能、穩定的服務端能力成為繞不過的話題。本文受訪者即構科技音視頻技術資深架構師黃開寧將出席“WebRTC服務端開發”專題為大家分享即構科技在自研WebRTC網關上的經驗和教訓。此外，網易云信多媒體資深技術架構師吳桐、PP云高級技術經理王立飛、資深音視頻架構師錢樹人也將從接入網關服務、協議適配、服務穩定性和行業應用等方面分享WebRTC服務端開發先進技術與經驗。

點擊【閱讀原文】，了解更多專題及分享相關信息。

總結

以上是生活随笔為你收集整理的黄开宁：搞多媒体开发要掌握好信号处理、统计和数理分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。