“下一個風(fēng)口”

在去年北京站大會籌備過程中，我曾經(jīng)采訪過一些技術(shù)人，有問到這么一個問題：“您認為目前我們所處的‘后疫情時代’，音視頻技術(shù)領(lǐng)域的下一個風(fēng)口在哪里？”

大家的回答都不太一樣，這也的確是一個仁者見仁，智者見智的問題。我們摘選了如下幾個回答：

• 未來的方向是基于硬件、算法、網(wǎng)絡(luò)等等這一系列性能的提升，讓實時音視頻的應(yīng)用場景變得更加貼近線下，延遲更低、沉浸度更高等等。

• 音視頻技術(shù)的需求還將會在直播、會議、電商、娛樂、協(xié)作方面繼續(xù)保持增長。

• 當前社會的發(fā)展依然面臨著很多的挑戰(zhàn)，比如碳中和問題、人口的增長放緩，以及在后疫情時代的經(jīng)濟發(fā)展和遠程協(xié)同問題。相信國家在未來很長一段時間的注意力也會聚焦在這些問題上。如果音視頻技術(shù)在以上某個方向上的應(yīng)用落地，能夠?qū)@些方向形成助力，那么會更容易地成為下一個階段的風(fēng)口。比如：音視頻通話對于留守兒童的關(guān)懷問題；低延時視頻傳輸在新能源汽車上的遠程操控能力；更加無縫嵌入到現(xiàn)有協(xié)同體系中的辦公協(xié)同應(yīng)用等等；新能源發(fā)電的遠程監(jiān)控和遠程排障方向等等。

• 音視頻領(lǐng)域的下個風(fēng)口應(yīng)該緊盯海外市場。因為海外市場擁有不同的國家、宗教、文化，不會被某一家公司壟斷整個市場。

從以上的回答可以看出，雖然大家對音視頻技術(shù)這條垂直賽道的未來關(guān)注點不同，但是對這個領(lǐng)域可持續(xù)發(fā)展的信心感是很強烈的。無論是從底層技術(shù)的不斷打磨提升，還是對技術(shù)應(yīng)用場景的穩(wěn)固與擴展，亦或是另辟蹊徑，尋求海外商機，無疑都是將音視頻技術(shù)帶到更高更遠的地方，在不同的行業(yè)中發(fā)光發(fā)熱。

這也是我們策劃LiveVideoStackCon 2022 音視頻技術(shù)大會 上海站的立意初衷：當音視頻技術(shù)滲透到不同行業(yè)中，會給人們帶來怎樣的驚喜？即本次大會的主題——「音視頻+無限可能」。為了讓參會的朋友們提前感受大會的盛況，我們特意邀請了本次大會的部分講師來“詳細劇透”一下他們的演講內(nèi)容。

*以下演講介紹可作為實際大會的演講參考，最終演講內(nèi)容以大會當天為準。（So，如果想了解大會一手演講內(nèi)容、與講師現(xiàn)場交流，快去官網(wǎng)報名參會吧！九折優(yōu)惠限時搶購，團體購票優(yōu)惠很猛，請瘋狂私信小秘書（添加微信號：LVSgogo）哈~）

演講劇透

.新一代車載音頻系統(tǒng)實踐?

馬桂林 科大訊飛 智能汽車事業(yè)部副總經(jīng)理

科大訊飛杰出科學(xué)家

所屬專題：音視頻+

隨著消費的升級，智能網(wǎng)聯(lián)時代的到來，傳統(tǒng)的車載音頻解決方案已經(jīng)無法滿足廣大消費者對于美好聲音和智能化場景的需求。如何設(shè)計智能音頻管理系統(tǒng)，讓廣大用戶能夠從現(xiàn)在開始就享受到新一代以智能化場景化為特點的極致的音頻體驗，是本次分享的主題。

本次分享分為三個部分，首先是關(guān)于新一代音頻系統(tǒng)硬件介紹，尤其是硬件如何設(shè)計從而支撐新的場景需求。相比較于傳統(tǒng)的車內(nèi)音頻需求，新的場景需求邏輯更為復(fù)雜，對性能要求更高，這就要求硬件設(shè)計在計算性能、音頻性能、接口、功耗、時延、擴展性等等方面都達到優(yōu)異的性能，從而支撐各種復(fù)雜和高階的軟件和算法。

第二部分介紹新一代車載音頻系統(tǒng)的核心算法以及這些算法如何服務(wù)于各種場景。音效算法是各種場景服務(wù)的核心。為了滿足豐富的應(yīng)用場景，我們的音頻系統(tǒng)包含了從基礎(chǔ)到高階的豐富算法，滿足用戶從安全駕駛、聲浪模擬到影音體驗的各種需求。我們自主研發(fā)的高端算法經(jīng)過測試達到了優(yōu)異的性能。

第三部分介紹軟硬件如何與生態(tài)、場景、內(nèi)容等打通形成智能的場景化服務(wù)。軟硬件平臺做到了優(yōu)異的性能是場景化服務(wù)的前提，但不是全部。車載音頻體驗需要與場景打通。有三種主要的場景構(gòu)建方式：第一種是基于單一功能或者環(huán)境的場景化服務(wù)，例如聲浪的模擬；第二種是端到端的場景化構(gòu)建，一端是內(nèi)容，一端是車載音頻管理系統(tǒng)；第三種是結(jié)合多模態(tài)交互的場景構(gòu)建，結(jié)合語音、視覺等多種方式構(gòu)建車載音頻場景化的服務(wù)。

總之，新一代的車載音頻系統(tǒng)要求突出的軟硬件能力和豐富的場景化、個性化設(shè)計，從而將用戶體驗提升到一個新的維度。

.Gstreamer中的視頻處理與硬件加速?

何俊彥?英特爾 加速計算系統(tǒng)與圖形部工程師

所屬專題：開源與體驗創(chuàng)新

Gstreamer作為一個比較流行的開源多媒體框架，其優(yōu)秀的架構(gòu)使其具有高度的模塊化和良好的擴展性，并具有廣泛的應(yīng)用前景。從廣義上說，不只是媒體流，Gstreamer可以擴展并處理任何一種數(shù)據(jù)流。在AI時代，隨著例如DeepStream， DLStreamer等AI插件的推出, Gstreamer必將被越來越多的應(yīng)用于集編解碼、AI、渲染等于一體的綜合應(yīng)用場景中。

本次分享將有三個部分，首先將會討論Gstreamer基于Pipeline和插件的工作原理，以及其機制是如何保證在其各個插件具有良好獨立性的前提下，實現(xiàn)插件之間無縫的數(shù)據(jù)傳遞與協(xié)作，從而使得Pipeline的搭建即簡單高效又靈活方便。

另外，本次分享將會介紹如何開發(fā)一個完整而又高效的Gstreamer插件，特別是基于GPU以及硬件加速的插件，以及在插件開發(fā)中的注意事項。

最后，隨著AI時代的到來，傳統(tǒng)的視頻處理過程會加入越來越多的AI處理。本次分享將介紹一些經(jīng)典的Gstreamer Pipeline實例以及當下比較流行的AI應(yīng)用，同時討論Gstreamer的未來發(fā)展與前景。

.Shopee音視頻處理中臺落地應(yīng)用?

范志興 Shopee 視頻技術(shù)團隊負責(zé)人

所屬專題：視頻編解碼性能優(yōu)化與體驗

隨著Shopee電商業(yè)務(wù)在東南亞等市場迅速展開，視頻和電商結(jié)合的應(yīng)用迅速落地。比如feeds、rating流、買/賣家秀，直播帶貨，數(shù)字銀行開戶以及短視頻等。東南亞大部分地區(qū)都是欠發(fā)達地區(qū)，手機用戶大多使用的是國內(nèi)2010左右普及的千元機機型，這些手機在視頻編解碼、圖像處理方面的性能存在嚴重性能瓶頸，網(wǎng)絡(luò)質(zhì)量遠不如國內(nèi)。在這樣的網(wǎng)絡(luò)條件下傳輸媒體數(shù)據(jù)談何容易。還有就是海量的視頻文件和直播視頻處理給Shopee后臺帶來了巨大的壓力。那么Shopee是如何通過技術(shù)手段來解決這一系列問題的呢？

本次分享將從4個方面為大家解開謎團。首先本次分享將會介紹落地了哪些應(yīng)用，如：Shopee直播帶貨、視頻通話在線開戶、feeds流，Shopee video、seditor和云導(dǎo)播等等。

第二部分將會介紹與視頻編碼優(yōu)化相關(guān)的工作，比如適應(yīng)低帶寬和抖動網(wǎng)絡(luò)環(huán)境。這部分內(nèi)容將從高清低碼、RTC場景的SVC編碼、前置處理/編碼性能調(diào)優(yōu)，以及軟解碼快速精確seek等四個方面來展開。

第三部分將會重點介紹工程實現(xiàn)方面。首先是轉(zhuǎn)碼Pipeline實現(xiàn)，轉(zhuǎn)碼處理節(jié)點以region的方式組織，耗時短的節(jié)點，集成到同一個region， region內(nèi)部串行，region之間并行，保證最大的處理輸出幀率。其次是自研混流服務(wù)，在直播帶貨連麥過程中，RTC房間為單個用戶時轉(zhuǎn)發(fā)媒體數(shù)據(jù)，緩存last gop，當有連麥者加入時無縫切換為混流模式。另外還有混流錄制，幀率對齊用戶端。

第四部分是有關(guān)落地計劃的介紹，如：手機端編解碼匯編優(yōu)化，以提高H.265的覆蓋率；支持更多渲染特效；AI圖像增強等計劃。

.大眾點評客戶端視頻實時超分實踐?

周文業(yè) 美團點評 音視頻研發(fā)工程師

所屬專題：客戶端建設(shè)及調(diào)優(yōu)實踐

視頻超分端上部署具有省流、實時等優(yōu)勢。然而，隨著分辨率增加算力和存儲成本成倍提升，在不依賴硬件平臺優(yōu)化的前提下，如何突破移動端算力限制、保持超分實時性、實現(xiàn)機型高覆蓋，并獲得明顯超分效果是大分辨率視頻端上實時超分落地必須面對的難點和挑戰(zhàn)。本次分享將從模型優(yōu)化、工程優(yōu)化、機型覆蓋、幀率保障等方面介紹大眾點評端上實時超分能力落地過程中所采用的解決方案和最佳實踐。

本次分享共分為4個部分，首先介紹端上超分推理如何處理實時性、超分效果和視頻分辨率的關(guān)系。涉及超分推理延遲優(yōu)化、推理實時性的判定和超分效果評價，以及如何在滿足實時性和超分效果的前提下不斷提升目標視頻分辨率。

第二部分將會介紹超分模型如何落地到視頻播放的業(yè)務(wù)場景，包括超分架構(gòu)設(shè)計、視頻超分播放流水線設(shè)計和超分監(jiān)控設(shè)計。

另外，端上超分落地對實時性有很高的要求，而超分過程涉及到很多耗時任務(wù)，本次分享將介紹如何從流程簡化和過程加速角度進行實時性優(yōu)化。

第四部分是通過端上超分推理需要考慮到的機型、分辨率和幀率等因素，將介紹如何通過超分規(guī)則控制資源分配、機型覆蓋。

以上僅為大會部分演講話題的提前劇透，更多精彩內(nèi)容將在4月15-16日上海站大會進行分享哈~ 歡迎大家蒞臨LiveVideoStackCon 2022 音視頻技術(shù)大會 上海站，期待與你相遇在春暖花開的日子里。

?? 福利放送??

請在評論區(qū)留下您以往參與LiveVideoStack活動的感悟或者建議，我們將評選三位“最真情實感”用戶并送上禮物~

掃描二維碼?直達9折優(yōu)惠

2022年4月15-16日

上海海神諾富特大酒店

策劃、編輯：Teresa

總結(jié)

以上是生活随笔為你收集整理的音视频技术下一个风口在哪里——LiveVideoStackCon 音视频技术大会 2022 上海站演讲剧透...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。