隨著社會的發展，音視頻技術在電商運營中占據的位置越來越重要。不僅時代在進步，音視頻技術也在前進。本次LiveVideoStackCon 2021 上海站中，我們邀請到了淘系技術的陳穎老師為我們分享淘系內容電商技術的過去、現在及其未來展望。

文 / 陳穎

整理 / LiveVideoStack

大家好，我是來自阿里巴巴淘系技術的陳穎，花名昆虛。歡迎來到LiveVideoStackCon 2021 上海站的淘系技術專場。歡迎來到“邁向視頻內容時代的淘系技術”專場。

大家知道，2016年被稱為直播元年，我們淘寶直播也是在2016年開始了自己的業務。經過五年的發展，可以不太謙虛地講，我們依然是電商直播類的執牛耳者。那么淘系內容是如何邁向視頻時代的呢？我們的淘寶直播背后又有什么樣的技術？除了淘寶直播之外，我們還有什么音視頻技術相關的業務呢？我想大家或多或少都有一定的疑問。那么今天包括我在內的四位來自淘系技術的嘉賓，會就這些問題和大家展開探討。

我們將主要在四個方面展開：首先我們會講講淘系內容電商技術的過去，現在和未來；接下來我們會在三個核心技術領域，包括音視頻的編碼與處理、網絡傳輸和視頻理解，我們都會進行一些更技術細節的展開，以便和大家進行更加具體的討論。作為這個專場的主持人，首先，我要簡單介紹一下我們這幾位嘉賓。第一位就是我本人，我是阿里巴巴淘系技術的研究員陳穎。第二位是淘系技術的高級算法專家王立波，花名莊恕。第三位是淘系技術的資深算法專家李曉波，花名籬悠。第四位是淘系技術資深技術專家陳舉鋒，花名豐火。

我們馬上進入第一個Talk——《淘系內容電商技術的過去、現在和未來》。我們知道互聯網的內容近幾年正大規模從圖文向視頻遷徙，在視頻時代，淘寶的業務也呈現出了更加豐富多彩的形態，淘寶在電商大場景下也做了不少業務的嘗試，包括淘寶直播、點淘、還有逛逛等，相應的淘系技術范疇也隨著這些業務做了很多拓展。借此機會，我們將首先和大家談談淘系內容電商的發展歷史、視頻內容方面的技術布局、當下面臨的一些技術挑戰、取得的一些技術創新和成就。

首先，得益于淘系技術和LiveVideoStack組委會的盛情安排，使得我和在座各位有了溝通的機會，非常感謝。我會首先做一個簡單的自我介紹和業務介紹，之后簡單交代淘系內容的業務以及相關技術、尤其是音視頻技術的發展歷史。在這段發展歷程中，我們也圍繞著音視頻技術的主要趨勢做了很多技術方面的布局，也和大家一樣面臨著不少技術挑戰和問題，在解決這些問題時也取得了一定的成績。最后我想和大家討論音視頻技術未來的發展趨勢。

------

?#1.個人簡介與淘系技術內容業務介紹?

因為是第一次在LiveVideoStack這樣使用中文的場合和大家進行溝通，我想先和大家做個簡單的自我介紹。

我本人在北京大學求學，先后獲得學士和碩士學位，大四開始進入實驗室做圖像與視覺方面的研究，之后在芬蘭的坦佩雷理工大學獲得博士學位。

我職業生涯的早期陸續在Thomson多媒體和Nokia （芬蘭的NRC）就職，從事視頻標準和應用相關的工作。

2009年，我加入美國高通，在將近十年的工作中，主要做了兩件事情。第一，幫助高通公司成為在視頻編碼壓縮的算法，包括標準化方面的世界頂尖公司；第二，我做了一套計算機視覺端上算法，幫助高通公司開辟了芯片在IOT領域的新賽道。

可能進入音視頻技術行業比較早的人可能也知道我在視頻標準方面也做了一些還算顯著的工作，我就不贅述了。

在加入阿里巴巴之后，我先后從事過計算機視覺和IOT相關的業務，去年加入了淘系，負責淘系技術音視頻相關的算法。

在此我也將代表團隊和大家分享一下我們淘系技術內容平臺團隊的工作。

個人來講，我在視頻編碼、視覺和圖像處理方面發表了一系列的論文、專利，以及標準技術提案，相關的著作獲得過萬次的引用。

不少相關研究成果也被總結成為發明專利，目前，美國專利局USPTO在冊的我本人已授權發明專利超過260項。

可以看到，我的職業生涯主要在做視頻和視覺相關的工作，尤其是視頻編碼與處理。

現在我在淘系技術負責的是和音視頻相關的業務，主要是淘寶直播，點淘和逛逛。

對于淘寶直播，大家都不陌生。淘寶直播簡單來說就是把大家開店賣貨這樣一個實時的可交互的商業行為搬到了線上。經過幾年的努力，我們將淘寶直播打造成了行業領先的專業消費類直播平臺，而且建立了圍繞商家、機構、主播和直播基地的生態系統。

大家可以看到淘寶直播是在整個淘寶大的APP里面的，本身得到淘寶APP的加持，但也有一定的限制。因此我們從淘寶直播系統里衍生出了新的獨立的APP「點淘」，它既包含所有淘寶直播的內容，也包含短視頻的內容。

因此它有超出淘寶直播之外的特點：首先它依然是一個高互動的直播間；其次不同的是，我們會有更好的沉浸的種草視頻流；另外我們會把購物路徑做得很簡單，并且可以很方便地看到商品，尤其是新品的趨勢。所以說這是一個既包含短視頻又包含淘寶直播內容的獨立APP。

另外淘系也上線了新業務「逛逛」，可以將短視頻的內容，種草的心智放到了淘寶的主APP里面，現在是我們主頁面的第二個Tab。逛逛里面既有圖文的內容，也有短視頻的內容，并且短視頻的內容正在高速地增長。

為支持上述業務，包括淘寶直播、點淘、逛逛，我們在音視頻的整個鏈路都有自己的技術架構和能力建設。既包括內容的感知、內容的編輯合成、內容的處理、內容的分發，以及內容的呈現，背后也有我們的一套內容風控。

單就視頻而言，視頻的拍攝、編解碼、窄帶高清處理、播放器、視頻傳輸都是我們發力的重點。比如在視頻處理方面，我們有自研的編碼器以及窄帶高清視頻增強算法來更好地降低帶寬、提升畫質。在拍攝成像方面，我們有自己的淘拍APP和親拍SDK，幫助我們做視頻拍攝之后的剪輯，還有一些實時的互動玩法。我們也有一套自己的3D視覺技術來做更好的互動，還可以幫我們打造3D的直播間。在視頻傳輸方面，我們建立了業界首張全鏈路基于RTC的CDN網絡。這些技術域不僅支持上面提到的淘寶直播，點淘和逛逛，也支持所有淘系和電商的相關業務，比如淘寶特價版和1688，還支持集團一些其它需要用到音視頻技術的業務，比如釘釘的視頻會議等場景。

------

?#2.淘系內容業務發展史?

淘系音視頻技術是伴隨著淘系內容業務的發展才慢慢建立起來的。

大家可以大概了解一下，淘寶直播在2016年誕生，隨著業務的快速發展，到達了每年數千億的GMV。之后我們又孵化出了點淘和逛逛這樣的視頻內容強相關的產品。

伴隨著業務的投入，我們也感受到了發展音視頻技術的緊迫性，因此也在持續增加投入。我們陸續有了自研的視頻編碼器，上線了AI互動玩法，通過對內容的理解上線了直播看點。同時在淘拍和親拍方面我們也上線了視頻編輯的產品。另外，阿里自研的實時傳輸網絡（GRTN），使得在整個網絡體驗方面，包括卡頓、延時等方面做到更好的效果。

我們認為基于視頻的服務可以增強購物體驗。比如可以讓寶貝詳情更真實、可信。視頻內容也可以增加用戶的停留時長。所以我們可以看到，無論是在帶寬、還是停留時長方面，視頻在所有的內容中占比逐年增加。可以說，整個淘系內容正在加速邁入視頻時代的進程中。

------

?#3.音視頻技術趨勢以及淘系技術相關布局?

那么，要迎接這樣的視頻時代，我們首先要理解音視頻技術的趨勢，在此基礎上才能更好地做自己的技術布局，去支持好我們的業務。

當前，視頻的制做和分享正在大規模地從傳統的廣電行業向互聯網,、OTT遷徙。中國和美國都有大量的用戶通過OTT設備看劇，其中中國有超過6億人通過OTT設備看劇，也有很多人日常刷直播和短視頻。

同時，我們面臨一個重要的問題，就是我們希望所看到的視頻內容能夠像傳統視頻一樣都是廣播級的，有高質量和低延時，但視頻源隨著UGC內容的增多質量往往是參差不齊的。現在視頻內容制作的門檻非常低、非常平民化，這也導致了視頻內容開始爆炸性增長，在中國用戶日均觀看互聯網視頻的時長達到了250多分鐘。近三年，全球每月視頻類流量增長近三倍。

這些流量主要集中在我們常說的短視頻、點播、直播這些領域，淘系技術的一個重要任務就是讓我們平臺上的這些短視頻，直播視頻內容都變成高質量的，并且追求整個過程的低成本，最終普惠類似影院級的視頻體驗。

要普惠影院級的視頻服務，我們要持續性地解決三個問題??：?

???

1. 如何應對低質量的視頻源，比如不少互聯網上拍攝、分享的視頻分辨率還很低。

2. 影視作品制作成本極高，而互聯網視頻可通過手機拍攝，制作成本幾乎為零。后期比如UGC 視頻的質量提升，實際上是把制作的成本部分轉移到了處理算法。因此成本是非常高的，想要做到普惠，就必須要把成本降下來。?

?

3. 電視廣播一般帶寬很高，甚至可以達到百兆級別。然而，當前很多用戶還是處于弱網環境下觀看視頻，帶寬非常低。

?????

要解決這些問題，實現高清晰度、低成本和低帶寬，需要一系列的算法，其中包括視頻編碼和窄帶高清視頻處理等等。

我們觀察發現，最近一兩年，出現了幾個很明顯的視頻應用新趨勢，和傳統的持續需求是不太一樣的，包括：

1.同步觀看視頻的需求。比如實時教育活動、在線搶購秒殺、多主播互動等，同步觀看的需求越來越多。

2.視頻和電商的關系越來越密切。比如直播帶貨以及短視頻電商，預期2021年電商視頻的市場有可能超過千億美金。

3.低延時的需求也越來越強。因為我們需要有實時互動、實時連麥等應用的需求。低延時背后無論是傳輸、通信、編碼還是處理方面都一直存在技術的更新換代。這些技術的發展使得更低延時成為可能。

4.AI被廣泛應用。除了基于內容的理解、搜推之外，還有如用戶希望商品出現之后能立刻檢測并播報這個商品。此外，我們也會做基于內容的感知編碼。

我們既需要面對之前提到的高清晰、低計算成本和低帶寬這種持續的需求，同時又有更多新的趨勢需要跟進。這中間有不少的新機會，我們都要去抓。但是抓住機會的同時也相應帶來了不少的困難和挑戰。

淘系技術已經圍繞這些困難和挑戰做了不少的工作。

------

#4.主要的技術挑戰和困難?

接下來分享一下音視頻主要的技術挑戰在哪里。

我認為總結出來一下六點：

1.網絡傳輸方面。

2.UGC內容方面，就是如何把內容做好。

3.整體視頻服務的體驗如何，QoE到底是如何的。

4.視頻呈現維度方面，有深度和廣度方面的要求。

5.我們所面對的是一個非常復雜的環境，包括網絡環境以及設備環境等。

6.實時計算。

實時計算可以先展開講一下，比如在做淘寶直播時，我們需要端上的很多計算，要做實時的編碼，以及實時視頻處理。同時我們做內容理解時也經常需要端和云的互動，在端上意味著實時的需求。包括我們會做人臉的美顏瘦臉，以及手勢互動，這些都是需要實時的。淘系低延時直播可以做到一秒以內，這和我們整個鏈路中所有相關計算的實時化是密不可分的。

幾大挑戰里面我認為第一個依然是網絡傳輸方面的。比如觀看網絡直播的用戶越來越多，對網絡資源的消耗越來越大等等。但是，相當一部分用戶還是處于比較差的弱網環境，同時很多人是通過移動設備接入的，移動設備之間又存在電子干擾，所以網絡延時、卡頓和丟包都一直在發生。同時，一些局域網的用戶下行帶寬是有限制的，一些設備的算力也是有限的，這些限制條件和問題都會使得整個視頻方面的體驗變差。

為解決這一系列的問題，我們需要更好的網絡傳輸。因此阿里一直在打造下一代傳輸網絡GRTN。它本身是一張很強的網絡，圍繞著它我們也做了端到端的優化，使得整體體驗能夠提升。

前面提到，無論是UGC的視頻，還是很多直播的視頻，他們的質量是參差不齊的。比如我們做村播的時候，在農村的這些主播，他的水果或蔬菜給人看到的是不夠清晰的。所以我們需要去把這項內容做得更好，我們既需要去降低帶寬又需要同步去提升他的畫質。我們主要是通過把視頻處理，包括視頻編碼聯合做好，來達到這樣的效果。

這里主要是三個關鍵點：普適、普惠和高清。普適指的是要兼容各種各樣的視頻源，可能兼容的視頻標準不同，視頻的分辨率不同。而在直播的情況下，我們要去兼容各種不同的攝像頭。普惠指的是讓云端的處理成本盡量地降低。同時，如果是直播場景，要盡量做到實時。最后，我們的目的還是做到高清，也就是我們希望有接近專業級的視頻編碼、處理效果。

這里介紹一個案例。左邊是一開始的情況，我們目的是希望降低碼率的同時能更好得展示商品。可以看到右邊展示的是提升之后的效果，碼率節省了約10%，同時商品（玉石）的質地被更加精準地展示了出來。這背后除了拍攝環境要做好之外，還有一系列的技術因素，比如ISP要控制好，要做很好的調校，同時要做視頻處理，包括增強的算法。另外，商品展示的部分要做更好的色彩還原，這一部分最終可能要用到HDR（高動態范圍）和WCG（寬色域）。最后我們也需要做好編解碼，使得在畫質很高的情況下帶寬不至于控制不住。

這是一個視頻編碼與處理的全鏈路示意圖。整個鏈路中，首先我們是要追求畫質提升的，因此如何定義質量的提升很重要。定義好提升之后要去具體實現，實現完之后要鞏固提升。從定義質量提升本質上來說，我們需要一個比較好的對主觀體驗的客觀建模。其實，我們慢慢發現PSNR和SSIM是不夠的。即便是VMAF，很多時候也不能滿足我們的應用需要，因為很多時候評價本身還是無參的。有了一套質量體系之后，我們要做圖像提升本身。這個過程我們可以認為是低質量視頻到高質量視頻的一個變換函數，我們會用深度學習的方法，它有很強的學習能力，可以發揮大數據的優勢。但是由于它是一個逐像素的low level視覺任務,復雜度是非常高的，且和像素數目成正比。為了實現普惠，我們希望做極低復雜度的深度學習，放在整個視頻處理里面，使得它能夠比較高效低成本地完成任務，同時盡可能達到實時，可以在直播中應用。

最后，高質量的視頻需要編碼才能在互聯網上觸達億萬用戶，這個過程必然是有損的，所以這個損失要和前面的處理協作好，要鞏固提升，不能因為編碼把圖像提升的效果給抹掉。

處理業務時遇到的問題，推動著我們演進相關的解決方案。首先要解決的就是傳統視頻應用中主流的壓縮失真問題，就是將編碼做得比較好，這樣看起來也比較流暢，同時也盡量接近高清。但是慢慢發現，隨著主流內容從PGC向UGC的過度，我們發現攝像頭效果不可控，大家拍攝的方式、技巧，以及拍攝環境也不可控，圖像失真慢慢變成了成像方面的失真，所以需要我們盡量修復成像方面的失真，使之達到專業制作的效果。

從演進的過程中我們不難發現，用戶的喜好依據不同場景也有所不同，比如拍攝人物和商品是不一樣的，要根據不同的場景去做自適應的方法。不同的場景對好的視頻的定義是不一樣的，所以要做到、要精彩、要對味。我們遵循這樣的演進路線有了自己的視頻編解碼器，以及針對不同場景的不同處理方法。

另外我們業務中面臨的一個挑戰就是QoE （Quality of Experience）評價體系。我們內部會先定義統一指標，無論它是不是最好的，然后再在業務中埋點，之后業務全覆蓋，進行AB測試。有了一個算法之后放上去看整個評價體系給出的量化結果和預期的結果是不是比較吻合的，如果他們之間有gap，我們就去看哪里有gap，然后再去升級我們的評價體系。

我們這套體系是貫穿于短視頻體驗和直播體驗中的，整個體系需要做很多平衡，比如成本和體驗，畫質與帶寬的平衡。而在體驗里面，又要平衡延時與卡頓，延時與編碼效率等等。這里面很重要的一點是我們發現要做大規模的業務埋點必須要有客觀的畫質評價，因為主觀可能只在平時做仿真時用得到，大規模數據出來之后必須要做客觀的評價。很多情況下它還是一個無參考的評價，所以這些都是挑戰。

另外，還需要有低質量視頻檢出的能力，配合運營降低低質量視頻的VV占比。

提到QoE評價體系，很重要一點其實是畫質。我們會發現，之前PSNR/SSIM盡量把誤差做得比較小，逼近原始，而VMAF更加靠近感知。其實之前也說了，不同場景不一樣也要做到精彩對味實際上是要更加接近我們的認知的。很多場景下面我們要大量地用無參考的評價，這種情況下要處理多元化的失真，甚至要考慮美學與視覺的結合。按照這樣的方向，我們也建立了初步的質量評價體系，也會根據業務的需要持續迭代升級我們的畫質評測標準。質量評價體系這塊我們也在加大投入，希望能做得更好。

?

最后是體驗維度。比如說前面的窄帶高清，在不提升視頻的分辨率、幀率的情況下去做窄帶高清、色彩增強、細節增強等等。這點我們要做好。但慢慢的，我們也希望在一些視頻呈現的維度能做得更好，比如會做超分辨率、超幀率。但我認為更好的提升應該是視頻源頭本身要做的，所以我們自身也在做高分辨率、高幀率，包括我們在做1080p以及4k的直播間，幀率也慢慢從25、30幀每秒提高到了50、60幀每秒。同時，我們也發現在商品的展示方面，用戶喜歡商品色彩更鮮亮更加真實還原。這其中就涉及到HDR高動態范圍，包括寬色域——可以把商品的色彩真實展現出來。此外，美顏瘦臉在直播里也是一個剛需，我們也在做自己的虛擬主編和3D直播間，這背后就有MR和XR這樣的技術。包括做3D視頻，用多視角的視頻，以及全景360度視頻展示家裝。有了這些之后其實還可以做一些視頻的特效和剪輯。在視頻的呈現維度上，一是要做得更廣，二是在單一維度上做得更強更深，這對帶寬本身的成本和技術都提出了很多需求。

最后我想講一下多樣化的環境。我們是一個很大的APP，里面有很多業務。我們面臨的網絡環境有時會非常差，丟包很嚴重，帶寬也很低，所以我們需要很好地適配當前網絡，做帶寬自適應，做碼率控制等等。我們很多主播可能會用非常差的pc端去開播，也可能會隨便拿一個手機去開播，我們對手機型號沒有特別嚴格的限制，所以我們要去適配各種設備。

從內容角度來講，包括聲音場景和視覺場景，其實也要做很多場景自適應的算法。比如音樂場景，主播在賣一些音樂器材和音響設備。不針對場景進行優化的話，我們嘗試聽一下聲音，可以發現一些音樂的呈現是不太清楚的，針對場景進行優化之后對音樂的表達就會更加清楚。

視頻場景也是一樣的，我們有很多跟電商非常相關的場景，包括服飾場景、珠寶場景、美妝場景。就服飾場景而言，我們可以看到左邊是優化之前的，右邊是優化之后的，圖片對比可能不是特別清晰，但通過這種場景去做優化，我們可以讓衣服材質更加的自然、鮮亮。

------

#5.?淘系音視頻領域若干技術進展?

我們圍繞這些挑戰做了很多技術沉淀，也有不少亮點。由于時間關系我就簡單講兩點。這兩點是比較有價值的技術，一個是視頻編碼端到端的鏈路，另外一個是全球實時傳輸網絡。

我們可以看一下這個圖，這是我們圍繞著現有的標準在做在實現的。大家可以看到我們整個編解碼的內核，H.265是做得比較多的，同時也在做H.266、VVC相關的內容。高層的語法框架這一塊會做分級B幀，會做長期參考幀，會做Adaptive GOP Size ，同時這些底層工具也會針對SAO，de-blocking等做一些優化。同樣的，工程框架這一塊會做SIMD，做并行計算。

在碼控這塊，做編碼器也非常重要，比如做look ahead， CU Tree，我們也能拿到很多提升。再往上一點，我們會做基于內容的Content Aware Encoding，包括針對內容和場景做自適應編碼，會做ROI，以及做JND這樣的模型。外層有一個和傳輸、應用相適配的應用視頻引擎，它可以去做模板的適配，去適配不同的規格，比如分辨率，另外也會和網絡環境配合，做容錯編碼。

從算法角度來講，編碼器也和視頻處理的電路配合得比較好。

我們從H.265這個編碼器來講呢，其實單點效果也是不錯的。內部有一個我們叫做S265的編碼器，參加了去年MSU編碼器比賽，PSNR的一個檔位上獲得了第一名的成績。技術上來講它比x265在編碼效率上提升了很多，差不多35%。這個編碼器用于很多業務，不光是淘系業務，同時也是很多集團相關的業務，比如說淘寶直播肯定在用這樣的編碼器，點播里不論是長視頻還是短視頻也在用。短視頻包括逛逛，商品詳情頁的業務，長視頻包括優酷也在調用我們的編碼器，當然這款編碼器可能也會做一些其它場景所需要的改造。在釘釘會議，在RTC這樣的場景，S265也是可以被大家所使用的。我們在集團內部做了比較好的輸出，同時我們也在布局下一代的編解碼器，比如H.266/VVC的編解碼器，現在已經可以開始在一般的手機上做到實時解碼了。同時我們也希望編碼器能慢慢做起來，可能開始它的編碼效率不能完全體現，但希望過兩三年后能逼近H.266在理想情況下的編碼效率。

另外我想和大家分享就是阿里全球實時傳輸網絡Global real-time transport network。這張網絡是阿里集團共建的，很值得一提的，首先它是全鏈路基于RTC的CDN網絡，和傳統網絡最大的不同是它可以做去中心化的組網。因為它背后有這樣的flexibility，可以做更多的動態路徑規劃。比如說可以針對丟包率、延時、帶寬等等方面的因素根據業務方面的需要去調整不同路徑規劃的策略。同時，因為這張網絡在應用層是由我們自己掌控的，所以可以很好地做智能控制，大主播可以有不同的策略，包括做削峰填谷等等。它整體的核心思想就是我們根據業務需要分配和調度資源，一旦資源固定，我們會為您提供最好的QoE視頻服務體驗。

我們知道RTC里有擁塞控制，其實是在整個網絡的第一跳——就是主播進CDN網，和最后一跳——觀看的人從CDN網下去看視頻，在這兩端去做擁塞控制。和WebRTC里不同的是，我們做了自研的參數自學習的算法，能夠更好、更精準及時地去預測實時變化的帶寬，去做到更低的延時和更少的丟包，整個體驗可以得到大幅的提升。這張網絡我們已經在用了，在今年年初會在淘寶直播業務中全量。

------

#6.未來技術發展趨勢?

最后我還想講講未來技術發展趨勢。

其實我個人做了一個簡單的總結，我認為就是三點：

1.無論你做多fancy的技術，基礎音視頻體驗是要做極致打磨的。

2.大家都會去追求新的視頻體驗維度，如果你抓住了這個新的體驗維度，可能就會催生成一個大的APP，這一塊我們也會去看，但誰能抓得準就要看多方面的因素了。

3.視頻智能化也是一個很大的趨勢，這塊大家也都是在發力的。

基礎體驗是比較確定的，在我看來可以分成三大塊。在傳輸、編碼、處理這三大核心功能模塊里面要做到最好。我們其實是要追求每個模塊各自的代差的，每個塊都可以做極致的優化。從視頻的表征上來講，我們要不停地升級，因為用戶有日益增長的視頻體驗需求，他可以今天要1080p明天要4K甚至8K，包括更高的幀率，寬色域HDR也都是要去追求的。這里面有一個看似較小但是比較關鍵的問題：比如你如何去判斷同樣場景720p60幀和1080p30幀哪個視頻更好？這是如何去做跨尺度的質量評價的課題，因為這樣我們才知道如何配置我們輸入的視頻源，達到最好的效果a。

很重要的一點——前面我也提到了——視頻可以用在很多場景，可以用在RTC、視頻會議、長視頻等等，長視頻很多是非實時的場景，而我們淘寶直播室是實時的。即便是直播，你還有秀場，有直播帶貨，而直播帶貨有室內的、有3D直播間等等。因為場景不同，針對業務場景必須要做定制化和優化。另外就是跨模塊的聯合優化，編解碼和處理怎么做聯合優化，我后面會給一個例子。

從新的體驗維度上來講，這里很多東西我們都嘗試過，VR、 360度的視頻、家裝360度視頻場景，包括AR 、MR我們都把它們引入直播間做過嘗試，當然還有虛擬主播，要用到一些內容合成，以后可能會用到全息等等。隨著5G的慢慢普及，很多應用可能就會起飛，但這塊我們是在探索的狀態，我們現在不是很明確哪一塊一定是會大范圍去投入的。

最后是視頻的智能化，最主要的就是兩點：

1.基于音視頻內容的搜索推薦，不管視頻內容還是音頻內容都要做很好的理解，做更好的搜索推薦。

2.多模態的標簽融合非常重要。在做短視頻配樂時，我們有蝦米這樣一個曲庫，那如何把音樂配上去，就是它們之間的標簽如何相互理解，怎么匹配是最好的，這就涉及到一個多模態的標簽融合問題。這一塊做好了對拉通音視頻最大的模塊還是有關系的，甚至還有文本。

舉一個例子來說視頻處理的未來趨勢是什么樣的。這個圖比較簡單，就是一個視頻的整體鏈路，可以做云上的計算，可以做云/邊/端的結合和聯動。技術上有窄帶高清視頻處理，有核心編碼引擎去做符合H.265、H.266標準的編碼器，背后我們也會做智能編碼。甚至端上有一些比較好的機型，可以做端上的智能后處理——整個做下來是一個端到端的鏈路。

以下是我對未來趨勢的判斷，以往比如說我們的標準H.264、AVC、H.265、HEVC、H.266、VVC都已經基本定義好了視頻服務的質量和帶寬權衡的上限。但是在所需要處理的場景里面，可以通過窄帶高清和智能編碼的技術突破代際的限制。

首先，我們有自研的H.265編碼器，因為要考慮成本因素，它會比H.265理想的編碼效率低一些。

但我們可以去做窄帶高清視頻處理、做智能編碼，使得它能提高編碼效率。做窄帶高清后能提升25%左右，再做智能編碼則又提高了15%左右。我們做了一些并沒有完全做到，但我們認為完全可以做到的、更好的處理、更好的智能化的東西，可以去提升一個代差。

同時我們也在做H.266編碼器，預計兩三年的時間，可以將這個自研的編碼器做到發揮差不多標準潛力的一個程度，這本身又能領先一個代際。如果和之前的一些技術聯合起來，我們還有兩代的代差可以往前迭代，淘系技術，包括視頻編碼這一塊的同學就會朝著這個方向努力。這是我對未來趨勢預測的一個例子。

我的分享到此結束，謝謝大家。

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的淘系音视频技术的演进之路的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。