隨著社會(huì)的發(fā)展，音視頻技術(shù)在電商運(yùn)營(yíng)中占據(jù)的位置越來(lái)越重要。不僅時(shí)代在進(jìn)步，音視頻技術(shù)也在前進(jìn)。本次LiveVideoStackCon 2021 上海站中，我們邀請(qǐng)到了淘系技術(shù)的陳穎老師為我們分享淘系內(nèi)容電商技術(shù)的過(guò)去、現(xiàn)在及其未來(lái)展望。

文 / 陳穎

整理 / LiveVideoStack

大家好，我是來(lái)自阿里巴巴淘系技術(shù)的陳穎，花名昆虛。歡迎來(lái)到LiveVideoStackCon 2021 上海站的淘系技術(shù)專(zhuān)場(chǎng)。歡迎來(lái)到“邁向視頻內(nèi)容時(shí)代的淘系技術(shù)”專(zhuān)場(chǎng)。

大家知道，2016年被稱(chēng)為直播元年，我們淘寶直播也是在2016年開(kāi)始了自己的業(yè)務(wù)。經(jīng)過(guò)五年的發(fā)展，可以不太謙虛地講，我們依然是電商直播類(lèi)的執(zhí)牛耳者。那么淘系內(nèi)容是如何邁向視頻時(shí)代的呢？我們的淘寶直播背后又有什么樣的技術(shù)？除了淘寶直播之外，我們還有什么音視頻技術(shù)相關(guān)的業(yè)務(wù)呢？我想大家或多或少都有一定的疑問(wèn)。那么今天包括我在內(nèi)的四位來(lái)自淘系技術(shù)的嘉賓，會(huì)就這些問(wèn)題和大家展開(kāi)探討。

我們將主要在四個(gè)方面展開(kāi)：首先我們會(huì)講講淘系內(nèi)容電商技術(shù)的過(guò)去，現(xiàn)在和未來(lái)；接下來(lái)我們會(huì)在三個(gè)核心技術(shù)領(lǐng)域，包括音視頻的編碼與處理、網(wǎng)絡(luò)傳輸和視頻理解，我們都會(huì)進(jìn)行一些更技術(shù)細(xì)節(jié)的展開(kāi)，以便和大家進(jìn)行更加具體的討論。作為這個(gè)專(zhuān)場(chǎng)的主持人，首先，我要簡(jiǎn)單介紹一下我們這幾位嘉賓。第一位就是我本人，我是阿里巴巴淘系技術(shù)的研究員陳穎。第二位是淘系技術(shù)的高級(jí)算法專(zhuān)家王立波，花名莊恕。第三位是淘系技術(shù)的資深算法專(zhuān)家李曉波，花名籬悠。第四位是淘系技術(shù)資深技術(shù)專(zhuān)家陳舉鋒，花名豐火。

我們馬上進(jìn)入第一個(gè)Talk——《淘系內(nèi)容電商技術(shù)的過(guò)去、現(xiàn)在和未來(lái)》。我們知道互聯(lián)網(wǎng)的內(nèi)容近幾年正大規(guī)模從圖文向視頻遷徙，在視頻時(shí)代，淘寶的業(yè)務(wù)也呈現(xiàn)出了更加豐富多彩的形態(tài)，淘寶在電商大場(chǎng)景下也做了不少業(yè)務(wù)的嘗試，包括淘寶直播、點(diǎn)淘、還有逛逛等，相應(yīng)的淘系技術(shù)范疇也隨著這些業(yè)務(wù)做了很多拓展。借此機(jī)會(huì)，我們將首先和大家談?wù)勌韵祪?nèi)容電商的發(fā)展歷史、視頻內(nèi)容方面的技術(shù)布局、當(dāng)下面臨的一些技術(shù)挑戰(zhàn)、取得的一些技術(shù)創(chuàng)新和成就。

首先，得益于淘系技術(shù)和LiveVideoStack組委會(huì)的盛情安排，使得我和在座各位有了溝通的機(jī)會(huì)，非常感謝。我會(huì)首先做一個(gè)簡(jiǎn)單的自我介紹和業(yè)務(wù)介紹，之后簡(jiǎn)單交代淘系內(nèi)容的業(yè)務(wù)以及相關(guān)技術(shù)、尤其是音視頻技術(shù)的發(fā)展歷史。在這段發(fā)展歷程中，我們也圍繞著音視頻技術(shù)的主要趨勢(shì)做了很多技術(shù)方面的布局，也和大家一樣面臨著不少技術(shù)挑戰(zhàn)和問(wèn)題，在解決這些問(wèn)題時(shí)也取得了一定的成績(jī)。最后我想和大家討論音視頻技術(shù)未來(lái)的發(fā)展趨勢(shì)。

------

?#1.個(gè)人簡(jiǎn)介與淘系技術(shù)內(nèi)容業(yè)務(wù)介紹?

因?yàn)槭堑谝淮卧贚iveVideoStack這樣使用中文的場(chǎng)合和大家進(jìn)行溝通，我想先和大家做個(gè)簡(jiǎn)單的自我介紹。

我本人在北京大學(xué)求學(xué)，先后獲得學(xué)士和碩士學(xué)位，大四開(kāi)始進(jìn)入實(shí)驗(yàn)室做圖像與視覺(jué)方面的研究，之后在芬蘭的坦佩雷理工大學(xué)獲得博士學(xué)位。

我職業(yè)生涯的早期陸續(xù)在Thomson多媒體和Nokia （芬蘭的NRC）就職，從事視頻標(biāo)準(zhǔn)和應(yīng)用相關(guān)的工作。

2009年，我加入美國(guó)高通，在將近十年的工作中，主要做了兩件事情。第一，幫助高通公司成為在視頻編碼壓縮的算法，包括標(biāo)準(zhǔn)化方面的世界頂尖公司；第二，我做了一套計(jì)算機(jī)視覺(jué)端上算法，幫助高通公司開(kāi)辟了芯片在IOT領(lǐng)域的新賽道。

可能進(jìn)入音視頻技術(shù)行業(yè)比較早的人可能也知道我在視頻標(biāo)準(zhǔn)方面也做了一些還算顯著的工作，我就不贅述了。

在加入阿里巴巴之后，我先后從事過(guò)計(jì)算機(jī)視覺(jué)和IOT相關(guān)的業(yè)務(wù)，去年加入了淘系，負(fù)責(zé)淘系技術(shù)音視頻相關(guān)的算法。

在此我也將代表團(tuán)隊(duì)和大家分享一下我們淘系技術(shù)內(nèi)容平臺(tái)團(tuán)隊(duì)的工作。

個(gè)人來(lái)講，我在視頻編碼、視覺(jué)和圖像處理方面發(fā)表了一系列的論文、專(zhuān)利，以及標(biāo)準(zhǔn)技術(shù)提案，相關(guān)的著作獲得過(guò)萬(wàn)次的引用。

不少相關(guān)研究成果也被總結(jié)成為發(fā)明專(zhuān)利，目前，美國(guó)專(zhuān)利局USPTO在冊(cè)的我本人已授權(quán)發(fā)明專(zhuān)利超過(guò)260項(xiàng)。

可以看到，我的職業(yè)生涯主要在做視頻和視覺(jué)相關(guān)的工作，尤其是視頻編碼與處理。

現(xiàn)在我在淘系技術(shù)負(fù)責(zé)的是和音視頻相關(guān)的業(yè)務(wù)，主要是淘寶直播，點(diǎn)淘和逛逛。

對(duì)于淘寶直播，大家都不陌生。淘寶直播簡(jiǎn)單來(lái)說(shuō)就是把大家開(kāi)店賣(mài)貨這樣一個(gè)實(shí)時(shí)的可交互的商業(yè)行為搬到了線上。經(jīng)過(guò)幾年的努力，我們將淘寶直播打造成了行業(yè)領(lǐng)先的專(zhuān)業(yè)消費(fèi)類(lèi)直播平臺(tái)，而且建立了圍繞商家、機(jī)構(gòu)、主播和直播基地的生態(tài)系統(tǒng)。

大家可以看到淘寶直播是在整個(gè)淘寶大的APP里面的，本身得到淘寶APP的加持，但也有一定的限制。因此我們從淘寶直播系統(tǒng)里衍生出了新的獨(dú)立的APP「點(diǎn)淘」，它既包含所有淘寶直播的內(nèi)容，也包含短視頻的內(nèi)容。

因此它有超出淘寶直播之外的特點(diǎn)：首先它依然是一個(gè)高互動(dòng)的直播間；其次不同的是，我們會(huì)有更好的沉浸的種草視頻流；另外我們會(huì)把購(gòu)物路徑做得很簡(jiǎn)單，并且可以很方便地看到商品，尤其是新品的趨勢(shì)。所以說(shuō)這是一個(gè)既包含短視頻又包含淘寶直播內(nèi)容的獨(dú)立APP。

另外淘系也上線了新業(yè)務(wù)「逛逛」，可以將短視頻的內(nèi)容，種草的心智放到了淘寶的主APP里面，現(xiàn)在是我們主頁(yè)面的第二個(gè)Tab。逛逛里面既有圖文的內(nèi)容，也有短視頻的內(nèi)容，并且短視頻的內(nèi)容正在高速地增長(zhǎng)。

為支持上述業(yè)務(wù)，包括淘寶直播、點(diǎn)淘、逛逛，我們?cè)谝粢曨l的整個(gè)鏈路都有自己的技術(shù)架構(gòu)和能力建設(shè)。既包括內(nèi)容的感知、內(nèi)容的編輯合成、內(nèi)容的處理、內(nèi)容的分發(fā)，以及內(nèi)容的呈現(xiàn)，背后也有我們的一套內(nèi)容風(fēng)控。

單就視頻而言，視頻的拍攝、編解碼、窄帶高清處理、播放器、視頻傳輸都是我們發(fā)力的重點(diǎn)。比如在視頻處理方面，我們有自研的編碼器以及窄帶高清視頻增強(qiáng)算法來(lái)更好地降低帶寬、提升畫(huà)質(zhì)。在拍攝成像方面，我們有自己的淘拍APP和親拍SDK，幫助我們做視頻拍攝之后的剪輯，還有一些實(shí)時(shí)的互動(dòng)玩法。我們也有一套自己的3D視覺(jué)技術(shù)來(lái)做更好的互動(dòng)，還可以幫我們打造3D的直播間。在視頻傳輸方面，我們建立了業(yè)界首張全鏈路基于RTC的CDN網(wǎng)絡(luò)。這些技術(shù)域不僅支持上面提到的淘寶直播，點(diǎn)淘和逛逛，也支持所有淘系和電商的相關(guān)業(yè)務(wù)，比如淘寶特價(jià)版和1688，還支持集團(tuán)一些其它需要用到音視頻技術(shù)的業(yè)務(wù)，比如釘釘?shù)囊曨l會(huì)議等場(chǎng)景。

------

?#2.淘系內(nèi)容業(yè)務(wù)發(fā)展史?

淘系音視頻技術(shù)是伴隨著淘系內(nèi)容業(yè)務(wù)的發(fā)展才慢慢建立起來(lái)的。

大家可以大概了解一下，淘寶直播在2016年誕生，隨著業(yè)務(wù)的快速發(fā)展，到達(dá)了每年數(shù)千億的GMV。之后我們又孵化出了點(diǎn)淘和逛逛這樣的視頻內(nèi)容強(qiáng)相關(guān)的產(chǎn)品。

伴隨著業(yè)務(wù)的投入，我們也感受到了發(fā)展音視頻技術(shù)的緊迫性，因此也在持續(xù)增加投入。我們陸續(xù)有了自研的視頻編碼器，上線了AI互動(dòng)玩法，通過(guò)對(duì)內(nèi)容的理解上線了直播看點(diǎn)。同時(shí)在淘拍和親拍方面我們也上線了視頻編輯的產(chǎn)品。另外，阿里自研的實(shí)時(shí)傳輸網(wǎng)絡(luò)（GRTN），使得在整個(gè)網(wǎng)絡(luò)體驗(yàn)方面，包括卡頓、延時(shí)等方面做到更好的效果。

我們認(rèn)為基于視頻的服務(wù)可以增強(qiáng)購(gòu)物體驗(yàn)。比如可以讓寶貝詳情更真實(shí)、可信。視頻內(nèi)容也可以增加用戶(hù)的停留時(shí)長(zhǎng)。所以我們可以看到，無(wú)論是在帶寬、還是停留時(shí)長(zhǎng)方面，視頻在所有的內(nèi)容中占比逐年增加。可以說(shuō)，整個(gè)淘系內(nèi)容正在加速邁入視頻時(shí)代的進(jìn)程中。

------

?#3.音視頻技術(shù)趨勢(shì)以及淘系技術(shù)相關(guān)布局?

那么，要迎接這樣的視頻時(shí)代，我們首先要理解音視頻技術(shù)的趨勢(shì)，在此基礎(chǔ)上才能更好地做自己的技術(shù)布局，去支持好我們的業(yè)務(wù)。

當(dāng)前，視頻的制做和分享正在大規(guī)模地從傳統(tǒng)的廣電行業(yè)向互聯(lián)網(wǎng),、OTT遷徙。中國(guó)和美國(guó)都有大量的用戶(hù)通過(guò)OTT設(shè)備看劇，其中中國(guó)有超過(guò)6億人通過(guò)OTT設(shè)備看劇，也有很多人日常刷直播和短視頻。

同時(shí)，我們面臨一個(gè)重要的問(wèn)題，就是我們希望所看到的視頻內(nèi)容能夠像傳統(tǒng)視頻一樣都是廣播級(jí)的，有高質(zhì)量和低延時(shí)，但視頻源隨著UGC內(nèi)容的增多質(zhì)量往往是參差不齊的。現(xiàn)在視頻內(nèi)容制作的門(mén)檻非常低、非常平民化，這也導(dǎo)致了視頻內(nèi)容開(kāi)始爆炸性增長(zhǎng)，在中國(guó)用戶(hù)日均觀看互聯(lián)網(wǎng)視頻的時(shí)長(zhǎng)達(dá)到了250多分鐘。近三年，全球每月視頻類(lèi)流量增長(zhǎng)近三倍。

這些流量主要集中在我們常說(shuō)的短視頻、點(diǎn)播、直播這些領(lǐng)域，淘系技術(shù)的一個(gè)重要任務(wù)就是讓我們平臺(tái)上的這些短視頻，直播視頻內(nèi)容都變成高質(zhì)量的，并且追求整個(gè)過(guò)程的低成本，最終普惠類(lèi)似影院級(jí)的視頻體驗(yàn)。

要普惠影院級(jí)的視頻服務(wù)，我們要持續(xù)性地解決三個(gè)問(wèn)題??：?

???

1. 如何應(yīng)對(duì)低質(zhì)量的視頻源，比如不少互聯(lián)網(wǎng)上拍攝、分享的視頻分辨率還很低。

2. 影視作品制作成本極高，而互聯(lián)網(wǎng)視頻可通過(guò)手機(jī)拍攝，制作成本幾乎為零。后期比如UGC 視頻的質(zhì)量提升，實(shí)際上是把制作的成本部分轉(zhuǎn)移到了處理算法。因此成本是非常高的，想要做到普惠，就必須要把成本降下來(lái)。?

?

3. 電視廣播一般帶寬很高，甚至可以達(dá)到百兆級(jí)別。然而，當(dāng)前很多用戶(hù)還是處于弱網(wǎng)環(huán)境下觀看視頻，帶寬非常低。

?????

要解決這些問(wèn)題，實(shí)現(xiàn)高清晰度、低成本和低帶寬，需要一系列的算法，其中包括視頻編碼和窄帶高清視頻處理等等。

我們觀察發(fā)現(xiàn)，最近一兩年，出現(xiàn)了幾個(gè)很明顯的視頻應(yīng)用新趨勢(shì)，和傳統(tǒng)的持續(xù)需求是不太一樣的，包括：

1.同步觀看視頻的需求。比如實(shí)時(shí)教育活動(dòng)、在線搶購(gòu)秒殺、多主播互動(dòng)等，同步觀看的需求越來(lái)越多。

2.視頻和電商的關(guān)系越來(lái)越密切。比如直播帶貨以及短視頻電商，預(yù)期2021年電商視頻的市場(chǎng)有可能超過(guò)千億美金。

3.低延時(shí)的需求也越來(lái)越強(qiáng)。因?yàn)槲覀冃枰袑?shí)時(shí)互動(dòng)、實(shí)時(shí)連麥等應(yīng)用的需求。低延時(shí)背后無(wú)論是傳輸、通信、編碼還是處理方面都一直存在技術(shù)的更新?lián)Q代。這些技術(shù)的發(fā)展使得更低延時(shí)成為可能。

4.AI被廣泛應(yīng)用。除了基于內(nèi)容的理解、搜推之外，還有如用戶(hù)希望商品出現(xiàn)之后能立刻檢測(cè)并播報(bào)這個(gè)商品。此外，我們也會(huì)做基于內(nèi)容的感知編碼。

我們既需要面對(duì)之前提到的高清晰、低計(jì)算成本和低帶寬這種持續(xù)的需求，同時(shí)又有更多新的趨勢(shì)需要跟進(jìn)。這中間有不少的新機(jī)會(huì)，我們都要去抓。但是抓住機(jī)會(huì)的同時(shí)也相應(yīng)帶來(lái)了不少的困難和挑戰(zhàn)。

淘系技術(shù)已經(jīng)圍繞這些困難和挑戰(zhàn)做了不少的工作。

------

#4.主要的技術(shù)挑戰(zhàn)和困難?

接下來(lái)分享一下音視頻主要的技術(shù)挑戰(zhàn)在哪里。

我認(rèn)為總結(jié)出來(lái)一下六點(diǎn)：

1.網(wǎng)絡(luò)傳輸方面。

2.UGC內(nèi)容方面，就是如何把內(nèi)容做好。

3.整體視頻服務(wù)的體驗(yàn)如何，QoE到底是如何的。

4.視頻呈現(xiàn)維度方面，有深度和廣度方面的要求。

5.我們所面對(duì)的是一個(gè)非常復(fù)雜的環(huán)境，包括網(wǎng)絡(luò)環(huán)境以及設(shè)備環(huán)境等。

6.實(shí)時(shí)計(jì)算。

實(shí)時(shí)計(jì)算可以先展開(kāi)講一下，比如在做淘寶直播時(shí)，我們需要端上的很多計(jì)算，要做實(shí)時(shí)的編碼，以及實(shí)時(shí)視頻處理。同時(shí)我們做內(nèi)容理解時(shí)也經(jīng)常需要端和云的互動(dòng)，在端上意味著實(shí)時(shí)的需求。包括我們會(huì)做人臉的美顏瘦臉，以及手勢(shì)互動(dòng)，這些都是需要實(shí)時(shí)的。淘系低延時(shí)直播可以做到一秒以?xún)?nèi)，這和我們整個(gè)鏈路中所有相關(guān)計(jì)算的實(shí)時(shí)化是密不可分的。

幾大挑戰(zhàn)里面我認(rèn)為第一個(gè)依然是網(wǎng)絡(luò)傳輸方面的。比如觀看網(wǎng)絡(luò)直播的用戶(hù)越來(lái)越多，對(duì)網(wǎng)絡(luò)資源的消耗越來(lái)越大等等。但是，相當(dāng)一部分用戶(hù)還是處于比較差的弱網(wǎng)環(huán)境，同時(shí)很多人是通過(guò)移動(dòng)設(shè)備接入的，移動(dòng)設(shè)備之間又存在電子干擾，所以網(wǎng)絡(luò)延時(shí)、卡頓和丟包都一直在發(fā)生。同時(shí)，一些局域網(wǎng)的用戶(hù)下行帶寬是有限制的，一些設(shè)備的算力也是有限的，這些限制條件和問(wèn)題都會(huì)使得整個(gè)視頻方面的體驗(yàn)變差。

為解決這一系列的問(wèn)題，我們需要更好的網(wǎng)絡(luò)傳輸。因此阿里一直在打造下一代傳輸網(wǎng)絡(luò)GRTN。它本身是一張很強(qiáng)的網(wǎng)絡(luò)，圍繞著它我們也做了端到端的優(yōu)化，使得整體體驗(yàn)?zāi)軌蛱嵘?/p>

前面提到，無(wú)論是UGC的視頻，還是很多直播的視頻，他們的質(zhì)量是參差不齊的。比如我們做村播的時(shí)候，在農(nóng)村的這些主播，他的水果或蔬菜給人看到的是不夠清晰的。所以我們需要去把這項(xiàng)內(nèi)容做得更好，我們既需要去降低帶寬又需要同步去提升他的畫(huà)質(zhì)。我們主要是通過(guò)把視頻處理，包括視頻編碼聯(lián)合做好，來(lái)達(dá)到這樣的效果。

這里主要是三個(gè)關(guān)鍵點(diǎn)：普適、普惠和高清。普適指的是要兼容各種各樣的視頻源，可能兼容的視頻標(biāo)準(zhǔn)不同，視頻的分辨率不同。而在直播的情況下，我們要去兼容各種不同的攝像頭。普惠指的是讓云端的處理成本盡量地降低。同時(shí)，如果是直播場(chǎng)景，要盡量做到實(shí)時(shí)。最后，我們的目的還是做到高清，也就是我們希望有接近專(zhuān)業(yè)級(jí)的視頻編碼、處理效果。

這里介紹一個(gè)案例。左邊是一開(kāi)始的情況，我們目的是希望降低碼率的同時(shí)能更好得展示商品。可以看到右邊展示的是提升之后的效果，碼率節(jié)省了約10%，同時(shí)商品（玉石）的質(zhì)地被更加精準(zhǔn)地展示了出來(lái)。這背后除了拍攝環(huán)境要做好之外，還有一系列的技術(shù)因素，比如ISP要控制好，要做很好的調(diào)校，同時(shí)要做視頻處理，包括增強(qiáng)的算法。另外，商品展示的部分要做更好的色彩還原，這一部分最終可能要用到HDR（高動(dòng)態(tài)范圍）和WCG（寬色域）。最后我們也需要做好編解碼，使得在畫(huà)質(zhì)很高的情況下帶寬不至于控制不住。

這是一個(gè)視頻編碼與處理的全鏈路示意圖。整個(gè)鏈路中，首先我們是要追求畫(huà)質(zhì)提升的，因此如何定義質(zhì)量的提升很重要。定義好提升之后要去具體實(shí)現(xiàn)，實(shí)現(xiàn)完之后要鞏固提升。從定義質(zhì)量提升本質(zhì)上來(lái)說(shuō)，我們需要一個(gè)比較好的對(duì)主觀體驗(yàn)的客觀建模。其實(shí)，我們慢慢發(fā)現(xiàn)PSNR和SSIM是不夠的。即便是VMAF，很多時(shí)候也不能滿(mǎn)足我們的應(yīng)用需要，因?yàn)楹芏鄷r(shí)候評(píng)價(jià)本身還是無(wú)參的。有了一套質(zhì)量體系之后，我們要做圖像提升本身。這個(gè)過(guò)程我們可以認(rèn)為是低質(zhì)量視頻到高質(zhì)量視頻的一個(gè)變換函數(shù)，我們會(huì)用深度學(xué)習(xí)的方法，它有很強(qiáng)的學(xué)習(xí)能力，可以發(fā)揮大數(shù)據(jù)的優(yōu)勢(shì)。但是由于它是一個(gè)逐像素的low level視覺(jué)任務(wù),復(fù)雜度是非常高的，且和像素?cái)?shù)目成正比。為了實(shí)現(xiàn)普惠，我們希望做極低復(fù)雜度的深度學(xué)習(xí)，放在整個(gè)視頻處理里面，使得它能夠比較高效低成本地完成任務(wù)，同時(shí)盡可能達(dá)到實(shí)時(shí)，可以在直播中應(yīng)用。

最后，高質(zhì)量的視頻需要編碼才能在互聯(lián)網(wǎng)上觸達(dá)億萬(wàn)用戶(hù)，這個(gè)過(guò)程必然是有損的，所以這個(gè)損失要和前面的處理協(xié)作好，要鞏固提升，不能因?yàn)榫幋a把圖像提升的效果給抹掉。

處理業(yè)務(wù)時(shí)遇到的問(wèn)題，推動(dòng)著我們演進(jìn)相關(guān)的解決方案。首先要解決的就是傳統(tǒng)視頻應(yīng)用中主流的壓縮失真問(wèn)題，就是將編碼做得比較好，這樣看起來(lái)也比較流暢，同時(shí)也盡量接近高清。但是慢慢發(fā)現(xiàn)，隨著主流內(nèi)容從PGC向UGC的過(guò)度，我們發(fā)現(xiàn)攝像頭效果不可控，大家拍攝的方式、技巧，以及拍攝環(huán)境也不可控，圖像失真慢慢變成了成像方面的失真，所以需要我們盡量修復(fù)成像方面的失真，使之達(dá)到專(zhuān)業(yè)制作的效果。

從演進(jìn)的過(guò)程中我們不難發(fā)現(xiàn)，用戶(hù)的喜好依據(jù)不同場(chǎng)景也有所不同，比如拍攝人物和商品是不一樣的，要根據(jù)不同的場(chǎng)景去做自適應(yīng)的方法。不同的場(chǎng)景對(duì)好的視頻的定義是不一樣的，所以要做到、要精彩、要對(duì)味。我們遵循這樣的演進(jìn)路線有了自己的視頻編解碼器，以及針對(duì)不同場(chǎng)景的不同處理方法。

另外我們業(yè)務(wù)中面臨的一個(gè)挑戰(zhàn)就是QoE （Quality of Experience）評(píng)價(jià)體系。我們內(nèi)部會(huì)先定義統(tǒng)一指標(biāo)，無(wú)論它是不是最好的，然后再在業(yè)務(wù)中埋點(diǎn)，之后業(yè)務(wù)全覆蓋，進(jìn)行AB測(cè)試。有了一個(gè)算法之后放上去看整個(gè)評(píng)價(jià)體系給出的量化結(jié)果和預(yù)期的結(jié)果是不是比較吻合的，如果他們之間有g(shù)ap，我們就去看哪里有g(shù)ap，然后再去升級(jí)我們的評(píng)價(jià)體系。

我們這套體系是貫穿于短視頻體驗(yàn)和直播體驗(yàn)中的，整個(gè)體系需要做很多平衡，比如成本和體驗(yàn)，畫(huà)質(zhì)與帶寬的平衡。而在體驗(yàn)里面，又要平衡延時(shí)與卡頓，延時(shí)與編碼效率等等。這里面很重要的一點(diǎn)是我們發(fā)現(xiàn)要做大規(guī)模的業(yè)務(wù)埋點(diǎn)必須要有客觀的畫(huà)質(zhì)評(píng)價(jià)，因?yàn)橹饔^可能只在平時(shí)做仿真時(shí)用得到，大規(guī)模數(shù)據(jù)出來(lái)之后必須要做客觀的評(píng)價(jià)。很多情況下它還是一個(gè)無(wú)參考的評(píng)價(jià)，所以這些都是挑戰(zhàn)。

另外，還需要有低質(zhì)量視頻檢出的能力，配合運(yùn)營(yíng)降低低質(zhì)量視頻的VV占比。

提到QoE評(píng)價(jià)體系，很重要一點(diǎn)其實(shí)是畫(huà)質(zhì)。我們會(huì)發(fā)現(xiàn)，之前PSNR/SSIM盡量把誤差做得比較小，逼近原始，而VMAF更加靠近感知。其實(shí)之前也說(shuō)了，不同場(chǎng)景不一樣也要做到精彩對(duì)味實(shí)際上是要更加接近我們的認(rèn)知的。很多場(chǎng)景下面我們要大量地用無(wú)參考的評(píng)價(jià)，這種情況下要處理多元化的失真，甚至要考慮美學(xué)與視覺(jué)的結(jié)合。按照這樣的方向，我們也建立了初步的質(zhì)量評(píng)價(jià)體系，也會(huì)根據(jù)業(yè)務(wù)的需要持續(xù)迭代升級(jí)我們的畫(huà)質(zhì)評(píng)測(cè)標(biāo)準(zhǔn)。質(zhì)量評(píng)價(jià)體系這塊我們也在加大投入，希望能做得更好。

?

最后是體驗(yàn)維度。比如說(shuō)前面的窄帶高清，在不提升視頻的分辨率、幀率的情況下去做窄帶高清、色彩增強(qiáng)、細(xì)節(jié)增強(qiáng)等等。這點(diǎn)我們要做好。但慢慢的，我們也希望在一些視頻呈現(xiàn)的維度能做得更好，比如會(huì)做超分辨率、超幀率。但我認(rèn)為更好的提升應(yīng)該是視頻源頭本身要做的，所以我們自身也在做高分辨率、高幀率，包括我們?cè)谧?080p以及4k的直播間，幀率也慢慢從25、30幀每秒提高到了50、60幀每秒。同時(shí)，我們也發(fā)現(xiàn)在商品的展示方面，用戶(hù)喜歡商品色彩更鮮亮更加真實(shí)還原。這其中就涉及到HDR高動(dòng)態(tài)范圍，包括寬色域——可以把商品的色彩真實(shí)展現(xiàn)出來(lái)。此外，美顏瘦臉在直播里也是一個(gè)剛需，我們也在做自己的虛擬主編和3D直播間，這背后就有MR和XR這樣的技術(shù)。包括做3D視頻，用多視角的視頻，以及全景360度視頻展示家裝。有了這些之后其實(shí)還可以做一些視頻的特效和剪輯。在視頻的呈現(xiàn)維度上，一是要做得更廣，二是在單一維度上做得更強(qiáng)更深，這對(duì)帶寬本身的成本和技術(shù)都提出了很多需求。

最后我想講一下多樣化的環(huán)境。我們是一個(gè)很大的APP，里面有很多業(yè)務(wù)。我們面臨的網(wǎng)絡(luò)環(huán)境有時(shí)會(huì)非常差，丟包很?chē)?yán)重，帶寬也很低，所以我們需要很好地適配當(dāng)前網(wǎng)絡(luò)，做帶寬自適應(yīng)，做碼率控制等等。我們很多主播可能會(huì)用非常差的pc端去開(kāi)播，也可能會(huì)隨便拿一個(gè)手機(jī)去開(kāi)播，我們對(duì)手機(jī)型號(hào)沒(méi)有特別嚴(yán)格的限制，所以我們要去適配各種設(shè)備。

從內(nèi)容角度來(lái)講，包括聲音場(chǎng)景和視覺(jué)場(chǎng)景，其實(shí)也要做很多場(chǎng)景自適應(yīng)的算法。比如音樂(lè)場(chǎng)景，主播在賣(mài)一些音樂(lè)器材和音響設(shè)備。不針對(duì)場(chǎng)景進(jìn)行優(yōu)化的話，我們嘗試聽(tīng)一下聲音，可以發(fā)現(xiàn)一些音樂(lè)的呈現(xiàn)是不太清楚的，針對(duì)場(chǎng)景進(jìn)行優(yōu)化之后對(duì)音樂(lè)的表達(dá)就會(huì)更加清楚。

視頻場(chǎng)景也是一樣的，我們有很多跟電商非常相關(guān)的場(chǎng)景，包括服飾場(chǎng)景、珠寶場(chǎng)景、美妝場(chǎng)景。就服飾場(chǎng)景而言，我們可以看到左邊是優(yōu)化之前的，右邊是優(yōu)化之后的，圖片對(duì)比可能不是特別清晰，但通過(guò)這種場(chǎng)景去做優(yōu)化，我們可以讓衣服材質(zhì)更加的自然、鮮亮。

------

#5.?淘系音視頻領(lǐng)域若干技術(shù)進(jìn)展?

我們圍繞這些挑戰(zhàn)做了很多技術(shù)沉淀，也有不少亮點(diǎn)。由于時(shí)間關(guān)系我就簡(jiǎn)單講兩點(diǎn)。這兩點(diǎn)是比較有價(jià)值的技術(shù)，一個(gè)是視頻編碼端到端的鏈路，另外一個(gè)是全球?qū)崟r(shí)傳輸網(wǎng)絡(luò)。

我們可以看一下這個(gè)圖，這是我們圍繞著現(xiàn)有的標(biāo)準(zhǔn)在做在實(shí)現(xiàn)的。大家可以看到我們整個(gè)編解碼的內(nèi)核，H.265是做得比較多的，同時(shí)也在做H.266、VVC相關(guān)的內(nèi)容。高層的語(yǔ)法框架這一塊會(huì)做分級(jí)B幀，會(huì)做長(zhǎng)期參考幀，會(huì)做Adaptive GOP Size ，同時(shí)這些底層工具也會(huì)針對(duì)SAO，de-blocking等做一些優(yōu)化。同樣的，工程框架這一塊會(huì)做SIMD，做并行計(jì)算。

在碼控這塊，做編碼器也非常重要，比如做look ahead， CU Tree，我們也能拿到很多提升。再往上一點(diǎn)，我們會(huì)做基于內(nèi)容的Content Aware Encoding，包括針對(duì)內(nèi)容和場(chǎng)景做自適應(yīng)編碼，會(huì)做ROI，以及做JND這樣的模型。外層有一個(gè)和傳輸、應(yīng)用相適配的應(yīng)用視頻引擎，它可以去做模板的適配，去適配不同的規(guī)格，比如分辨率，另外也會(huì)和網(wǎng)絡(luò)環(huán)境配合，做容錯(cuò)編碼。

從算法角度來(lái)講，編碼器也和視頻處理的電路配合得比較好。

我們從H.265這個(gè)編碼器來(lái)講呢，其實(shí)單點(diǎn)效果也是不錯(cuò)的。內(nèi)部有一個(gè)我們叫做S265的編碼器，參加了去年MSU編碼器比賽，PSNR的一個(gè)檔位上獲得了第一名的成績(jī)。技術(shù)上來(lái)講它比x265在編碼效率上提升了很多，差不多35%。這個(gè)編碼器用于很多業(yè)務(wù)，不光是淘系業(yè)務(wù)，同時(shí)也是很多集團(tuán)相關(guān)的業(yè)務(wù)，比如說(shuō)淘寶直播肯定在用這樣的編碼器，點(diǎn)播里不論是長(zhǎng)視頻還是短視頻也在用。短視頻包括逛逛，商品詳情頁(yè)的業(yè)務(wù)，長(zhǎng)視頻包括優(yōu)酷也在調(diào)用我們的編碼器，當(dāng)然這款編碼器可能也會(huì)做一些其它場(chǎng)景所需要的改造。在釘釘會(huì)議，在RTC這樣的場(chǎng)景，S265也是可以被大家所使用的。我們?cè)诩瘓F(tuán)內(nèi)部做了比較好的輸出，同時(shí)我們也在布局下一代的編解碼器，比如H.266/VVC的編解碼器，現(xiàn)在已經(jīng)可以開(kāi)始在一般的手機(jī)上做到實(shí)時(shí)解碼了。同時(shí)我們也希望編碼器能慢慢做起來(lái)，可能開(kāi)始它的編碼效率不能完全體現(xiàn)，但希望過(guò)兩三年后能逼近H.266在理想情況下的編碼效率。

另外我想和大家分享就是阿里全球?qū)崟r(shí)傳輸網(wǎng)絡(luò)Global real-time transport network。這張網(wǎng)絡(luò)是阿里集團(tuán)共建的，很值得一提的，首先它是全鏈路基于RTC的CDN網(wǎng)絡(luò)，和傳統(tǒng)網(wǎng)絡(luò)最大的不同是它可以做去中心化的組網(wǎng)。因?yàn)樗澈笥羞@樣的flexibility，可以做更多的動(dòng)態(tài)路徑規(guī)劃。比如說(shuō)可以針對(duì)丟包率、延時(shí)、帶寬等等方面的因素根據(jù)業(yè)務(wù)方面的需要去調(diào)整不同路徑規(guī)劃的策略。同時(shí)，因?yàn)檫@張網(wǎng)絡(luò)在應(yīng)用層是由我們自己掌控的，所以可以很好地做智能控制，大主播可以有不同的策略，包括做削峰填谷等等。它整體的核心思想就是我們根據(jù)業(yè)務(wù)需要分配和調(diào)度資源，一旦資源固定，我們會(huì)為您提供最好的QoE視頻服務(wù)體驗(yàn)。

我們知道RTC里有擁塞控制，其實(shí)是在整個(gè)網(wǎng)絡(luò)的第一跳——就是主播進(jìn)CDN網(wǎng)，和最后一跳——觀看的人從CDN網(wǎng)下去看視頻，在這兩端去做擁塞控制。和WebRTC里不同的是，我們做了自研的參數(shù)自學(xué)習(xí)的算法，能夠更好、更精準(zhǔn)及時(shí)地去預(yù)測(cè)實(shí)時(shí)變化的帶寬，去做到更低的延時(shí)和更少的丟包，整個(gè)體驗(yàn)可以得到大幅的提升。這張網(wǎng)絡(luò)我們已經(jīng)在用了，在今年年初會(huì)在淘寶直播業(yè)務(wù)中全量。

------

#6.未來(lái)技術(shù)發(fā)展趨勢(shì)?

最后我還想講講未來(lái)技術(shù)發(fā)展趨勢(shì)。

其實(shí)我個(gè)人做了一個(gè)簡(jiǎn)單的總結(jié)，我認(rèn)為就是三點(diǎn)：

1.無(wú)論你做多fancy的技術(shù)，基礎(chǔ)音視頻體驗(yàn)是要做極致打磨的。

2.大家都會(huì)去追求新的視頻體驗(yàn)維度，如果你抓住了這個(gè)新的體驗(yàn)維度，可能就會(huì)催生成一個(gè)大的APP，這一塊我們也會(huì)去看，但誰(shuí)能抓得準(zhǔn)就要看多方面的因素了。

3.視頻智能化也是一個(gè)很大的趨勢(shì)，這塊大家也都是在發(fā)力的。

基礎(chǔ)體驗(yàn)是比較確定的，在我看來(lái)可以分成三大塊。在傳輸、編碼、處理這三大核心功能模塊里面要做到最好。我們其實(shí)是要追求每個(gè)模塊各自的代差的，每個(gè)塊都可以做極致的優(yōu)化。從視頻的表征上來(lái)講，我們要不停地升級(jí)，因?yàn)橛脩?hù)有日益增長(zhǎng)的視頻體驗(yàn)需求，他可以今天要1080p明天要4K甚至8K，包括更高的幀率，寬色域HDR也都是要去追求的。這里面有一個(gè)看似較小但是比較關(guān)鍵的問(wèn)題：比如你如何去判斷同樣場(chǎng)景720p60幀和1080p30幀哪個(gè)視頻更好？這是如何去做跨尺度的質(zhì)量評(píng)價(jià)的課題，因?yàn)檫@樣我們才知道如何配置我們輸入的視頻源，達(dá)到最好的效果a。

很重要的一點(diǎn)——前面我也提到了——視頻可以用在很多場(chǎng)景，可以用在RTC、視頻會(huì)議、長(zhǎng)視頻等等，長(zhǎng)視頻很多是非實(shí)時(shí)的場(chǎng)景，而我們淘寶直播室是實(shí)時(shí)的。即便是直播，你還有秀場(chǎng)，有直播帶貨，而直播帶貨有室內(nèi)的、有3D直播間等等。因?yàn)閳?chǎng)景不同，針對(duì)業(yè)務(wù)場(chǎng)景必須要做定制化和優(yōu)化。另外就是跨模塊的聯(lián)合優(yōu)化，編解碼和處理怎么做聯(lián)合優(yōu)化，我后面會(huì)給一個(gè)例子。

從新的體驗(yàn)維度上來(lái)講，這里很多東西我們都嘗試過(guò)，VR、 360度的視頻、家裝360度視頻場(chǎng)景，包括AR 、MR我們都把它們引入直播間做過(guò)嘗試，當(dāng)然還有虛擬主播，要用到一些內(nèi)容合成，以后可能會(huì)用到全息等等。隨著5G的慢慢普及，很多應(yīng)用可能就會(huì)起飛，但這塊我們是在探索的狀態(tài)，我們現(xiàn)在不是很明確哪一塊一定是會(huì)大范圍去投入的。

最后是視頻的智能化，最主要的就是兩點(diǎn)：

1.基于音視頻內(nèi)容的搜索推薦，不管視頻內(nèi)容還是音頻內(nèi)容都要做很好的理解，做更好的搜索推薦。

2.多模態(tài)的標(biāo)簽融合非常重要。在做短視頻配樂(lè)時(shí)，我們有蝦米這樣一個(gè)曲庫(kù)，那如何把音樂(lè)配上去，就是它們之間的標(biāo)簽如何相互理解，怎么匹配是最好的，這就涉及到一個(gè)多模態(tài)的標(biāo)簽融合問(wèn)題。這一塊做好了對(duì)拉通音視頻最大的模塊還是有關(guān)系的，甚至還有文本。

舉一個(gè)例子來(lái)說(shuō)視頻處理的未來(lái)趨勢(shì)是什么樣的。這個(gè)圖比較簡(jiǎn)單，就是一個(gè)視頻的整體鏈路，可以做云上的計(jì)算，可以做云/邊/端的結(jié)合和聯(lián)動(dòng)。技術(shù)上有窄帶高清視頻處理，有核心編碼引擎去做符合H.265、H.266標(biāo)準(zhǔn)的編碼器，背后我們也會(huì)做智能編碼。甚至端上有一些比較好的機(jī)型，可以做端上的智能后處理——整個(gè)做下來(lái)是一個(gè)端到端的鏈路。

以下是我對(duì)未來(lái)趨勢(shì)的判斷，以往比如說(shuō)我們的標(biāo)準(zhǔn)H.264、AVC、H.265、HEVC、H.266、VVC都已經(jīng)基本定義好了視頻服務(wù)的質(zhì)量和帶寬權(quán)衡的上限。但是在所需要處理的場(chǎng)景里面，可以通過(guò)窄帶高清和智能編碼的技術(shù)突破代際的限制。

首先，我們有自研的H.265編碼器，因?yàn)橐紤]成本因素，它會(huì)比H.265理想的編碼效率低一些。

但我們可以去做窄帶高清視頻處理、做智能編碼，使得它能提高編碼效率。做窄帶高清后能提升25%左右，再做智能編碼則又提高了15%左右。我們做了一些并沒(méi)有完全做到，但我們認(rèn)為完全可以做到的、更好的處理、更好的智能化的東西，可以去提升一個(gè)代差。

同時(shí)我們也在做H.266編碼器，預(yù)計(jì)兩三年的時(shí)間，可以將這個(gè)自研的編碼器做到發(fā)揮差不多標(biāo)準(zhǔn)潛力的一個(gè)程度，這本身又能領(lǐng)先一個(gè)代際。如果和之前的一些技術(shù)聯(lián)合起來(lái)，我們還有兩代的代差可以往前迭代，淘系技術(shù)，包括視頻編碼這一塊的同學(xué)就會(huì)朝著這個(gè)方向努力。這是我對(duì)未來(lái)趨勢(shì)預(yù)測(cè)的一個(gè)例子。

我的分享到此結(jié)束，謝謝大家。

超強(qiáng)干貨來(lái)襲 云風(fēng)專(zhuān)訪：近40年碼齡，通宵達(dá)旦的技術(shù)人生

總結(jié)

以上是生活随笔為你收集整理的淘系音视频技术的演进之路的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。