隨著云剪輯、云導(dǎo)播、音視頻生產(chǎn)在線協(xié)作的興起， 生產(chǎn)環(huán)境下的音視頻處理越發(fā)為人所關(guān)注。音視頻處理在生產(chǎn)環(huán)境下，對控制精準(zhǔn)性有著更高的要求。從服務(wù)端到客戶端，精準(zhǔn)的時間控制、畫面控制都是生產(chǎn)環(huán)境音視頻和分發(fā)環(huán)境下音視頻處理的重要區(qū)別。服務(wù)端與客戶端的協(xié)同上，容易產(chǎn)生微小的差異。

文 / 姜雨晴

整理 / LiveVideoStack

視頻回放：

https://www.livevideostack.cn/video/online-jyq/

大家好，我叫姜雨晴，是MediaTrack音視頻研發(fā)負(fù)責(zé)人，之前就職于熊貓直播，一直從事前端的播放器，后來有幸去了字節(jié)跳動，最近在參與和熊貓直播的創(chuàng)業(yè)項(xiàng)目。這個項(xiàng)目主要是關(guān)于生產(chǎn)環(huán)境下的解決方案，我們不再做傳統(tǒng)2C的視頻分發(fā)解決方案，而是針對于視頻的創(chuàng)作者的協(xié)同和合作進(jìn)行一個解決方案，這和傳統(tǒng)2C的觀看端有很多不一樣的地方。

本次內(nèi)容主要分為四個部分：一是架構(gòu)；二是工作流；三是一致性；四是擴(kuò)展性。

首先，了解一下我們的產(chǎn)品，在網(wǎng)頁端和小程序端會有修改和批注的功能，也就是我們最早上線這版的功能。如果要做一個生產(chǎn)環(huán)境下的解決方案，我個人比較傾向于先了解生產(chǎn)環(huán)境下，用戶如何去使用這款產(chǎn)品。

因?yàn)槲覀€人比較喜歡使用一些剪輯軟件去剪輯一些片子。這張圖是我個人剪輯時的狀態(tài)，首先需要精確到幀的控制，而且每一段的時間戳都非常準(zhǔn)確，要清楚哪一段插進(jìn)的內(nèi)容，如要清楚知道圖中字幕的位置等要精確到哪一個像素。尤其在網(wǎng)絡(luò)的視頻分發(fā)過程中，并不能保證這樣的一致性。平時在觀看時是不需要保證到幀的，這就給我們的服務(wù)帶來了很大的挑戰(zhàn)。

我們現(xiàn)在最核心的兩個業(yè)務(wù)是：媒體轉(zhuǎn)碼和視頻標(biāo)注和截圖。首先，媒體轉(zhuǎn)碼是網(wǎng)絡(luò)分發(fā)，我們所看到的東西不可能用源流，因?yàn)樵戳骺赡芴貏e大，有可能在網(wǎng)頁或小程序端解碼不了，這就涉及到轉(zhuǎn)碼，所以轉(zhuǎn)碼流和源流是否保持一致就成了很大的問題。其次，視頻標(biāo)注和截圖也會在一致性上產(chǎn)生差異。

1

架構(gòu)

這張圖是我們現(xiàn)在的MediaTrack整個的架構(gòu)，整個命名方式延續(xù)了熊貓的命名方式，所有的項(xiàng)目都采用英雄聯(lián)盟的英雄為項(xiàng)目名稱。現(xiàn)在最主要的兩個項(xiàng)目是：一是對用戶可見的Web端的Sona和小程序的Neeko，它們的背后是第二層長連接Riven和API的Kayn這兩個部分，也就是和前端進(jìn)行交互的這層，它們的靈活性會比較高，并根據(jù)產(chǎn)品的需求加接口。

最后這部分是微服務(wù)集群，重點(diǎn)是音視頻服務(wù)Ahri，對于系統(tǒng)內(nèi)的其他服務(wù)而言，Ahri只是音視頻服務(wù)，與其他的微服務(wù)沒有任何區(qū)別。

Ahri是所有媒體相關(guān)操作的微服務(wù)集合，包括媒體轉(zhuǎn)碼、文件格式矯正、媒體信息的獲取、截圖、音頻waveform抽樣、標(biāo)注點(diǎn)繪制、圖片處理等一系列工作。Ahri對外僅是個普通的微服務(wù)。對內(nèi)是微服務(wù)組，這也是它命名的原因。Ahri是一個九尾妖狐，它可以將能量存儲在火球中并釋放出去，它的九條尾巴就像對內(nèi)的微服務(wù)一樣，都是它不可或缺的部分。

這張圖展示了Ahri的架構(gòu)，Ahri對外的服務(wù)就是Ahri網(wǎng)關(guān)，并沒有自己實(shí)際的操作，它所有的操作都是向內(nèi)部的微服務(wù)創(chuàng)建任務(wù)并匯總這些任務(wù)，但轉(zhuǎn)碼還是采用云廠商的轉(zhuǎn)碼。

2

工作流

我們兩個比較重要的工作流：一是調(diào)用工作流，Ahri先要知道需要做什么再進(jìn)行工作，利用Magic number判斷文件類型。因?yàn)槲覀兊南到y(tǒng)允許用戶傳任何文件，這樣會把文件的擴(kuò)展名改掉，或者前端無法判斷它是否是一個音視頻文件。這時Ahri會再進(jìn)行判斷，如果是一個視頻文件會通知其他服務(wù)矯正它，并進(jìn)入真正的媒體處理的流程。

媒體處理流程也會做一個矯正，實(shí)際并不想同一個文件處理多次。當(dāng)多個用戶上傳同一個文件時，需要做hash。當(dāng)事件任務(wù)完成或者狀態(tài)更新時，就進(jìn)行廣播消息。

如果沒有媒體信息、獲取媒體信息矯正。截圖標(biāo)記會遇到一些坑點(diǎn)：一是時間戳找齊；二是畫圖標(biāo)記找齊。

3

一致性

時間一致性，傳統(tǒng)上，現(xiàn)在可以看到的視頻片段如圖所示，首先是格式上的時間零點(diǎn)，然后是音頻首幀時間點(diǎn)、視頻首幀時間點(diǎn)，最后是標(biāo)注點(diǎn)。

圖中上部分是服務(wù)器的原片，因?yàn)橛脩舯容^專業(yè)，大部分上傳的片子都是如圖所示，也就是音頻時間原點(diǎn)和視頻時間原點(diǎn)幾乎是一致的，甚至有些在上面打了時間碼。

但我們現(xiàn)在所用的轉(zhuǎn)碼服務(wù)經(jīng)常會把轉(zhuǎn)碼流變成圖中下部分，也就是它們起始時間并不一致。所以在找一幀畫面時是需要基準(zhǔn)點(diǎn)的，一般基準(zhǔn)點(diǎn)是視頻圖像的首幀，也就是start time，然后標(biāo)記時間戳是以視頻時間的start time基準(zhǔn)點(diǎn)去找。

我以前是做網(wǎng)頁播放器出身，網(wǎng)頁播放器會對start time進(jìn)行處理。因?yàn)橐罁?jù)圖中的轉(zhuǎn)碼流處理，如果start time是4秒鐘，首屏?xí)r間就要等4秒之久，所以一般會計(jì)算一個Base-Time，也就是把音頻和視頻的start time小的值作為基準(zhǔn)時間點(diǎn)，作為時間零點(diǎn)，之后的每一幀都會減去這個時間點(diǎn)。像這種時間點(diǎn)的控制就會造成真正的start time其實(shí)并不是首幀的PTS，這時MSE Buffer就需要再一次找齊時間點(diǎn)。

這其中會有一個坑點(diǎn)，現(xiàn)在的時間點(diǎn)在瀏覽器上有可能會被清除掉，因?yàn)闉g覽器有一個機(jī)制是播放一定時間時會把前面的緩存清除，以節(jié)省內(nèi)存空間，但這時候的start time點(diǎn)就不準(zhǔn)了。所以在取視頻的時間點(diǎn)時要保證是第一個片段塞進(jìn)MSR Buffer。

根據(jù)圖中所展示的處理，目的是加速起播時間，其次是盡量保留展現(xiàn)數(shù)據(jù)。

因?yàn)樾〕绦虿シ牌魇切〕绦虻牡讓?#xff0c;它的起始時間點(diǎn)是視頻的首幀，這是利用用戶打好時間戳的視頻，根據(jù)視頻的轉(zhuǎn)碼流和源流PTS對出來的，小程序的基準(zhǔn)時間點(diǎn)為0。

小程序以視頻為基準(zhǔn)播放，無需特殊處理。小程序另外一個坑是小程序?yàn)榱吮ＷC它的消化不會過大，會保持timeupdate為250ms，需要精確到幀，必須自制定時器。但需要注意，定時器過多，會導(dǎo)致程序崩潰，建議做全局定時器。

這部分是關(guān)于畫面的定位，這比時間上的一致性效果要好得多，圖中展示的是一個特殊情況，圖中圓點(diǎn)是基準(zhǔn)點(diǎn)，內(nèi)部方形是實(shí)際畫面，外部是播放框。以實(shí)際畫面為準(zhǔn)，將它的寬和高定一個百分比作為標(biāo)記點(diǎn)。即使這個視頻被處理了，也可以根據(jù)相對標(biāo)點(diǎn)找到實(shí)際位置。

4

拓展性

這部分介紹我們系統(tǒng)的擴(kuò)展性，圖中是Ahri整個架構(gòu)圖，首先Ahri會創(chuàng)建workflow并下發(fā)任務(wù)，這些任務(wù)可能會在Ahri自己的服務(wù)上進(jìn)行，也可能在云廠商服務(wù)上進(jìn)行。如果云廠商質(zhì)量達(dá)不到我們的精度，需要做自己的服務(wù)時，可以直接在workflow這一層做遷移，如果需要加比如第三方轉(zhuǎn)碼時，可以橫向擴(kuò)展我們的workflow。

---

LiveVideoStackCon 2020?北京

2020年10月31日-11月1日

點(diǎn)擊【閱讀原文】了解更多詳細(xì)信息

總結(jié)

以上是生活随笔為你收集整理的视频生产环境下的音视频解决方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。