本文整理自LiveVideoStack 線上交流分享，本次分享由賽靈思數(shù)據(jù)中心產(chǎn)品經(jīng)理梁曉明介紹Xilinx的視頻解決方案，由賽靈思高級(jí)策略應(yīng)用工程師張吉帥以及賽靈思高級(jí)現(xiàn)場(chǎng)應(yīng)用工程師趙春曉來(lái)負(fù)責(zé)答疑環(huán)節(jié)的問(wèn)題。

文/梁曉明 張吉帥 趙春曉整理/LiveVideoStack

大家好，我是賽靈思數(shù)據(jù)中心產(chǎn)品經(jīng)理梁曉明，本次分享的主要內(nèi)容是Xilinx的視頻解決方案，Xilinx作為一家平臺(tái)性的公司，會(huì)把硬件、硅片作為基礎(chǔ)平臺(tái)交付給業(yè)界有強(qiáng)大開(kāi)發(fā)能力的合作伙伴，合作伙伴在Xilinx的硅片、器件和平臺(tái)上堆疊他們的軟件解決方案和服務(wù)。今天所介紹的合作廠商的方案都是基于Xilinx的平臺(tái)。2019年7月1日，Xilinx收購(gòu)了NGCodec，NGCodec能夠提供非常好的基于FPGA的云上視頻解決方案，同時(shí)Xilinx也提供包括ZYNQ里面內(nèi)嵌的VCU硬件的H.264、H.265編碼器和解碼器，這部分功能會(huì)被Xilinx其他的合作伙伴V-Nova和Aupera都可以在硬件編碼器的基礎(chǔ)上做進(jìn)一步集成和應(yīng)用，這部分的工作都是基于Xilinx平臺(tái)。同時(shí)Xilinx也會(huì)提供軟件方面的堆棧，軟件的堆棧會(huì)支持無(wú)縫的FFmpeg以及其他的實(shí)時(shí)視頻Live Video的軟件堆棧進(jìn)行集成。DeePoly和CTAccel這兩家都可以提供非常高性能的圖片處理方案，以下將會(huì)對(duì)之前提到的解決方案做具體介紹。

1.?Xilinx Acquires NGCodec for Cloud Video

?
Xilinx收購(gòu)NGCodec目的在于發(fā)展云視頻的市場(chǎng)，Xilinx作為一家主要的世界級(jí)FPGA和平臺(tái)的廠商，主要的技術(shù)是Ultrascale+和Versal FPGAs，在這兩個(gè)平臺(tái)的基礎(chǔ)上可以開(kāi)發(fā)基于FPGA非常高性能的編碼器和解碼器，可以是H.264、H.265這樣相對(duì)較成熟的，也可以是將來(lái)的AV1、H.266這些比較新的編碼器，同時(shí)也可以在這個(gè)平臺(tái)為已有的編碼器附加類似AI的場(chǎng)景識(shí)別和全新的編解碼標(biāo)準(zhǔn)，比如下面將會(huì)提到的V-Nova帶來(lái)的新編碼方式，這些技術(shù)都會(huì)堆疊在Xilinx的平臺(tái)上，Xilinx的加速平臺(tái)是構(gòu)建在軟件定義加速器SDAccel基礎(chǔ)平臺(tái)上，這是一套完整的工具鏈以及平臺(tái)的支撐套件，同時(shí)Xilinx也提供Alveo Board Products，提供數(shù)據(jù)中心的標(biāo)準(zhǔn)卡，讓各位在各類標(biāo)卡的業(yè)界廠商，比如另戴爾，Inspur等認(rèn)證過(guò)的標(biāo)準(zhǔn)版卡上部署自己的軟件和加速器等等。Xilinx通過(guò)收購(gòu)獲得的H.264、H.265以及VP9這些基本編解碼單元，從NGCodec收購(gòu)中主要獲得的是H.265和VP9，這兩個(gè)都獲得了業(yè)界的認(rèn)可和工業(yè)界的應(yīng)用，之后Xilinx很快也會(huì)提供AV1的解決方案。

1.1 New $10B Demand for Cloud Acceleration

??Live Video在2016年大量的工作都是由CPU和GPU共同分擔(dān)來(lái)完成的，隨著云視頻市場(chǎng)和視頻市場(chǎng)迅速增長(zhǎng)，GPU性能增長(zhǎng)速度變緩，以及AI的能力變得更加普遍，所以大家會(huì)發(fā)現(xiàn)用Xilinx和NGCodec附帶AI的解決方案，和Video+AI的集成方式對(duì)比，FPGA會(huì)是你理想的平臺(tái)。預(yù)計(jì)FPGA帶來(lái)的Video+AI市場(chǎng)增量會(huì)超過(guò)10 Billion。?

1.2 “Live Video”consumes largest portion of compute

?

當(dāng)討論“Live Video”的時(shí)候，Xilinx想面對(duì)的寬度市場(chǎng)分類是那些需要實(shí)時(shí)處理的視頻，而不是提前處理好放在文件服務(wù)器中拿去播放的視頻，如果是放在文件服務(wù)器中從OBS中調(diào)出來(lái)不需要轉(zhuǎn)碼就可以通過(guò)時(shí)間軸放出去的視頻叫做File based，也是現(xiàn)在存量比較大的部分。提到Live的部分一般是指體育頻道轉(zhuǎn)播、游戲?qū)崨r或者主播直播互動(dòng)性比較高的場(chǎng)景，這些場(chǎng)景的特點(diǎn)目前已經(jīng)很普遍了，視頻的質(zhì)量、互動(dòng)的程度和投放情況都非常受限。Xilinx的解決方案是幫助你把這部分Live Video，在工作量可能會(huì)使CPU、GPU在短時(shí)間內(nèi)無(wú)法消化時(shí)幫你做的更好。Xilinx在未來(lái)會(huì)更關(guān)注Live Video部分，因?yàn)檫@部分會(huì)在新公司、新競(jìng)爭(zhēng)力和新生產(chǎn)力方面得到極大豐富。?

1.3 Xilinx vs CPU:20x faster@same quality

??Xilinx的平臺(tái)和合作伙伴開(kāi)發(fā)的新解決方案，在保證質(zhì)量的前提下與CPU相比速度提升了20倍。在談性能時(shí)，比如在游戲直播場(chǎng)景中大家會(huì)要求60幀每秒的速率，同時(shí)要求latency足夠的小，這樣才能帶來(lái)更好的用戶體驗(yàn)。這類應(yīng)用可以發(fā)現(xiàn)用戶體驗(yàn)、latency和源端產(chǎn)生的圖像被分發(fā)的過(guò)程里latency都是關(guān)鍵的指標(biāo)，這部分工作任務(wù)里Xilinx這種定型處理的結(jié)構(gòu)可以把各種圖片源分成1080P、720P甚至480P的分辨率，同時(shí)在保證圖片質(zhì)量的前提推送出去，這樣的工作特別適合FPGA來(lái)完成，因?yàn)閄ilinx有定制的數(shù)據(jù)通道和硬件編解碼能力，而且還可以用AI做場(chǎng)景識(shí)別，Video+AI可以幫助客戶在保持速度的同時(shí)保證質(zhì)量，同時(shí)可以在后續(xù)的質(zhì)量相關(guān)環(huán)節(jié)做相應(yīng)的調(diào)校。?

1.4 VMAF

?

談到圖像質(zhì)量就需要強(qiáng)調(diào)VMAF評(píng)價(jià)指標(biāo)，在最新的用戶評(píng)價(jià)方法中，VMAF評(píng)價(jià)指標(biāo)是比較被認(rèn)可的，原因是節(jié)目源在后期處理或重新編碼時(shí)會(huì)被有意的過(guò)一些特別的濾波器，這些濾波器有助于圖像增強(qiáng)，或者是在圖像識(shí)別之后把背景或者一些不重要的部分進(jìn)行碼率降低，把碼率更多的分配在關(guān)鍵對(duì)象上，這些所有碼率調(diào)節(jié)手段以及新的編解碼工具，在某種意義上都會(huì)對(duì)PSNR產(chǎn)生一些負(fù)面影響，但在某些情況處理好的話，會(huì)對(duì)VMAF主觀評(píng)價(jià)指標(biāo)有正向影響。在同樣的VMAF情況下，通常可以利用更多的工具在同樣的碼率上做到更好的圖像質(zhì)量，或者在同樣的圖像質(zhì)量上把碼率降下來(lái)。?

2.?V-Nova

?

2.1 HD video services over any network

?V-Nova提供的Perseus+IP完成的工作是將較高分辨率圖像通過(guò)特殊算法把碼率降到特別低，在播放端把碼率降低的數(shù)據(jù)進(jìn)行恢復(fù)，在圖像質(zhì)量相當(dāng)?shù)那闆r下極大的降低碼率。?

2.2 Why PERSEUS Plus Xilinx?

?通過(guò)新工具和技巧會(huì)帶來(lái)很多的好處，比如在密度方面可能會(huì)增加四倍，相對(duì)于軟件來(lái)說(shuō)同樣的Bandwidth savings情況下會(huì)提升50倍，同時(shí)在帶寬節(jié)省或者其他的技術(shù)會(huì)不會(huì)依賴特定的編碼器，實(shí)際上對(duì)編解碼算法不太敏感，這個(gè)在編碼器外面疊加的Perseus+IP會(huì)幫助達(dá)成上述的額外好處。?

2.3 PERSEUS:a new approach

?

Perseus+IP可以疊加，且這種疊加方式很快會(huì)變成標(biāo)準(zhǔn)，可以看到在即將到來(lái)的SMPTE標(biāo)準(zhǔn)組織和MPEG標(biāo)準(zhǔn)組織等都會(huì)考慮類似的工具和算法。?

3.?DeePoly

?

3.1 About DeePoly

?

DeePoly深維科技在2016年成立，方案成熟度非常高，而且有規(guī)模部署的能力，在視頻和圖像處理領(lǐng)域做得還不錯(cuò)。?

3.2 DeePolyLeadership Product - ThunderImage

?現(xiàn)場(chǎng)生產(chǎn)環(huán)境有用到比較重任務(wù)的內(nèi)容，比如轉(zhuǎn)碼、縮放和各種格式之間的轉(zhuǎn)化，只要生產(chǎn)環(huán)境中用的是ImageMagick圖片轉(zhuǎn)化服務(wù)器用到一定的數(shù)量，都可以使用DeePoly深維科技的方案進(jìn)行進(jìn)一步的評(píng)估。?

3.3 Benefits od ThunderImage

?

DeePoly深維科技做的東西很簡(jiǎn)單，簡(jiǎn)單到可以理解為是做圖片轉(zhuǎn)碼和圖片縮放，甚至是在人工智能的AI流程里做圖片預(yù)處理和圖片截取，或者是在手機(jī)調(diào)用比較大的圖像和網(wǎng)頁(yè)時(shí)可以自適應(yīng)的將圖像和網(wǎng)頁(yè)適配到手機(jī)的屏幕上去，這些工作都需要低延時(shí)、高性能的圖片轉(zhuǎn)碼。在測(cè)評(píng)的過(guò)程中會(huì)發(fā)現(xiàn)DeePoly深維科技相較于一個(gè)比較不錯(cuò)的CPU服務(wù)器來(lái)說(shuō)可以做到20倍的TPS性能提升，在QoS有五倍的延時(shí)降低，在圖片質(zhì)量及軟件無(wú)縫集成方面成熟度都很高。?

4.?Aupera

?

另外一家利用Xilinx平臺(tái)做到產(chǎn)業(yè)化的公司傲睿智存（Aupera），他們的口號(hào)是要?jiǎng)?chuàng)新，讓Video變得更加生動(dòng)，將Video+AI帶到一個(gè)新的高度。這家公司的產(chǎn)品成熟度很高，隨時(shí)可以安排進(jìn)行POC或者批量化部署。?

4.1 Core Value

?

傲睿智存的核心價(jià)值一個(gè)是成本，另一個(gè)是快速部署，這兩個(gè)核心價(jià)值都基于產(chǎn)品的高成熟度以及高度集成，Aupera產(chǎn)品是在Xilinx ZYNQ器件上面的硬件編碼器和硬件解碼器做進(jìn)一步的創(chuàng)新，他們的創(chuàng)新包括在成本控制以及利用AI來(lái)改善畫質(zhì)，同時(shí)還用Video+后期的YOLO模型或者圖片檢測(cè)的其他模型做進(jìn)一步的處理，然后生成感興趣部分的圖片跟蹤，這些已經(jīng)是相當(dāng)成熟的應(yīng)用場(chǎng)景。?

4.2 Transcoding Solution Advantage

??具體來(lái)看，Aupera做了一個(gè)3U尺寸的服務(wù)器大小的盒子，里面包含48個(gè)硬件編解碼器，48個(gè)ZYNQ一起配合可以做到大約30臺(tái)Intel E5 Server的工作任務(wù)，這個(gè)工作任務(wù)會(huì)在ZINK平臺(tái)的基礎(chǔ)上高密度的提供類似的功能，還可以提供AI的能力，我們會(huì)認(rèn)為在AI的輔助下可以用Aupera的技術(shù)方案，在實(shí)時(shí)編解碼方面做到比X264 Medium的圖像質(zhì)量還要好，同時(shí)成本、能源消耗都降到原來(lái)純軟件方案的10%。?

4.3 Aupera Video + AI Solution Advantage

?
Aupera Video+AI的解決方案可以帶來(lái)顯著的好處，這些好處集中表現(xiàn)在以下幾個(gè)方面，比如之前在場(chǎng)地受限的地方部署基架（服務(wù)器+CPU+獨(dú)立設(shè)備做視頻分析），用Aupera 的方案可以在一個(gè)3U的盒子里完成整個(gè)處理流程，而且通道數(shù)在高密度場(chǎng)景可以達(dá)到384個(gè)實(shí)時(shí)處理通道，在低密度場(chǎng)景可以減少處理單元形成更小規(guī)模的部署，這樣低成本、高密度、部署彈性非常大的處理方案，在國(guó)內(nèi)很受歡迎。?

4.4 Video + AI Applications

?Video+AI的解決方案可以提供非常先進(jìn)的平臺(tái)，同時(shí)在平臺(tái)的基礎(chǔ)上Xilinx利用深鑒科技（Deephi）的剪枝、壓縮以及整個(gè)平臺(tái)的能力，在不降低mAP和不損失精度的情況下可以把YOLOv3放在里面，而且能夠做到64幀每個(gè)節(jié)點(diǎn)，相當(dāng)于實(shí)時(shí)。另外在行人臉部檢測(cè)方面都可以做到實(shí)時(shí)的視頻處理，換句話來(lái)說(shuō)就是每一個(gè)ZYNQ做8路，同時(shí)配套相關(guān)的AI檢測(cè)。

LiveVideoStack? 招募

LiveVideoStack正在招募編輯/記者/運(yùn)營(yíng)，與全球頂尖多媒體技術(shù)專家和LiveVideoStack年輕的伙伴一起，推動(dòng)多媒體技術(shù)生態(tài)發(fā)展。同時(shí)，也歡迎你利用業(yè)余時(shí)間、遠(yuǎn)程參與內(nèi)容生產(chǎn)。了解崗位信息請(qǐng)?jiān)贐OSS直聘上搜索“LiveVideoStack”，或通過(guò)微信“Tony_Bao_”與主編包研交流。

如何實(shí)現(xiàn)多Codec實(shí)時(shí)視頻轉(zhuǎn)碼？?——?賽靈思視頻加速技術(shù)專場(chǎng)

從AI到編碼、轉(zhuǎn)碼，硬件加速方案正在扮演越來(lái)越重要的角色。8月23日·北京?| LiveVideoStack聯(lián)合賽靈思，邀請(qǐng)多位專家展現(xiàn)基于FPGA的硬件加速特性，在視頻、圖片編碼與轉(zhuǎn)碼以及AI計(jì)算方面帶來(lái)的收益。

掃描圖中二維碼或點(diǎn)擊【閱讀原文】了解專場(chǎng)細(xì)節(jié)。

總結(jié)

以上是生活随笔為你收集整理的FPGA视频加速的未来的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。