本文整理自LiveVideoStack 線上交流分享，本次分享由賽靈思數據中心產品經理梁曉明介紹Xilinx的視頻解決方案，由賽靈思高級策略應用工程師張吉帥以及賽靈思高級現場應用工程師趙春曉來負責答疑環(huán)節(jié)的問題。

文/梁曉明 張吉帥 趙春曉整理/LiveVideoStack

大家好，我是賽靈思數據中心產品經理梁曉明，本次分享的主要內容是Xilinx的視頻解決方案，Xilinx作為一家平臺性的公司，會把硬件、硅片作為基礎平臺交付給業(yè)界有強大開發(fā)能力的合作伙伴，合作伙伴在Xilinx的硅片、器件和平臺上堆疊他們的軟件解決方案和服務。今天所介紹的合作廠商的方案都是基于Xilinx的平臺。2019年7月1日，Xilinx收購了NGCodec，NGCodec能夠提供非常好的基于FPGA的云上視頻解決方案，同時Xilinx也提供包括ZYNQ里面內嵌的VCU硬件的H.264、H.265編碼器和解碼器，這部分功能會被Xilinx其他的合作伙伴V-Nova和Aupera都可以在硬件編碼器的基礎上做進一步集成和應用，這部分的工作都是基于Xilinx平臺。同時Xilinx也會提供軟件方面的堆棧，軟件的堆棧會支持無縫的FFmpeg以及其他的實時視頻Live Video的軟件堆棧進行集成。DeePoly和CTAccel這兩家都可以提供非常高性能的圖片處理方案，以下將會對之前提到的解決方案做具體介紹。

1.?Xilinx Acquires NGCodec for Cloud Video

?
Xilinx收購NGCodec目的在于發(fā)展云視頻的市場，Xilinx作為一家主要的世界級FPGA和平臺的廠商，主要的技術是Ultrascale+和Versal FPGAs，在這兩個平臺的基礎上可以開發(fā)基于FPGA非常高性能的編碼器和解碼器，可以是H.264、H.265這樣相對較成熟的，也可以是將來的AV1、H.266這些比較新的編碼器，同時也可以在這個平臺為已有的編碼器附加類似AI的場景識別和全新的編解碼標準，比如下面將會提到的V-Nova帶來的新編碼方式，這些技術都會堆疊在Xilinx的平臺上，Xilinx的加速平臺是構建在軟件定義加速器SDAccel基礎平臺上，這是一套完整的工具鏈以及平臺的支撐套件，同時Xilinx也提供Alveo Board Products，提供數據中心的標準卡，讓各位在各類標卡的業(yè)界廠商，比如另戴爾，Inspur等認證過的標準版卡上部署自己的軟件和加速器等等。Xilinx通過收購獲得的H.264、H.265以及VP9這些基本編解碼單元，從NGCodec收購中主要獲得的是H.265和VP9，這兩個都獲得了業(yè)界的認可和工業(yè)界的應用，之后Xilinx很快也會提供AV1的解決方案。

1.1 New $10B Demand for Cloud Acceleration

??Live Video在2016年大量的工作都是由CPU和GPU共同分擔來完成的，隨著云視頻市場和視頻市場迅速增長，GPU性能增長速度變緩，以及AI的能力變得更加普遍，所以大家會發(fā)現用Xilinx和NGCodec附帶AI的解決方案，和Video+AI的集成方式對比，FPGA會是你理想的平臺。預計FPGA帶來的Video+AI市場增量會超過10 Billion。?

1.2 “Live Video”consumes largest portion of compute

?

當討論“Live Video”的時候，Xilinx想面對的寬度市場分類是那些需要實時處理的視頻，而不是提前處理好放在文件服務器中拿去播放的視頻，如果是放在文件服務器中從OBS中調出來不需要轉碼就可以通過時間軸放出去的視頻叫做File based，也是現在存量比較大的部分。提到Live的部分一般是指體育頻道轉播、游戲實況或者主播直播互動性比較高的場景，這些場景的特點目前已經很普遍了，視頻的質量、互動的程度和投放情況都非常受限。Xilinx的解決方案是幫助你把這部分Live Video，在工作量可能會使CPU、GPU在短時間內無法消化時幫你做的更好。Xilinx在未來會更關注Live Video部分，因為這部分會在新公司、新競爭力和新生產力方面得到極大豐富。?

1.3 Xilinx vs CPU:20x faster@same quality

??Xilinx的平臺和合作伙伴開發(fā)的新解決方案，在保證質量的前提下與CPU相比速度提升了20倍。在談性能時，比如在游戲直播場景中大家會要求60幀每秒的速率，同時要求latency足夠的小，這樣才能帶來更好的用戶體驗。這類應用可以發(fā)現用戶體驗、latency和源端產生的圖像被分發(fā)的過程里latency都是關鍵的指標，這部分工作任務里Xilinx這種定型處理的結構可以把各種圖片源分成1080P、720P甚至480P的分辨率，同時在保證圖片質量的前提推送出去，這樣的工作特別適合FPGA來完成，因為Xilinx有定制的數據通道和硬件編解碼能力，而且還可以用AI做場景識別，Video+AI可以幫助客戶在保持速度的同時保證質量，同時可以在后續(xù)的質量相關環(huán)節(jié)做相應的調校。?

1.4 VMAF

?

談到圖像質量就需要強調VMAF評價指標，在最新的用戶評價方法中，VMAF評價指標是比較被認可的，原因是節(jié)目源在后期處理或重新編碼時會被有意的過一些特別的濾波器，這些濾波器有助于圖像增強，或者是在圖像識別之后把背景或者一些不重要的部分進行碼率降低，把碼率更多的分配在關鍵對象上，這些所有碼率調節(jié)手段以及新的編解碼工具，在某種意義上都會對PSNR產生一些負面影響，但在某些情況處理好的話，會對VMAF主觀評價指標有正向影響。在同樣的VMAF情況下，通?？梢岳酶嗟墓ぞ咴谕瑯拥拇a率上做到更好的圖像質量，或者在同樣的圖像質量上把碼率降下來。?

2.?V-Nova

?

2.1 HD video services over any network

?V-Nova提供的Perseus+IP完成的工作是將較高分辨率圖像通過特殊算法把碼率降到特別低，在播放端把碼率降低的數據進行恢復，在圖像質量相當的情況下極大的降低碼率。?

2.2 Why PERSEUS Plus Xilinx?

?通過新工具和技巧會帶來很多的好處，比如在密度方面可能會增加四倍，相對于軟件來說同樣的Bandwidth savings情況下會提升50倍，同時在帶寬節(jié)省或者其他的技術會不會依賴特定的編碼器，實際上對編解碼算法不太敏感，這個在編碼器外面疊加的Perseus+IP會幫助達成上述的額外好處。?

2.3 PERSEUS:a new approach

?

Perseus+IP可以疊加，且這種疊加方式很快會變成標準，可以看到在即將到來的SMPTE標準組織和MPEG標準組織等都會考慮類似的工具和算法。?

3.?DeePoly

?

3.1 About DeePoly

?

DeePoly深維科技在2016年成立，方案成熟度非常高，而且有規(guī)模部署的能力，在視頻和圖像處理領域做得還不錯。?

3.2 DeePolyLeadership Product - ThunderImage

?現場生產環(huán)境有用到比較重任務的內容，比如轉碼、縮放和各種格式之間的轉化，只要生產環(huán)境中用的是ImageMagick圖片轉化服務器用到一定的數量，都可以使用DeePoly深維科技的方案進行進一步的評估。?

3.3 Benefits od ThunderImage

?

DeePoly深維科技做的東西很簡單，簡單到可以理解為是做圖片轉碼和圖片縮放，甚至是在人工智能的AI流程里做圖片預處理和圖片截取，或者是在手機調用比較大的圖像和網頁時可以自適應的將圖像和網頁適配到手機的屏幕上去，這些工作都需要低延時、高性能的圖片轉碼。在測評的過程中會發(fā)現DeePoly深維科技相較于一個比較不錯的CPU服務器來說可以做到20倍的TPS性能提升，在QoS有五倍的延時降低，在圖片質量及軟件無縫集成方面成熟度都很高。?

4.?Aupera

?

另外一家利用Xilinx平臺做到產業(yè)化的公司傲睿智存（Aupera），他們的口號是要創(chuàng)新，讓Video變得更加生動，將Video+AI帶到一個新的高度。這家公司的產品成熟度很高，隨時可以安排進行POC或者批量化部署。?

4.1 Core Value

?

傲睿智存的核心價值一個是成本，另一個是快速部署，這兩個核心價值都基于產品的高成熟度以及高度集成，Aupera產品是在Xilinx ZYNQ器件上面的硬件編碼器和硬件解碼器做進一步的創(chuàng)新，他們的創(chuàng)新包括在成本控制以及利用AI來改善畫質，同時還用Video+后期的YOLO模型或者圖片檢測的其他模型做進一步的處理，然后生成感興趣部分的圖片跟蹤，這些已經是相當成熟的應用場景。?

4.2 Transcoding Solution Advantage

??具體來看，Aupera做了一個3U尺寸的服務器大小的盒子，里面包含48個硬件編解碼器，48個ZYNQ一起配合可以做到大約30臺Intel E5 Server的工作任務，這個工作任務會在ZINK平臺的基礎上高密度的提供類似的功能，還可以提供AI的能力，我們會認為在AI的輔助下可以用Aupera的技術方案，在實時編解碼方面做到比X264 Medium的圖像質量還要好，同時成本、能源消耗都降到原來純軟件方案的10%。?

4.3 Aupera Video + AI Solution Advantage

?
Aupera Video+AI的解決方案可以帶來顯著的好處，這些好處集中表現在以下幾個方面，比如之前在場地受限的地方部署基架（服務器+CPU+獨立設備做視頻分析），用Aupera 的方案可以在一個3U的盒子里完成整個處理流程，而且通道數在高密度場景可以達到384個實時處理通道，在低密度場景可以減少處理單元形成更小規(guī)模的部署，這樣低成本、高密度、部署彈性非常大的處理方案，在國內很受歡迎。?

4.4 Video + AI Applications

?Video+AI的解決方案可以提供非常先進的平臺，同時在平臺的基礎上Xilinx利用深鑒科技（Deephi）的剪枝、壓縮以及整個平臺的能力，在不降低mAP和不損失精度的情況下可以把YOLOv3放在里面，而且能夠做到64幀每個節(jié)點，相當于實時。另外在行人臉部檢測方面都可以做到實時的視頻處理，換句話來說就是每一個ZYNQ做8路，同時配套相關的AI檢測。

LiveVideoStack? 招募

LiveVideoStack正在招募編輯/記者/運營，與全球頂尖多媒體技術專家和LiveVideoStack年輕的伙伴一起，推動多媒體技術生態(tài)發(fā)展。同時，也歡迎你利用業(yè)余時間、遠程參與內容生產。了解崗位信息請在BOSS直聘上搜索“LiveVideoStack”，或通過微信“Tony_Bao_”與主編包研交流。

如何實現多Codec實時視頻轉碼？?——?賽靈思視頻加速技術專場

從AI到編碼、轉碼，硬件加速方案正在扮演越來越重要的角色。8月23日·北京?| LiveVideoStack聯(lián)合賽靈思，邀請多位專家展現基于FPGA的硬件加速特性，在視頻、圖片編碼與轉碼以及AI計算方面帶來的收益。

掃描圖中二維碼或點擊【閱讀原文】了解專場細節(jié)。

總結

以上是生活随笔為你收集整理的FPGA视频加速的未来的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。