Xilinx:让FFmpeg在FPGA上玩的爽
FPGA讓企業(yè)和開(kāi)發(fā)者有了新的選擇,尤其在高運(yùn)算復(fù)雜度和實(shí)時(shí)音視頻場(chǎng)景下。不過(guò)FPGA也會(huì)帶來(lái)較高的學(xué)習(xí)和開(kāi)發(fā)難度,Xilinx的高級(jí)市場(chǎng)經(jīng)理Sean Gardner告訴LiveVideoStack,Xilinx幾年前就啟動(dòng)了FPGA對(duì)FFmpeg支持的項(xiàng)目,讓FFmpeg開(kāi)發(fā)者可以學(xué)習(xí)和使用FPGA。
文 / Sean Gardner
策劃 / LiveVideoStack
LiveVideoStack:你好Sean,請(qǐng)向我們LiveVideoStack讀者介紹下自己及加入Xilinx的相關(guān)背景。
Sean Gardner:沒(méi)問(wèn)題,大家好,我是Sean Gardner,現(xiàn)任Xilinx的高級(jí)市場(chǎng)經(jīng)理,負(fù)責(zé)制定視頻云的營(yíng)銷策略,非常高興參加本屆LiveVideoStackCon。
加入Xilinx前,我在德州儀器工作,負(fù)責(zé)管理視頻基礎(chǔ)設(shè)施團(tuán)隊(duì),也是視頻分析的全球市場(chǎng)經(jīng)理,這段期間我看清視頻未來(lái)將增長(zhǎng)的軌跡,因職責(zé)在中國(guó)度過(guò)一段重要的時(shí)光,發(fā)現(xiàn)視頻流未來(lái)體量將變得龐大。離開(kāi)德州儀器后,我重新關(guān)注并開(kāi)始尋求加入一家在未來(lái)視頻云市場(chǎng)有巨大潛力的同類公司,尤其是中國(guó)的,但這家公司也需要涉及計(jì)算機(jī)視覺(jué)及機(jī)器學(xué)習(xí)領(lǐng)域,我仍相信視頻與AI融合未來(lái)將無(wú)處不在。幾年前我加入Xilinx,發(fā)現(xiàn)沒(méi)有其它公司如它擁有精湛的技術(shù)來(lái)真正滿足直播視頻流市場(chǎng)的未來(lái)需求。
LiveVideoStack:Xilinx及FPGA目標(biāo)領(lǐng)域及應(yīng)用有哪些?Xilinx FPGA具體可以解決哪些問(wèn)題?
Sean Gardner:好的…如果我理解沒(méi)錯(cuò)的話,你應(yīng)該問(wèn)的是FPGA應(yīng)用于直播視頻流市場(chǎng)哪些領(lǐng)域及為什么?本屆大會(huì)突出的第一個(gè)字及貴司名字里的 「Live」是該問(wèn)題最直觀的回答,Live這個(gè)詞對(duì)我們的需求至關(guān)重要,在于它意味著實(shí)時(shí)實(shí)地的發(fā)生且沒(méi)有延遲。不同于Netflix 這種VOD應(yīng)用,視頻直播講究時(shí)效性,因此有不同的處理要求。非直播視頻應(yīng)用在CPU上運(yùn)行過(guò)許多年,在盡可能降低比特率的情況下,保持視頻質(zhì)量這點(diǎn)做得相當(dāng)不錯(cuò),然而他們確實(shí)存在速度慢且不能實(shí)時(shí)的缺點(diǎn)。這就是FPGA的用武之地,它功能足夠強(qiáng)大,可實(shí)現(xiàn)同等的壓縮率,并處理實(shí)時(shí)視頻,使其對(duì)直播視頻應(yīng)用極具吸引力。
LiveVideoStack:我們知道FPGA比ASIS、ASSP、GPU更靈活,比通用CPU更有效率,展望未來(lái),你認(rèn)為FPGA適用哪些領(lǐng)域及在哪些領(lǐng)域有競(jìng)爭(zhēng)力?
Sean Gardner:是的,這是我常被問(wèn)到的問(wèn)題,也是個(gè)好問(wèn)題,為什么是FPGA而不是ASSP或ASIC,答案是為了滿足未來(lái)不同客戶的需求,硬化視頻處理及軟件可編程性將同時(shí)并存,實(shí)際取決于應(yīng)用程序及視頻負(fù)載量, 通常FPGA及固化硬件的解決方案都有其意義,畢竟沒(méi)有可處理所有事情的完美方案。我認(rèn)為Xilinx作為一家公司,它的目標(biāo)是為客戶提供解決問(wèn)題的所有有效的工具,想想你家里的工具箱,我肯定它不僅只是一把錘子,根據(jù)工作你會(huì)選擇更有效的工具去解決問(wèn)題。Xilinx FPGA不僅具有最優(yōu)的壓縮率及最大的靈活性,我們還在Zynq UltraScale+ 系列中有繼承視頻處理,類似Nvidia或其它設(shè)備所配置的。這些固化視頻處理提供最佳密度,但以放棄FPGA及CPU解決方案中高效的壓縮效率為代價(jià),因此大多數(shù)公司采用FPGA作為最受歡迎的直播視頻流,生成大規(guī)模流量來(lái)節(jié)省最多的帶寬及成本,我們的硬化解決方案應(yīng)用在大量通道但帶寬較少的區(qū)域。
LiveVideoStack:Intel及Nvidia已推出解決方案并提供SDK幫助客戶集成他們的方案,Xilinx如何幫助客戶更快速進(jìn)入市場(chǎng)及集成你們推出的解決方案?
Sean Gardner:是的,最終大家都知道FPGA功能強(qiáng)大,但非常專業(yè)及難開(kāi)發(fā)。了解這點(diǎn)后,幾年前幾個(gè)核心工程師開(kāi)始研究一個(gè)項(xiàng)目,讓任何知道如何使用FFmpeg的人學(xué)會(huì)使用FPGA。今天對(duì)我們故事感興趣的人,尋求視頻加速可購(gòu)買我們?nèi)耎ilinx Alveo PCIe卡,采用FFmpeg將我們的解決方案集成至已有視頻制作流程的,最令人興奮的是不必?fù)?dān)心自身并非FPGA專家。
LiveVideoStack:現(xiàn)在ACAP對(duì)外發(fā)布一些細(xì)節(jié),你如何看待這將改變了FPGA的未來(lái)?
Sean Gardner:我很高興你問(wèn)到之前發(fā)布的一代Versal ACAP芯片,這對(duì)Xilinx和FPGA市場(chǎng)是非常激動(dòng)人心的時(shí)刻。Versal確實(shí)會(huì)讓我們從處理或計(jì)算的立場(chǎng)實(shí)現(xiàn)跨越式的發(fā)展,還做到為全球軟件研發(fā)人員開(kāi)創(chuàng)新技術(shù),我認(rèn)為這相當(dāng)令人振奮。
LiveVideoStack:今年初,你們的CEO Victor Peng說(shuō)未來(lái)Xilinx將把數(shù)據(jù)中心作為全新的重點(diǎn)發(fā)展領(lǐng)域,這是有競(jìng)爭(zhēng)力的市場(chǎng),尤其是機(jī)器學(xué)習(xí)這塊,Xilinx將會(huì)遭遇什么阻礙?及你認(rèn)為該如何競(jìng)爭(zhēng)?
Sean Gardner:對(duì)的,我們的CEO已向市場(chǎng)傳達(dá)Xilinx正在實(shí)施「數(shù)據(jù)中心優(yōu)先」的計(jì)劃,那是長(zhǎng)期發(fā)展的重點(diǎn),現(xiàn)在仍處于初級(jí)階段。正如最近Victor在圣何塞XDF的主題演講中指出,AI及機(jī)器學(xué)習(xí)市場(chǎng)仍處于起步階段且富有活力,這意味需要經(jīng)常變化,因此適應(yīng)性至關(guān)重要。直到市場(chǎng)成熟,我們相信Versal系列產(chǎn)品對(duì)客戶非常重要。我們面臨的挑戰(zhàn)是為客戶面前展示我們精彩的故事,令他們信服Xilinx是優(yōu)秀的合作伙伴。
LiveVideoStack:如今,客戶可以從CPU、GPU、FPGA及ASSPs中做選擇,Xilinx如何幫助開(kāi)發(fā)人員并簡(jiǎn)化FPGA產(chǎn)品研發(fā)?
Sean Gardner:我認(rèn)為關(guān)鍵在于幾年前Xilinx提出一個(gè)長(zhǎng)遠(yuǎn)的愿景,其目標(biāo)是讓Xilinx FPGA更易使用。不需要投入長(zhǎng)期的研發(fā)時(shí)間及知識(shí),任何人可以采用及提取我們?cè)O(shè)備的價(jià)值。例如,我們重要的合作伙伴NGCodec,采用C/C++及舊RTL在我們?cè)O(shè)備開(kāi)發(fā)HEVC及VP9編碼器。另外,正如我之前提及,早期人們可以采用COTS PCIe擴(kuò)展卡在服務(wù)器上集成我們的解決方案,通過(guò)使用FFmpeg及命令行界面,開(kāi)始加速他們所有的視頻負(fù)載量。
總結(jié)
以上是生活随笔為你收集整理的Xilinx:让FFmpeg在FPGA上玩的爽的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Xilinx+AWS F1+VP9带来3
- 下一篇: 魏伟:学习音视频技术要先理论再实现