【观察】英特尔：视频行业最佳“合伙人”
申耀的科技觀察
讀懂科技，贏取未來(lái)！
過(guò)去幾年，視頻行業(yè)的創(chuàng)新一浪接著一浪。從最早的搜狐視頻、愛(ài)奇藝和優(yōu)酷為代表的點(diǎn)播平臺(tái)，到花椒、映客和斗魚為代表的直播平臺(tái)，再到快手、抖音為代表的短視頻平臺(tái)。可以說(shuō)，“群雄逐鹿”已成為視頻行業(yè)的主旋律。
根據(jù)CNNIC最新發(fā)布的《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示，截至2019年6月，中國(guó)網(wǎng)絡(luò)視頻用戶（含短視頻）規(guī)模達(dá)7.59億，較2018年底增長(zhǎng)3391萬(wàn)，占網(wǎng)民整體的88.8%。其中長(zhǎng)視頻用戶規(guī)模為6.39億，占網(wǎng)民整體的74.7%；短視頻用戶規(guī)模為6.48億，占網(wǎng)民整體的75.8%。
毫無(wú)疑問(wèn)，視頻行業(yè)之所以能夠快速爆發(fā)，最核心的原因還是源于技術(shù)的成熟。例如，自2015年以來(lái)4G用戶迅速增長(zhǎng)，流量資費(fèi)逐步下降；中國(guó)H.265編解碼的技術(shù)商用在全球處于領(lǐng)先；中國(guó)的云服務(wù)能力的不斷提升；中國(guó)基于CDN網(wǎng)絡(luò)的技術(shù)創(chuàng)新不斷涌現(xiàn)等等。
在此過(guò)程中，作為中國(guó)視頻產(chǎn)業(yè)一路發(fā)展壯大的的見(jiàn)證者，參與者和賦能者，面對(duì)視頻行業(yè)的巨大變化，英特爾也始終站在技術(shù)與應(yīng)用的最前沿，并隨著環(huán)境和客戶需求的變化而不斷的迭代和進(jìn)化，為推動(dòng)視頻行業(yè)的不斷創(chuàng)新帶來(lái)了更多的可能性，并真正成為了他們的最佳“合伙人”。
日前，筆者也首次走入搜狐視頻和快手兩家公司，并聆聽(tīng)他們和英特爾在聯(lián)合創(chuàng)新中的幕后故事，由此更近距離感受到了技術(shù)創(chuàng)新給整個(gè)視頻行業(yè)帶來(lái)的巨大“驅(qū)動(dòng)力”。
搜狐視頻：全方位聯(lián)合創(chuàng)新
如果要論資排輩的話，搜狐視頻絕對(duì)算的上視頻領(lǐng)域的“老前輩”。不過(guò)，和其他視頻網(wǎng)站的戰(zhàn)略不同，過(guò)去兩年搜狐視頻逐步退出了瘋狂的天價(jià)頭部版權(quán)劇市場(chǎng)，戰(zhàn)略上轉(zhuǎn)移為精品自制劇和PGC自媒體的制作。而《法醫(yī)秦明》、《無(wú)心法師》這樣口碑與流量俱佳的作品，也令搜狐視頻在激烈的廝殺中找到了自我成長(zhǎng)和發(fā)展的獨(dú)特路徑。
在搜狐大數(shù)據(jù)中心負(fù)責(zé)人王帥看來(lái)，隨著視頻行業(yè)逐漸進(jìn)入全平臺(tái)、全媒體化后，視頻行業(yè)的數(shù)據(jù)也出現(xiàn)了“指數(shù)級(jí)”增長(zhǎng)，因此對(duì)計(jì)算能力和平臺(tái)的可靠性、可管理性也提出前所未有的要求。
在此背景下，搜狐早在2011就與英特爾共同成立了聯(lián)合實(shí)驗(yàn)室，雙方每年都會(huì)有十多項(xiàng)的合作項(xiàng)目，涉及領(lǐng)域包括AI、算法、轉(zhuǎn)碼等方面，同時(shí)英特爾最新的硬件、軟件以及前沿技術(shù)也會(huì)率先引入搜狐，真正滿足了搜狐視頻在不同發(fā)展階段的需求。
首先，在視頻轉(zhuǎn)碼領(lǐng)域，我們知道，視頻轉(zhuǎn)碼本質(zhì)上是一個(gè)先解碼，再編碼的過(guò)程，是指將已經(jīng)壓縮編碼的視頻碼流轉(zhuǎn)換成另一個(gè)視頻碼流，以適應(yīng)不同的網(wǎng)絡(luò)帶寬、不同的終端處理能力和不同的用戶需求。
王帥告訴我：“轉(zhuǎn)碼并不復(fù)雜，但是它的挑戰(zhàn)是搜狐視頻是全國(guó)布網(wǎng)，因此需要第一時(shí)間分發(fā)到全國(guó)各地，并且要確保低延時(shí)，這對(duì)平臺(tái)的穩(wěn)定性要求就很高。此外，轉(zhuǎn)碼有不同的格式，有不同的清晰度標(biāo)準(zhǔn)，同樣也對(duì)平臺(tái)的性能有著嚴(yán)苛的要求。”
基于這樣的考量，搜狐視頻在視頻轉(zhuǎn)碼系統(tǒng)中使用了英特爾第二代至強(qiáng)可擴(kuò)展處理器和英特爾傲騰固態(tài)硬盤，不僅提高了視頻轉(zhuǎn)碼的效率，還大大加速了視頻上線速度，更提升了用戶的使用體驗(yàn)。
“目前我們正在使用代號(hào)為Skylake的英特爾6130系列處理器，最新的Cascade Lake的6240系列處理器也正計(jì)劃使用。目前搜狐線上視頻全部采用CPU進(jìn)行轉(zhuǎn)碼，發(fā)揮了英特爾處理器很大的優(yōu)勢(shì)，因?yàn)橛⑻貭柼幚砥鞯暮芏嘀噶罴?jí)優(yōu)化是GPU上完全沒(méi)有的。此外，SSD硬盤我們也全部使用英特爾，主要也是因?yàn)橛⑻貭朣SD在多年使用過(guò)程中穩(wěn)定性非常高，故障率特別的低。”王帥說(shuō)。
其次，在深度學(xué)習(xí)領(lǐng)域，搜狐視頻也正在通過(guò)AI的技術(shù)來(lái)優(yōu)化轉(zhuǎn)碼系統(tǒng)，并展開包括超分辨率、HDR、老劇重生等方面的研究。
在超分辨率方面，搜狐視頻正將深度學(xué)習(xí)技術(shù)與視頻編碼技術(shù)相結(jié)合，開發(fā)了全新的基于深度學(xué)習(xí)的視頻超分辨率轉(zhuǎn)碼系統(tǒng)，實(shí)現(xiàn)將現(xiàn)有的藍(lán)光視頻到4k視頻的無(wú)損轉(zhuǎn)換，可以提供大量的高質(zhì)量4k視頻源。而在HDR方面，搜狐視頻自主研發(fā)的HDR轉(zhuǎn)碼系統(tǒng)，則能實(shí)現(xiàn)將現(xiàn)有的視頻轉(zhuǎn)換為HDR視頻，從而明顯提高主觀效果和視頻VMAF評(píng)價(jià)指標(biāo)，彌補(bǔ)了HDR視頻源不足的缺點(diǎn)。
搜狐視頻HDR優(yōu)化前后對(duì)比圖
在老劇重生方面，搜狐視頻同樣也正利用人工智能技術(shù)與搜狐線上轉(zhuǎn)碼系統(tǒng)相結(jié)合搭建了一套全自動(dòng)的老劇翻新轉(zhuǎn)碼系統(tǒng)，對(duì)老劇進(jìn)行翻新，去除了老劇的模糊，噪聲大，顏色泛黃等種種缺點(diǎn)，極大的提升了老劇畫面質(zhì)量。
據(jù)了解，無(wú)論是超分辨率、HDR還是老劇重生，搜狐視頻同樣和英特爾展開了很多的聯(lián)合創(chuàng)新，比如英特爾不但在硬件方面對(duì)搜狐視頻進(jìn)行支持，在軟件和人工智能等方面也與搜狐一起進(jìn)行合作；此外，搜狐視頻還與英特爾在軟件定義存儲(chǔ)性能優(yōu)化、語(yǔ)音識(shí)別應(yīng)用和推薦系統(tǒng)的加速與優(yōu)化、DPDK網(wǎng)絡(luò)負(fù)載均衡加速等方面也有很多的探索，這對(duì)加速搜狐視頻在深度學(xué)習(xí)領(lǐng)域的應(yīng)用發(fā)揮了重要的價(jià)值。
最后，在私有云領(lǐng)域，搜狐也將英特爾的產(chǎn)品和解決方案廣泛應(yīng)用于自身私有云平臺(tái)的建設(shè)中，這也為搜狐新聞客戶端、狐友、通行證、視頻統(tǒng)計(jì)、廣告、手機(jī)搜狐等業(yè)務(wù)提供了重要的支撐。
例如，在對(duì)象存儲(chǔ)的應(yīng)用中，英特爾至強(qiáng)可擴(kuò)展處理器幫助搜狐利用虛擬化技術(shù)，增加對(duì)象存儲(chǔ)平臺(tái)的服務(wù)節(jié)點(diǎn)。測(cè)試數(shù)據(jù)顯示，在部署英特爾英特爾至強(qiáng)可擴(kuò)展處理器之后，單個(gè)宿主機(jī)建立的虛機(jī)數(shù)量比原來(lái)提升了15%，單個(gè)節(jié)點(diǎn)的整體QPS提升在20%左右，由此進(jìn)一步降低機(jī)房和機(jī)架成本。
王帥表示：“為了達(dá)到極高的性能，搜狐和英特爾在此過(guò)程中也做了大量的優(yōu)化工作，最大化的發(fā)揮了英特爾在計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)帶寬等領(lǐng)域的優(yōu)勢(shì)，今天搜狐所有主要數(shù)據(jù)中心機(jī)房互聯(lián)都實(shí)現(xiàn)了百G以上的互聯(lián)，而且可以完成快速擴(kuò)容，這些都為搜狐的私有云平臺(tái)打下了堅(jiān)實(shí)的基礎(chǔ)。”
由此可見(jiàn)，正是對(duì)搜狐視頻在基礎(chǔ)設(shè)施升級(jí)和轉(zhuǎn)型中痛點(diǎn)的精準(zhǔn)把握，以及在產(chǎn)品中堅(jiān)持不斷的創(chuàng)新迭代，英特爾不僅贏得了搜狐視頻的充分的信任和認(rèn)可，更推動(dòng)了搜狐視頻將技術(shù)實(shí)力轉(zhuǎn)化成更為廣泛的行業(yè)生產(chǎn)力。
快手：異構(gòu)計(jì)算驅(qū)動(dòng)AI落地
短視頻，目前也成為了跟微信一樣普及的國(guó)民應(yīng)用，堪稱過(guò)去兩年互聯(lián)網(wǎng)行業(yè)的“現(xiàn)象級(jí)”爆款產(chǎn)品，而快手更是其中的“佼佼者”。
數(shù)據(jù)顯示，2018年，快手短視頻App日活達(dá)到2億人次，日播放量達(dá)200億；大約每7個(gè)中國(guó)人中就有一個(gè)快手的內(nèi)容生產(chǎn)者，日均新增作品超過(guò)1500萬(wàn)個(gè)；同時(shí)，有1600多萬(wàn)人通過(guò)快手App獲得收益，總體收入超過(guò)200億。
同樣，短視頻也是一個(gè)典型的技術(shù)驅(qū)動(dòng)型的行業(yè)，而AI技術(shù)則是其中最為重要的環(huán)節(jié)。因此，作為一家AI加大數(shù)據(jù)驅(qū)動(dòng)的公司，快手也洞察到了這一新的變化，并通過(guò)積極擁抱異構(gòu)計(jì)算，走在了AI技術(shù)應(yīng)用的最前沿。
據(jù)快手異構(gòu)計(jì)算架構(gòu)師鐘輝介紹，人工智能需要大量的樣本進(jìn)行訓(xùn)練，但隨著人工智能的應(yīng)用越來(lái)越廣，訓(xùn)練數(shù)據(jù)的樣本量越來(lái)越大，對(duì)并行存儲(chǔ)容量和帶寬都提出了新的要求。
“目前CPU的性能提升每年是3%，但是數(shù)據(jù)的增長(zhǎng)率是30%，所以供需之間有一個(gè)巨大的缺口。如果我們簡(jiǎn)單采用單一處理器的方式必然在成本、功耗上，在機(jī)架位，以及散熱等方面會(huì)帶來(lái)很多部署的挑戰(zhàn)。”他說(shuō)。
那么，解決這一問(wèn)題唯一途徑就是硬件采用特定域的架構(gòu)（Domain Specific Architecture），這就是異構(gòu)計(jì)算。目前，異構(gòu)計(jì)算包括GPU、FPGA和ASIC三種方式，其中FPGA因低功耗、低延遲、高性能、可編程等特點(diǎn)，如今已成為線上推理平臺(tái)的重要選項(xiàng)。
鐘輝認(rèn)為：“一方面GPU在線下的訓(xùn)練領(lǐng)域取得了很大的成功，但它不太擅長(zhǎng)實(shí)時(shí)推理的應(yīng)用場(chǎng)景；另一方面，FPGA相對(duì)GPU還有一個(gè)獨(dú)特的優(yōu)勢(shì)，那就是它具備網(wǎng)卡口，在通信領(lǐng)域能夠發(fā)揮更多的價(jià)值，因此FPGA在異構(gòu)計(jì)算時(shí)代一定大有用武之地。”
目前，快手本著“從業(yè)務(wù)中來(lái)到業(yè)務(wù)中去”的原則，基于英特爾FPGA提供的PAC A10、E3S10和PAC S10板卡，已經(jīng)構(gòu)建出了三大類型的異構(gòu)計(jì)算平臺(tái)。
其中，基于英特爾PAC A10，它的峰值算力可以達(dá)到1.366TFLOPS，構(gòu)成了片上的分布式存儲(chǔ)，可以提供6MB的SRAM；更關(guān)鍵的是，區(qū)別于CPU和GPU，它的片上的SRAM采用分布式的方式，可以提供最高達(dá)8TB/s的并行帶寬；而PAC S10算力更強(qiáng)，存儲(chǔ)的容量更大，資源更豐富，這些板卡可以非常高效的滿足深度學(xué)習(xí)模型的需求。
此外，英特爾E3S10，這是一個(gè)更大的加速卡，這個(gè)大加速卡上面是E3的CPU，視頻編解碼能力非常強(qiáng)，同時(shí)還有專門的GPU，然后再加上S10的FPGA，就構(gòu)成了一個(gè)比較齊全的異構(gòu)加速卡，這里面既有CPU又有GPU還有FPGA，可以很好的實(shí)現(xiàn)視頻和AI的應(yīng)用結(jié)合。
不僅如此，鐘輝表示：“傳統(tǒng)的FPGA開發(fā)有一個(gè)非常大的問(wèn)題，那就是開發(fā)周期非常長(zhǎng)，但現(xiàn)在英特爾推出了OpenCL的開發(fā)語(yǔ)言，更好的降低了開發(fā)難度，雖然還不能像軟件一樣去做硬件，但是對(duì)于有一定硬件背景設(shè)計(jì)人員來(lái)說(shuō)，開發(fā)難度和周期非常明顯的降低了。”
事實(shí)上，從快手基于OpenCL的定制化開發(fā)案例來(lái)看，其在數(shù)據(jù)中心部署FPGA的挑戰(zhàn)可以歸結(jié)為既要“上天”又要“入地”。
一是，“上天”是指FPGA是部署在云上的，所以快手需要解決的首要問(wèn)題是需要在數(shù)據(jù)中心找到合適的業(yè)務(wù)場(chǎng)景，能夠提供有價(jià)值的解決方案，它需有一定的通用性和規(guī)模化的。
二是，“入地”則指的是部署，包括在成本上一定要有競(jìng)爭(zhēng)力，這樣業(yè)務(wù)才有動(dòng)力去采購(gòu)；同時(shí)部署的可靠性、穩(wěn)定性、能耗比上也要有競(jìng)爭(zhēng)力。更重要的是，規(guī)模化部署，容器化也是必需的，這樣才能夠好的解決資源的彈性部署。
鐘輝說(shuō)，以DRN（Deep Ranking Network）加速為例，當(dāng)時(shí)快手商業(yè)化部門的排序網(wǎng)絡(luò)在業(yè)務(wù)高峰期出現(xiàn)了抖動(dòng)，需要采用異構(gòu)方案來(lái)做加速。考慮到其中以計(jì)算為主的工作負(fù)載占到了CPU負(fù)載的50%，所以團(tuán)隊(duì)把計(jì)算這一塊Off-loading到了FPGA上去。”
而在硬件設(shè)計(jì)上，快手的技術(shù)團(tuán)隊(duì)通過(guò)將矩陣乘算法映射到FPGA的陣列結(jié)構(gòu)上。但由于用了上千個(gè)乘法單元，運(yùn)行達(dá)到幾百兆，DDR根本無(wú)法滿足計(jì)算帶寬。所以快手采用了Systolic Array（脈動(dòng)陣列）結(jié)構(gòu)，把輸入數(shù)據(jù)放到分布式的SRAM上，從而提供了這個(gè)應(yīng)用要求的算力和帶寬，同時(shí)降低了功耗。
最終通過(guò)對(duì)FPGA的定制化開發(fā)，快手的FPGA方案與CPU方案相比，延遲降低了約1.5倍，最大吞吐大概提升了1.7倍左右，功耗有接近5倍的降低，從功耗效率來(lái)說(shuō)更是提升了近8倍。
“目前快手已經(jīng)在數(shù)據(jù)中心規(guī)模化部署FPGA，用于承載商業(yè)化業(yè)務(wù)場(chǎng)景，從FPGA在數(shù)據(jù)中心落地的角度來(lái)講也是屬于業(yè)界比較領(lǐng)先的。通過(guò)雙方一系列的合作創(chuàng)新，我們能充分感受到英特爾FPGA在數(shù)據(jù)中心領(lǐng)域更具前沿，相關(guān)工具鏈比較成熟。未來(lái)我們也會(huì)積極結(jié)合業(yè)務(wù)需要探索更多基于英特爾FPGA的應(yīng)用。”鐘輝最后說(shuō)。
不難看出，通過(guò)英特爾FPGA提供的可定制化的開發(fā)能力，為快手在人工智能領(lǐng)域的應(yīng)用插上了“騰飛的翅膀”，同時(shí)更讓快手在AI領(lǐng)域的探索和創(chuàng)新起到了很好的助推價(jià)值和作用。
英特爾：視頻行業(yè)最佳“合伙人”
從搜狐視頻以及快手的案例中，我們也能看到，在這背后不僅是英特爾與時(shí)俱進(jìn)、響應(yīng)用戶需求的最新舉措，更是它始終洞察整個(gè)視頻行業(yè)市場(chǎng)需求變化，在技術(shù)和業(yè)務(wù)上保持高強(qiáng)度自我迭代和進(jìn)化的重要印證，具體來(lái)說(shuō)：
第一，英特爾在技術(shù)創(chuàng)新方面深度、廣度和強(qiáng)度，保證了它在技術(shù)上的領(lǐng)先性，這為賦能客戶提供了強(qiáng)大的支持。
可以看到，英特爾除了和快手在FPGA領(lǐng)域展開合作之外，還為其提供了OpenVINO、英特爾傲騰數(shù)據(jù)中心級(jí)持久內(nèi)存、英特爾第二代至強(qiáng)可擴(kuò)展處理器等技術(shù)，并通過(guò)MKL-DNN（數(shù)學(xué)核心函數(shù)庫(kù)）、高性能編譯器、人工智能框架優(yōu)化方案等，使得快手的推薦系統(tǒng)使用的AI算法效率大幅提升，而這正是得益于英特爾強(qiáng)大的技術(shù)創(chuàng)新能力提供的“技術(shù)底座”支撐。
第二，英特爾的優(yōu)勢(shì)不僅建立在對(duì)技術(shù)的不斷創(chuàng)新與研發(fā)上，對(duì)視頻行業(yè)用戶需求的深刻理解和洞察，又為英特爾的不斷突破提供了新的驅(qū)動(dòng)力。
在搜狐視頻的合作中，英特爾深知CSP對(duì)于降低TCO成本的訴求。為此，每年升級(jí)換代的處理器都做到了“加量不加價(jià)”，如王帥所言：“英特爾每一代的產(chǎn)品升級(jí)盡管性能提升很多，但在成本方面并沒(méi)有給我們帶來(lái)太大的壓力，而如果規(guī)模化的采購(gòu)，其性價(jià)比的優(yōu)勢(shì)還會(huì)得到更大的凸顯，這也讓我們難以拒絕。”
第三，英特爾還始終以“場(chǎng)景優(yōu)先”為導(dǎo)向，通過(guò)不斷的技術(shù)和場(chǎng)景的聯(lián)合創(chuàng)新，英特爾更幫助了視頻行業(yè)用戶更好的應(yīng)用了新技術(shù)。
例如，利用英特爾的技術(shù)，搜狐視頻很好的展開了針對(duì)超分辨率、HDR、老劇重生方面的研究；再如，快手日均新增超1500萬(wàn)部作品，在這背后越來(lái)越大的算法模型無(wú)疑都為存儲(chǔ)、傳輸和計(jì)算帶來(lái)了巨大的挑戰(zhàn)，而通過(guò)英特爾FPGA提供的異構(gòu)計(jì)算平臺(tái)的支撐，快手不但輕松化解了所面對(duì)的一系列挑戰(zhàn)，更加速了自身在AI領(lǐng)域的探索和落地。
總的來(lái)說(shuō)，視頻行業(yè)是一個(gè)技術(shù)驅(qū)動(dòng)的行業(yè)，但也要看到并非每一個(gè)視頻平臺(tái)都能夠在專注于業(yè)務(wù)創(chuàng)新的同時(shí)，還能夠有足夠的能力走向技術(shù)創(chuàng)新，這需要一個(gè)在技術(shù)上非常領(lǐng)先的合作伙伴，而英特爾強(qiáng)大的技術(shù)能力以及對(duì)視頻行業(yè)的深刻洞察，無(wú)疑就是視頻平臺(tái)走向未來(lái)的最佳“合伙人”。
申耀的科技觀察，由科技與汽車跨界媒體人申斯基（微信號(hào)：shenyao）創(chuàng)辦，16年媒體工作經(jīng)驗(yàn)，擁有中美兩地16萬(wàn)公里自駕經(jīng)驗(yàn)，專注產(chǎn)業(yè)互聯(lián)網(wǎng)、企業(yè)數(shù)字化、渠道生態(tài)以及汽車科技內(nèi)容的觀察和思考。
總結(jié)
以上是生活随笔為你收集整理的【观察】英特尔：视频行业最佳“合伙人”的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： New Concept English
- 下一篇： [翻译]Orchard如何工作