AI 給我們的生活帶來了許多樂趣，從 AI 美顏到 AI 變臉，再到今年火爆全網(wǎng)的 AI 修復(fù) 1929 年老北京生活的 3 分鐘影像資料和全球首個(gè) 3D 版 AI 合成主播。這些新鮮有趣的應(yīng)用為什么在 2020 年火爆全網(wǎng)？背后推動(dòng)力是什么？

火爆B站的 AI 修復(fù)老北京影像--盲人"爵士"樂隊(duì)

全球首個(gè) 3D 版 AI 合成主播新小微，圖片來自新華社

　　北京國際廣播電影電視展覽會(huì)（BIRTV）2020 期間的一場(chǎng)媒體活動(dòng)上，NVIDIA 專業(yè)可視化亞太區(qū)業(yè)務(wù)主管沈威表示，傳統(tǒng)“離線式”渲染、預(yù)錄式的內(nèi)容無法加入更多互動(dòng)和特效的直播視頻內(nèi)容已經(jīng)不能夠滿足當(dāng)前廣播電視行業(yè)的需求，尤其是當(dāng)下的 AI 時(shí)代。利用 NVIDA GPU 的實(shí)時(shí)光線追蹤技術(shù)及深度學(xué)習(xí)技術(shù)，可以為廣播電影電視行業(yè)帶來更多不一樣的體驗(yàn)。

　　AI 帶給廣電行業(yè)的兩大變革

　　修復(fù)老北京生活影像和 3D AI 主播恰好代表了 AI 給廣播電影電視行業(yè)帶來的兩個(gè)變革——對(duì)過去缺損畫面、素材殘缺像素的“無中生有”，以及實(shí)時(shí)渲染帶來的更強(qiáng)互動(dòng)性。

　　NVIDIA 中國區(qū)高級(jí)技術(shù)市場(chǎng)經(jīng)理施澄秋表示：“我們看到廣電行業(yè)的趨勢(shì)是從 OTT（流媒體服務(wù)）向 SVOD（視頻點(diǎn)播）過渡，并且市場(chǎng)也在蓬勃壯大。在這個(gè)增長過程中，要么內(nèi)容極劇爆炸、要么讓老影片有更高分辨率。”

　　GPU“無中生有”修復(fù)過去

　　7 月份火遍全網(wǎng)的 1929 年的老北京生活視頻，不僅用 AI 對(duì)視頻進(jìn)行上色、補(bǔ)幀、提升了分辨率，還通過時(shí)代原聲還原了老北京味。這個(gè)視頻的火爆離不開新的 AI 算法 DeepRemaster，當(dāng)然也需要有強(qiáng)大硬件作為支撐。

　　為圖像處理而生的 GPU 是不二的選擇。據(jù)悉，NVIDIA 有一項(xiàng)叫做 NGX 的技術(shù)，先用像 DeepRemaster 這樣自動(dòng)完成畫面修補(bǔ)、美化和降噪的 AI 算法對(duì) GPU 進(jìn)行訓(xùn)練，然后 NGX 就能“無中生有”來做畫面插幀、超級(jí)分辨率、慢動(dòng)作等。

　　施澄秋對(duì)雷鋒網(wǎng)表示，對(duì)于插幀而言，如果用傳統(tǒng)的人工方式來做，一天只能做2-3 幀，借助基于 GPU 的 AI 技術(shù)后，一天的插幀和修復(fù)可以達(dá)到百萬幀級(jí)別，這是一個(gè)巨大的效率提升。

　　AI 插幀還能在大幅縮短周期的同時(shí)實(shí)現(xiàn)更好效果。施澄秋以很多電影中都有千軍萬馬的場(chǎng)面舉例，如果用一匹馬復(fù)制，不僅呆板而且運(yùn)動(dòng)軌跡都一樣。但用人工的方式周期長且成本高，借助 NGX 技術(shù)，就可以得到形態(tài)各異的馬。

　　AI 插幀能讓老視頻有更好的流暢度，達(dá)到 1080P 甚至 4K、8K。借助 AI 插幀和著色技術(shù)，還能夠?qū)崿F(xiàn)超級(jí)慢動(dòng)作。超級(jí)慢動(dòng)作是用超高幀率的攝像機(jī)（120 楨/秒、240 楨/秒）拍攝視頻，然后再以低幀率（30 楨/秒、40 楨/秒）播放。

　　但很多素材比如用手機(jī)拍攝的突發(fā)新聞本身就只有 30 楨/秒的幀率，如果做慢動(dòng)作就會(huì)像放幻燈片一樣卡頓。利用 NVIDIA NGX 的“無中生有”技術(shù)生成幀間像素，就可以得到非常平滑逼真的慢動(dòng)作。

　　幀率決定著視頻的流暢度，分辨率更直接的影響著觀感。“SUPER-RES（超級(jí)分辨率）不是新概念，以前要實(shí)現(xiàn) SUPER-RES 可能需要非常昂貴的硬件，且制作周期非常長，現(xiàn)在利用我們的 NGX AI 技術(shù)就可以做實(shí)時(shí) 4K 分辨率的超級(jí)分辨率。” 施澄秋表示。

　　那效果如何？當(dāng)虹科技就基于 NVIDIA 圖靈（Turing）架構(gòu) GPU 推出了離線超級(jí)分辨率產(chǎn)品，支持標(biāo)清轉(zhuǎn)高清/4K、高清轉(zhuǎn) 4K/8K 等。借助 AI 算法訓(xùn)練高頻細(xì)節(jié)，實(shí)現(xiàn)高保真縮放。

當(dāng)虹科技 AI 超分技術(shù)

　　還有強(qiáng)氧科技的 DaVinci Resolve，這是一款融合了專業(yè) 8K 剪輯、調(diào)色、視覺特效和音頻后期制作工具。能夠通過插補(bǔ)幀做慢動(dòng)作，驚艷的自動(dòng)調(diào)色，也能做匹配內(nèi)容、物體自動(dòng)移除等。

　　值得注意的是，當(dāng)虹科技和強(qiáng)氧科技都提到了 NVIDIA 實(shí)時(shí)光線追蹤 GPU 的性能優(yōu)勢(shì)。根據(jù)當(dāng)虹科技給出的數(shù)據(jù)，不同的 NVIDIA GPU 的 AI 超分深度學(xué)習(xí)推理性能相比 CPU 有 10 倍到 25 倍不等的性能優(yōu)勢(shì)。

　　強(qiáng)氧科技給出的 4K BRAW、6K BRAW、8K BRAW 的測(cè)試顯示，NVIDIA 的 Quadro RTX 6000 相比 CPU 也有 2 倍左右的性能優(yōu)勢(shì)。

　　GPU 實(shí)時(shí)渲染增強(qiáng)互動(dòng)性

　　“無中生有”技術(shù)更多的是對(duì)已有視頻素材的增強(qiáng)，面向未來，GPU 帶來的是互動(dòng)效果的增強(qiáng)，讓廣電的單向推薦也借 GPU 的 AI 功能變成雙向智能推薦。

　　文中開頭提到的 AI 合成的主播，其實(shí) 2018 年就已經(jīng)有，但受限于當(dāng)時(shí)的 AI 技術(shù)以及計(jì)算、渲染能力，那時(shí)的 AI 主播只有面部表情，沒有肢體動(dòng)作等。因此，今年全國兩會(huì)期間進(jìn)行新聞資訊播報(bào)的 3D 版 AI 主播新小微一亮相就獲得了極大的關(guān)注。

圖片來自新華社

　　GPU 的實(shí)時(shí)渲染能力決定著數(shù)字人的逼真程度，據(jù)悉，要實(shí)現(xiàn)一個(gè)特別寫實(shí)的數(shù)字人，臉部的模型、加上毛發(fā)等面數(shù)接近 500-600 萬。這個(gè)量級(jí)上，要做到面部表情、整個(gè)身體實(shí)時(shí)驅(qū)動(dòng)，需要幀率保持在 50-60 幀之間，因此算力是主要的瓶頸所在。

　　博采傳媒前期部總監(jiān)沈辰奇也表示：“2017 年我們推出了國內(nèi)第一部全部用 GPU 渲染而成的動(dòng)畫電影《昆塔：反轉(zhuǎn)星球》，GPU 渲染比以前用 CPU 渲染的成本優(yōu)秀太多，但仍然是我們制作流程的一個(gè)瓶頸。”

　　施澄秋說：“GPU 在 3D 建模、3D 圖形圖像電視廣電素材的片源制作中非常有優(yōu)勢(shì)。圖靈架構(gòu)的 RTX GPU 非常擅長實(shí)時(shí)渲染，能夠滿足數(shù)字人的渲染能力和算力要求。另外，交互式、對(duì)話式 AI 也可以應(yīng)用到數(shù)字人中。”

　　嘗到了 GPU 渲染整片的甜頭，博采傳媒在繼續(xù)探索純第二部 GPU 渲染動(dòng)畫時(shí)，想要實(shí)現(xiàn)基于 Unreal Engine（虛幻引擎）實(shí)現(xiàn)虛擬場(chǎng)景的反向投射。投射屏的尺寸規(guī)劃是 800 平米，驅(qū)動(dòng)這個(gè)巨型屏用 NVIDIA GPU 進(jìn)行實(shí)時(shí)渲染測(cè)試還是有點(diǎn)慢。

　　“我們最后選擇了 NVIDIA RTX 8000，利用 nDisplay 技術(shù)，實(shí)時(shí)驅(qū)動(dòng) 1.8 億個(gè)像素點(diǎn)。在實(shí)際拍攝時(shí)，攝影基地的景深和透視的變化完全同步匹配。這其中革命性的意義在于把后期合成的環(huán)節(jié)砍掉，做到所見即所得。”沈辰奇指出。

　　解決了拍攝背景的問題，博采傳媒開發(fā)了一個(gè)基于超寫實(shí)的數(shù)字人項(xiàng)目，可以用于代言、直播等。

基于虛幻引擎的天氣播報(bào)，圖片來自 unrealengine

　　數(shù)字人是給觀眾帶來不一樣的體驗(yàn)，Epic Games 的虛幻引擎則幫助創(chuàng)作者更好的創(chuàng)新，它被越來越多地用來做實(shí)時(shí)預(yù)覽、特效預(yù)中期預(yù)演、后期預(yù)演等。Epic Games China 商務(wù)發(fā)展經(jīng)理徐良安表示：“虛幻引擎不僅可以讓所有參與制作的人員都可以實(shí)時(shí)修改，實(shí)時(shí)看到效果，具有很大的靈活性，還能大大節(jié)約成本。”

　　虛幻引擎和 nDisplay 技術(shù)不僅可以用于線性內(nèi)容拍攝，還可以把場(chǎng)景分單元或者分組投射到不同屏幕上并進(jìn)行融合，在演唱會(huì)上讓觀眾和表演者能夠更好的互動(dòng)。Epic Games 也和美國著名說唱歌手 Travis Scott 合作，在《堡壘之夜》游戲中進(jìn)行演出，讓粉絲可以一邊玩游戲一邊觀看演唱會(huì)，實(shí)現(xiàn)了很好的傳播。

　　實(shí)時(shí)渲染正在打破行業(yè)的邊界。新奧特產(chǎn)品中心總監(jiān)王寧也表示：“去年開始，4K、8K 的內(nèi)容越來越廣泛。以前我們是通過 CPU 進(jìn)行渲染加速，CPU 能處理更多線程，但實(shí)時(shí)渲染能力不強(qiáng)，所以我們選擇了 NVIDIA 的 RTX 系列 GPU。特別是像我們石墨超清在線需要實(shí)時(shí)呈現(xiàn)到大屏幕的，需要 GPU 的顯存能力。”

　　除此之外，基于 GPU 的 AI 也能應(yīng)用到智能插播廣告，通過 AI 算法插入5-10 秒的廣告，既不影響觀眾的收看體驗(yàn)，也讓廣電的互動(dòng)變成雙向互動(dòng)。

　　SDI 轉(zhuǎn)向 IP，高清視頻的時(shí)代即將到來

　　性能更強(qiáng)的圖靈架構(gòu) RTX GPU 是讓老北京視頻、數(shù)字人在 2020 年備受關(guān)注的重要因素，但這些 AI 應(yīng)用能否普及還有一個(gè)關(guān)鍵因素——視頻傳輸。NVIDIA Mellanox 高級(jí)市場(chǎng)開發(fā)經(jīng)理陳龍指出，1080P 以前，廣電行業(yè)的視頻傳輸靠 SDI （Serial Digital Interface，數(shù)字分量串行接口）。隨著 4K 和 8K 業(yè)務(wù)的興起，SDI 不能滿足 4K 視頻 8G-9G 的傳輸帶寬需求。

　　如果用 4 根 3G 帶寬的 SDI 傳輸 4K 視頻，成本變高且組網(wǎng)復(fù)雜。直接換 12G 帶寬的 SDI，由于高速信號(hào)在 SDI 銅纜中傳輸距離和速率成反比，只能傳輸大概 50 米的距離，不能滿足廣電行業(yè)需求。8K 的最低帶寬需求將達(dá)到 25G-140G，SDI 更難以滿足需求。

　　“我們判斷，SDI 轉(zhuǎn)向數(shù)據(jù)中心里的 IP 解決方案是大概率事件，后者不僅成本比定制化 SDI 成本更低，帶寬也更高。” 陳龍介紹。

　　但 SDI 轉(zhuǎn)換為 IP 解決方案之后，終端 CPU 處理協(xié)議棧的負(fù)載就會(huì)大幅上升。為此，Mellanox 的網(wǎng)卡集成了 Rivermax 技術(shù)，解決 SDI 轉(zhuǎn) IP 化之后傳輸標(biāo)準(zhǔn)的問題，也就是通過這個(gè)技術(shù)發(fā)送符合 SDI 要求的數(shù)據(jù)。另外，借助是 Kernel Bypass 技術(shù)，將協(xié)議棧的大量負(fù)載放在網(wǎng)卡，大幅降低 CPU 的負(fù)載。

　　還有 Frames 技術(shù)，網(wǎng)卡把接收到的每一行像素整合成一張圖片后再傳輸給 CPU，也可以降低 CPU 的使用率。Mellanox 的網(wǎng)卡也支持虛擬化和云化，能夠滿足高清視頻傳輸?shù)姆€(wěn)定性要求，也有助于開拓更廣闊的市場(chǎng)。

　　IP 解決方案優(yōu)勢(shì)明顯，但也面臨一層的鏈路、二層的邏輯鏈路、三層路由轉(zhuǎn)發(fā)、報(bào)文緩存等問題，帶來了故障的排查就非常復(fù)雜。這需要 What Just Happened 技術(shù)，實(shí)時(shí)監(jiān)測(cè)交換機(jī)的狀態(tài)，以及網(wǎng)卡內(nèi)部的一些信息，有助于故障的診斷和排查。

　　陳龍說：“要 IP 化，只需要將價(jià)格昂貴的 SDI 加速卡換為 Mellanox 的網(wǎng)卡，可以支持 10G、25G、50G、100G、200G 乃至 400G 的傳輸帶寬。當(dāng)設(shè)備 IP 化之后，不僅解決了傳輸帶寬不夠、傳輸距離過短的主要的痛點(diǎn)，還降低了整個(gè)設(shè)備的采購成本。除此之外，因?yàn)楸旧?IP 是一個(gè)彈性的管道，在 IP 之上能夠傳輸任意格式的報(bào)文。”

　　雷鋒網(wǎng)了解到，Mellanox 已經(jīng)與全球各大視頻解決方案合作商開發(fā)了不同的產(chǎn)品，打入了 NBC、BBC、CNN 等著名的視頻內(nèi)容提供商。

　　雷鋒網(wǎng)小結(jié)

　　廣電行業(yè)正在越來越多地探索與 AI 的結(jié)合，基于更強(qiáng)大的 GPU 和優(yōu)化的技術(shù)，AI 正越來越多的應(yīng)用于提升分辨率，包括降噪、插幀、插植等應(yīng)用中，讓珍貴的舊視頻煥發(fā)新的生命力，再次吸引大家的注意力。同時(shí)，GPU 更強(qiáng)大的實(shí)時(shí)渲染能力也讓直播或者視頻內(nèi)容的制作增加了更多互動(dòng)和特效，更加靈活和高效的創(chuàng)作方式打破了行業(yè)的邊界，為未來的創(chuàng)新奠定基礎(chǔ)，當(dāng)然，這里面還需要 SDI 專向 IP 解決方案，滿足 4K/8K 的視頻傳輸需求。

　　面向數(shù)據(jù)中心的安培架構(gòu) A100 GPU 已經(jīng)在 5 月推出，安培架構(gòu)游戲 GPU+Mellanox 網(wǎng)卡又會(huì)把專業(yè)可視化行業(yè)引向何方？

總結(jié)

以上是生活随笔為你收集整理的老北京生活影像和3D AI主播为什么在2020年火爆全网？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。