英特爾居然用英偉達顯卡，給GTA5做了個畫質增強補丁？

沒錯，畫面億點點接近真實世界的那種：

有點意思。

更有意思的是，據英特爾表示，這個補丁在Geforce RTX 3090 GPU上，完成一次畫質增強推理，只需要半秒鐘的時間。

效果也確實不錯，看起來就像是自家行車記錄儀拍的：

就連增強后的草地和瀝青路面（右側），看起來也更真實了：

簡直就像是在洛杉磯（GTA5取景地）實地飆車一樣，而且絲毫不擁堵！

網友表示，這簡直是個巨大的飛躍，而且研究不是出自英偉達或者AMD，竟然是來自英特爾！

不過，英特爾怎么想起來搞計算機圖形學方面的研究了？

畢竟，去年11月份，英特爾正式宣布推出他們的Iris Xe MAX獨立顯卡，研究已經在進行中了。

這波啊，這波英特爾在大氣層。（手動狗頭）

所以，這個畫質增強補丁，究竟給GTA5的畫面“施了什么魔法”？

不用光追，3點改變讓圖像更真實

通常來說，用GAN就能實現類似的逼真圖像，例如將一匹馬轉換成斑馬。

△用GAN生成的斑馬

然而，用GAN會產生一個問題。

如果只用圖片作為輸入，生成的圖像雖然逼真，卻不可避免地會出現偽影等現象（圖中閃爍、斑馬身上不時出現棕色淺影）。

通常來說，偽影產生的原因之一，是生成器在將低分辨率圖像轉換成高分辨率圖像時，需要進行反卷積，這容易出現不均勻重疊、產生某些抽象部分，并出現某些色塊漂移的情況。

為了解決這一問題，研究人員將圖片作為輸入的同時，還給它加上了更多的限定信息——

這些信息，是GTA5游戲引擎在渲染場景時，產生的一組中間緩沖區（G-Buffer），里面包含了幾何形狀、物體材質和光照等物理信息。

將這些物理信息與圖像一起輸入模型，就能避免網絡在改變圖像風格時，連著物理信息也一塊改變了。

這樣，既能增加圖像真實性、又能減緩偽影出現的情況。

輸入指標有了保障，就可以放心開始生成圖像了。

整體來看，這個模型分為兩部分：用圖像增強網絡生成圖像，并以感知鑒別器和LPIPS指標，來判斷生成圖像的真實性、相似性。

首先，來看生成部分。

研究人員發現，要想讓GTA5中的圖像看起來更真實，有3點特征可以改變：

增加汽車的光澤

改善植被的整體外觀

讓瀝青路面看起來更光滑

為此，圖像增強網絡（架構基于HRNetV2）本身，采用了KITTI、Cityscapes和Mapillary Vistas三個數據集進行訓練，分別學習這些特征。

△圖像增強網絡

其中，采用KITTI數據集訓練網絡，以增強GTA5中的汽車光澤（傳說中的拋光）：

再采用Cityscapes訓練，模擬出更接近真實世界的氣候情況（這里模擬了德國氣候）：

最后，用Mapillary Vistas數據集進行訓練，以模擬出更光滑的瀝青路面：

這樣，相比于GTA5中的動畫場景，生成的圖像車子會反光、植被更豐富、路面也更平坦了，看起來更接近真實世界。

然后，就是鑒別部分了。

這部分包括感知鑒別器、和一個名為LPIPS（Learned Perceptual Image Patch Similarity）的指標，分別評估生成圖像的真實性、以及與輸入圖像之間的相似性。

鑒別器包含分割網絡和VGG-16兩部分，用來對生成圖像和現實場景中的圖像進行對比，并給生成圖像進行打分，越真實分數越高。

至于LPIPS，則是一個指標，用來評估生成圖像與最初輸入的圖像之間的“感知相似度”。

與其他模型相比，效果如何？

論文將Intel的模型，與ColorTransfer、SPADE、WCT2、CUT、TSIT等模型進行了對比。

從視頻中來看，Intel的模型生成的結果，基本都能保持與GTA5原始圖像一致的結構。

但其他模型卻暴露了一些不足，其中效果最糟糕的是SPADE，根本無法生成相應的場景布局。

再比如，ColorTransfer無法修改紋理，因此欠缺了一些真實感：

WCT2在很大程度上，要受到參考圖像質量的限制，生成效果不穩定：

在TSIT和MUNIT中，模型生成了額外的樹木，甚至還有無法去除的偽影：

比起使用感知損失的其他方法，Cycada使用了更明確的語義信息，效果更好。

但是類似地，在CUT和Cycada中，也出現了車標偽影的情況，CUT中的一些整體場景不堪忍睹：

這些樹木、車標等偽影，在一定程度上是由于統一采樣和較大的圖塊導致的。

而Intel研究團隊以較小的圖塊進行采樣，減少了源數據集和目標數據集之間的不匹配。

從感知效果上來看，這些模型生成的圖像，都比GTA要更“真實”。

從各項指標來看，Intel的模型綜合表現也是最優的（數值越低，效果越好）。

不過，新模型也有不太完美的地方，進行增強后的路人效果還是一般，看起來不太真實。

當然，這也和采用的訓練數據集有關，Intel模型所用的數據集，并不過多地涉及行人，主要還是用于增強天空、瀝青路、汽車光澤等真實感。

網友：比路徑追蹤便宜多了！

對于這次模型展現的效果，網友們的評價也是褒貶不一。

有網友迫不及待地想要用上了：搞起！

還有網友表示，這將是未來GTA-5這類游戲的發展方向——更接近真實世界。

而且，這項技術相比于路徑追蹤，不知道要便宜多少。

最重要的是，技術所用的神經網絡，還修復了物體上那些不真實的紋理。

當然，也有網友調侃：

視頻是用便宜的行車記錄儀來拍的？（這個視頻只有720p）

嗯，所以這就是《黑客帝國》色調呈綠色的原因。

還有一些網友不太喜歡這種類型的“寫實風”：

這，這只是把加州變成‘德國風’吧？

這不是又回到GTA 4了？

△GTA 4宣傳片段

這些網友認為，GTA 5不該追求寫實主義，更需要的是具有美感和娛樂性。

游戲開發者并不是沒有能力，顯然，他們是刻意選擇了風格化和超現實主義，因為它看上去比真實的東西更具吸引力。

對此，有網友解釋說，研究人員和游戲開發者的出發點不同。

這是一個巨大的飛躍！

紋理和光照是CGI中兩個非常棘手的問題，使用光線追蹤呈現逼真的光澤，需要計算大量表面之間的光線反射。

應用ML可以巧妙地跳過最困難的部分。這項技術可以用來制作游戲、電影或電視劇。

你希望游戲用上這樣的圖像增強引擎嗎？

總結

以上是生活随笔為你收集整理的英特尔用英伟达显卡 给GTA5打了个超强画质补丁的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。