◎本文為極市開發者「可樂」原創投稿，轉載請注明來源。

◎極市「論文推薦」專欄，幫助開發者們分享自己的最新工作，歡迎大家投稿。聯系極市小編(ID：fengcall19)，備注：投稿，即可投稿~

很多圖像生成任務都需要在空域對輸入圖像進行移動和重新排列。然而，卷積神經網絡難以進行高效的空域轉換操作。近日，來自北大和鵬城實驗室的研究者們提出了一種全新的空域轉換模塊Global-Flow Local-Attention。這一模塊將光流和注意力機制結合起來，通過首先提取源圖像與目標圖像之間的整體相關性，得到全局的光流圖。然后利用光流圖，采樣局部的特征塊以進行局部的注意力操作。

他們在人體姿態轉換任務上測試了提出模型的優越性。實驗結果證明模型可以對輸入圖像進行準確高效地空域轉換：輸出結果圖像保持了輸入圖像中逼真的細節紋理；同時，模型的參數量不足現有主流方法的一半。

每一組圖像中，左側為生成圖像，右側為輸入圖像。箭頭展示了文章提出的Global-Flow Local-Attention模塊對輸入數據的空間移動過程

此外文章還將提出的模塊用于Image Animation任務。通過輸入連續的指導信息來生成逼真的運動視頻。

Global-Flow Local-Attention模型簡介

文章所提出的模型架構如上圖所示。具體來說，模型可以被分為兩個模塊：全局光流提取器和局部特征渲染器。全局光流提取器用來提取源圖像和目標圖像之間的光流場。而局部特征渲染器則利用提取到的光流場從源圖像中采樣逼真的紋理信息，從而對目標圖像的骨架進行渲染，得到結果圖像。

為了使模型穩定地收斂，在局部特征渲染器中，文章沒有采用傳統的雙線性插值進行采樣。而是使用了內容感知的局部注意力機制。這一操作的具體流程如上圖所示。首先，從源特征以及目標特征中提取局部的圖像塊。利用局部采樣核預測網絡來預測圖像塊對之間的注意力系數。這一系數被用做采樣參數來采樣提取的局部特征塊。以得到最終的采樣結果。

那么算法的實際效果如何呢？

作者在兩個數據集上進行了對比實驗。在客觀指標FID和LPIPS上算法都有明顯的優勢。同時他們也在MTurk平臺邀請志愿者進行了主觀測試的實驗。JND（Just Noticeable Difference）表示了各個方法生成的結果與真實圖像對比時的欺騙率?？梢钥吹轿恼绿岢龅乃惴ㄈ〉昧撕芎玫臏y試結果。

從不同算法的結果圖像中可以看出文章所提出的算法不僅能夠生成正確的姿勢，同時還能夠還原出結果圖像逼真的紋理信息，例如：衣服上的圖案花紋、鞋帶的樣式等等。

此外，文章還進行了詳盡的消融實驗來驗證假設的正確性。對比的模型包括：不使用任何Attention模塊（Baseline）；使用傳統的Global Attention模塊（Global-Attn）；使用光流模塊，但是采用雙線性插值進行采樣（Bi-sample）以及完整的模型（Full Model）?？梢钥闯?#xff0c;采用完整Global-Flow Local-Attention模塊的模型（Full Model）取得了最好的性能。

通過分析消融實驗的主觀結果圖像可以進一步地為這一結論尋找可能的解釋。Baseline難以恢復細節信息，因為它使用一種先將原始信息抽象，后擴散至局部的方式來生成結果圖像。Global-Attn將某一特征與全部的特征計算相似度并采樣。這樣的采樣方式并不符合該任務的需求，因此結果圖像無法恢復逼真的細節信息。Bi-sample會因為錯誤的采樣而導致性能下降。Full Model維持了良好的結構和細節信息。

傳遞門

想要了解更多的細節請參看論文：

https://arxiv.org/pdf/2003.00696.pdf

同時作者也開源了實驗代碼：

https://github.com/RenYurui/Global-Flow-Local-Attention

在 **極市平臺 **公眾號后臺回復 GFLA，即可獲取論文下載鏈接。

-END**-**

*延伸閱讀

• arbitrary-text-to-image-papers（圖像文本生成論文匯總）

• TP-GAN 讓圖像生成再獲突破，根據單一側臉生成正面逼真人臉

• CVPR 2018 | 使用 CNN 生成圖像先驗，實現更廣泛場景的盲圖像去模糊

添加極市小助手微信**（ID : cv-mart），備注：研究方向-姓名-學校/公司-城市（如：AI移動應用-小極-北大-深圳），即可申請加入AI移動應用極市技術交流群**，更有**每月大咖直播分享、真實項目需求對接、求職內推、算法競賽、**干貨資訊匯總、行業技術交流，一起來讓思想之光照的更遠吧~

總結

以上是生活随笔為你收集整理的CVPR2020 | 参数量减半，北大开源全新高效空域转换模块，还原图像逼真细节的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。