? ? ? ?

AI in RTC 創(chuàng)新挑戰(zhàn)賽——超分辨率挑戰(zhàn)開(kāi)始了！

報(bào)名直達(dá)：https://challenge.rtcdeveloper.com/ai-in-rtc/

還未加入的小伙伴要抓緊啦！

比賽概況

超分辨率算法通常是應(yīng)用于單幀圖片上的，將圖片分辨率成倍放大，并利用算法還原細(xì)節(jié)是主要目的。另一方面，超分算法也可以應(yīng)用于實(shí)時(shí)視頻的后處理階段。在實(shí)時(shí)視頻上應(yīng)用超分算法，通常會(huì)要面對(duì)難題主要是性能與質(zhì)量之間的權(quán)衡，即如何在設(shè)備性能瓶頸之下保證圖像質(zhì)量最優(yōu)。

?

超分辨率算法挑戰(zhàn)分為兩個(gè)獨(dú)立的賽題：“超分辨率圖像質(zhì)量挑戰(zhàn)”與“超分辨率算法性能挑戰(zhàn)”。開(kāi)發(fā)者可以根據(jù)自身及團(tuán)隊(duì)情況，選擇參加。

?

超分辨率圖像質(zhì)量挑戰(zhàn)

?

在這個(gè)挑戰(zhàn)賽題中，我們會(huì)提供一個(gè)包含 100 張圖片的圖集。參賽者/團(tuán)隊(duì)需要對(duì) 100 張圖片進(jìn)行 4 倍超分辨率處理，然后線(xiàn)上提交處理后的圖片。

?

超分辨率算法性能挑戰(zhàn)

?

第二個(gè)挑戰(zhàn)賽題主要考驗(yàn)參賽者/團(tuán)隊(duì)的算法模型的性能。參賽者需要對(duì)單幀圖像做 2 倍的超分辨率處理，算法復(fù)雜度控制在 2GFLOPs 之內(nèi)。最終參賽者/團(tuán)隊(duì)在線(xiàn)上提交算法模型（PyTorch 1.0.0）。

獎(jiǎng)項(xiàng)設(shè)置

?

每個(gè)賽題都將分別評(píng)比出一、二、三等獎(jiǎng)。

?

一等獎(jiǎng)（1 支隊(duì)伍）|? ￥60000 + 獲獎(jiǎng)證書(shū)

?

二等獎(jiǎng)（1 支隊(duì)伍）|? ￥30000 + 獲獎(jiǎng)證書(shū)

?

三等獎(jiǎng)（1 支隊(duì)伍）|? ￥10000 + 獲獎(jiǎng)證書(shū)

賽程安排

?

大賽分為兩個(gè)階段：

?

第一階段線(xiàn)上比賽：

?

7月1日——比賽開(kāi)放報(bào)名，公布驗(yàn)證集

?

7月20日至8月1日——公布測(cè)試集（具體時(shí)間待定），參賽者需要按照賽題要求對(duì)測(cè)試集圖片做超分辨率處理，提交作品方案

?

9月30日——線(xiàn)上初賽結(jié)束后，前排隊(duì)伍提交代碼，大賽組織方進(jìn)行反作弊審核，確定決賽晉級(jí)名單?

?

注：參賽隊(duì)伍應(yīng)保障參賽代碼方案不外泄，否則大賽組織方有權(quán)拒絕隊(duì)伍參與評(píng)獎(jiǎng)

?

第二階段線(xiàn)下路演與頒獎(jiǎng)：

?

10月23日——在北京進(jìn)行線(xiàn)下答辯（決賽地點(diǎn)等詳情另行通知）

?

10月24日——在北京進(jìn)行頒獎(jiǎng)

?

注：主辦方將為參與團(tuán)隊(duì)（每隊(duì)兩人）安排并支付差旅、住宿

報(bào)名方式

?

超分辨率圖像質(zhì)量挑戰(zhàn)：

http://tinyurl.com/y6jlbeuk

?

超分辨率算法性能挑戰(zhàn)：

http://tinyurl.com/y5mfa7uw

重點(diǎn)來(lái)了

競(jìng)賽任務(wù)拆解

?

大賽分為兩個(gè)獨(dú)立賽題：超分辨率圖像質(zhì)量挑戰(zhàn)、超分辨率算法性能挑戰(zhàn)。

?

先說(shuō)第一個(gè)賽題。超分辨率圖像質(zhì)量挑戰(zhàn)中，參賽者會(huì)收到 100 張圖片，各自將其通過(guò)超分處理，獲取 100 張高分辨率圖像。其實(shí)，就是對(duì)單張低分辨率圖像進(jìn)行超分辨率處理，即Single Image Super-Resolution (SISR)，然后處理 100 張不同的圖片。評(píng)判會(huì)以 PI 和RMSE作為考察指標(biāo)。

?

第二題。超分辨率算法性能優(yōu)化，參賽者需要對(duì)圖像做2倍的超分辨率處理，算法復(fù)雜度控制在 2GFLOPs 之內(nèi)，我們以 SRCNN 模型為 baseline, FLOPs 比 baseline 越小越好。比賽會(huì)采用 PSNR、SSIM 計(jì)算 RGB 通道，以及運(yùn)行時(shí)間來(lái)綜合評(píng)估算法的性能。在這里我們限制了算法復(fù)雜度，對(duì)于所需的顯存空間并沒(méi)有限制。這道賽題希望參賽者訓(xùn)練的模型可在移動(dòng)設(shè)備端上運(yùn)行，所以需要考慮移動(dòng)設(shè)備運(yùn)算能力的制約，在圖像質(zhì)量和運(yùn)算速度之間尋找 trade-off。

?

解題思路

?

任何一個(gè)低分辨率圖像，可能存在多個(gè)不同的高分辨率圖像，所以通常做超分處理時(shí)會(huì)加一個(gè)先驗(yàn)信息進(jìn)行規(guī)范化約束。通常來(lái)講，SISR 的方法有三類(lèi)：基于插值、基于重建、基于學(xué)習(xí)。

?

目前在網(wǎng)絡(luò)上有不少基于CNN的超分研究，比如前不久Adobe 研究院與田納西大學(xué)的研究者公布了一種借助神經(jīng)紋理遷移實(shí)現(xiàn)的圖像超分辨技術(shù)，還構(gòu)建了一個(gè)用于訓(xùn)練和評(píng)估超分辨率方法的基準(zhǔn)數(shù)據(jù)集 [1]；再例如，ECCV 2018 明星模型 CARNM 等，參賽者們有不少可以借鑒的資料。

?

在這次競(jìng)賽中，獨(dú)立賽題二“超分辨率性能質(zhì)量挑戰(zhàn)”，是以 SRCNN 模型作為 baseline。SRCNN 是首個(gè)將 CNN 引入單幀圖像超分辨率的模型，它采用了雙三次插值作為預(yù)處理過(guò)程，該網(wǎng)絡(luò)結(jié)構(gòu)十分簡(jiǎn)單，僅僅用了三個(gè)卷積層。對(duì)低分辨率的圖像，使用 bicubic 差值，放大到目標(biāo)的大小后（比如放大到兩倍、四倍）。放大后的圖像是模糊的。所以這時(shí)再通過(guò)三層卷積網(wǎng)絡(luò)做分線(xiàn)性映射，第一層卷積：卷積核尺寸 9×9(f1×f1)，卷積核數(shù)目 64(n1)，輸出 64 張?zhí)卣鲌D；第二層卷積：卷積核尺寸 1×1(f2×f2)，卷積核數(shù)目 32(n2)，輸出 32 張?zhí)卣鲌D；第三層卷積：卷積核尺寸 5×5(f3×f3)，卷積核數(shù)目 1(n3)，最后得出結(jié)果。在訓(xùn)練 SRCNN 的時(shí)候，可以采用 MSE 函數(shù)作為卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)。

?

隨著研究的深入，SRCNN 的作者還提出了 FSRCNN，其關(guān)鍵點(diǎn)就是加速。作者進(jìn)行了很多改進(jìn)，例如 FSRCNN 用了反卷積層（deconvolution layer）來(lái)改進(jìn) SRCNN 的冗余計(jì)算問(wèn)題。FSRCNN 還縮小了卷積核的大小，增加了網(wǎng)絡(luò)的深度，使得計(jì)算量降低了。

?

目前還有很多可以參考的模型和資料。每年 NTIRE 競(jìng)賽中，超分辨率都是賽題之一。NTIRE2017 超分辨率比賽的冠軍 EDSR [2] 就是一個(gè)很好的參考案例。EDSR 在性能提升方面，最重要的是去除掉了 SRResNet 多余的模塊，這讓模型的尺寸可以得到擴(kuò)大，從而提升結(jié)果質(zhì)量。它將 batch normalization 去除了，由于它消耗了與卷積層相同大小的內(nèi)存，在去掉后，相同的計(jì)算資源下，EDSR 能堆疊更多的網(wǎng)絡(luò)層或讓每層提取更多特征，以達(dá)到更好的性能。

?

對(duì)于剛剛?cè)腴T(mén)，正在研究超分辨率算法的參賽者來(lái)講，可以參考由 Yapeng Tian 整理的資料 [3]，里面整理近幾年來(lái)關(guān)于超分辨率的論文以及代碼。邊閱讀，邊看代碼，邊訓(xùn)練模型，是上手超分最快的方式。

?

單幀圖像超分辨率看起來(lái)比視頻超分辨率簡(jiǎn)單，但在實(shí)際構(gòu)建超分模型過(guò)程中，仍存在許多挑戰(zhàn)，例如圖像配準(zhǔn)、計(jì)算效率、穩(wěn)健性、性能限制等。更好地解決這些問(wèn)題，對(duì)于學(xué)術(shù)界的研究，以及在工業(yè)界的落地來(lái)講，都存在重要價(jià)值。這也是我們舉辦這次 AI in RTC 創(chuàng)新競(jìng)賽的意義之一。

?

希望大家共同參與，快來(lái)報(bào)名吧！

?

參考鏈接

[1] SRNTT: Image Super-Resolution by Neural Texture Transfer https://github.com/ZZUTK/SRNTT

[2] NTIRE2017 Super-resolution Challenge: SNU_CVLab https://arxiv.org/abs/1707.02921

[3] https://github.com/YapengTian/Single-Image-Super-Resolution

?

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專(zhuān)欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 立刻報(bào)名

總結(jié)

以上是生活随笔為你收集整理的AI in RTC 创新挑战赛 | 超分辨率挑战开始了！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。