本文由北郵@愛(ài)可可-愛(ài)生活 老師推薦，阿里云云棲社區(qū)組織翻譯。

以下為譯文：

Yann Lecun曾將無(wú)監(jiān)督學(xué)習(xí)比作蛋糕，將監(jiān)督學(xué)習(xí)比作蛋糕上的糖霜，聲稱我們僅懂得如何做糖霜卻不知道怎樣才能做出蛋糕。在本篇文章中，我們提供了一份訓(xùn)練無(wú)監(jiān)督學(xué)習(xí)算法的“蛋糕”配方，用來(lái)增強(qiáng)衛(wèi)星圖像。

本研究起源于新興商業(yè)航天行業(yè)中日益增多的低成本衛(wèi)星圖像。在這個(gè)新興的行業(yè)中，傳感質(zhì)量、回訪速率以及成本間存在著一種權(quán)衡。我們研究了高級(jí)圖像處理的特性，以減少這種權(quán)衡，并在相同成本情況下改善低質(zhì)量傳感器返回的圖像。

圖1：使用飛機(jī)、商業(yè)衛(wèi)星與空間站進(jìn)行遠(yuǎn)程遙感。本圖意在表示不同遠(yuǎn)程遙感活動(dòng)間潛在的交叉，并不代表實(shí)際的交叉程度。航空遙感可用于增強(qiáng)精密商業(yè)衛(wèi)星圖像。而精密商業(yè)衛(wèi)星圖像又可用于增強(qiáng)低分辨率的衛(wèi)星圖像。

我們?cè)谏疃壬窠?jīng)網(wǎng)絡(luò)（DNN）中嵌入高分辨率圖像的圖像細(xì)節(jié)，并在增強(qiáng)地理相似圖像時(shí)抽取這些細(xì)節(jié)。作為本研究的一部分，我們引入了適合圖像增強(qiáng)任務(wù)的擾動(dòng)層，為深度神經(jīng)網(wǎng)絡(luò)開發(fā)了一種新型架構(gòu)。

超分辨率技術(shù)

圖像增強(qiáng)的方式有很多，如降噪和色彩調(diào)整。對(duì)于衛(wèi)星圖像而言，地面采樣距離（GSD）是一種常見的衡量圖像質(zhì)量的方法，其表示圖像中單個(gè)像素表示的實(shí)際物理距離。本文提到的圖像增強(qiáng)是指降低（優(yōu)化）衛(wèi)星圖像中的地面采用距離，即超分辨率技術(shù)。超分辨率技術(shù)通過(guò)合成圖像中的子像素信息，提高圖像分辨率。常見的合成方法包括：

• 圖像中相鄰像素間插值
• 影像中相鄰幀間插值
• 頻域?yàn)V波，降低噪聲

在本研究中，我們對(duì)上述方法進(jìn)行了擴(kuò)展，在處理地理相關(guān)圖像時(shí)應(yīng)用深度學(xué)習(xí)技術(shù)。

圖2：超分辨率技術(shù)。為了將超分辨率技術(shù)從不適定優(yōu)化問(wèn)題轉(zhuǎn)換為適定逆問(wèn)題，我們必須從高分辨率圖像出發(fā)，降低圖像質(zhì)量，然后優(yōu)化超分辨率技術(shù)，從降質(zhì)圖像中復(fù)原出原始圖像。我們使用峰值信噪比評(píng)估原始圖像與復(fù)原圖像間的差異。

為量化增強(qiáng)方法的效果，我們比較了圖像增強(qiáng)前后的峰值信噪比（PSNR）。此外，針對(duì)后續(xù)的分析，我們還展示了圖像中峰值信噪比的地域分布以及相關(guān)性。

PSNR是衡量超分辨率算法生成能力的必然選擇。我們未來(lái)將發(fā)表一篇文章，使用生成對(duì)抗網(wǎng)絡(luò)為超分辨率技術(shù)學(xué)習(xí)一種更好的代價(jià)函數(shù)。

含擾動(dòng)層的完全卷積神經(jīng)網(wǎng)絡(luò)

在直接展示結(jié)果前，我們先討論下為執(zhí)行超分辨率處理流程而開發(fā)的框架。標(biāo)準(zhǔn)的深度神經(jīng)網(wǎng)絡(luò)，如AlexNet、 ResNet、 VGG與GoogLeNet，都是對(duì)低分辨率圖像進(jìn)行圖像分類與目標(biāo)檢測(cè)的框架，在輸出空間達(dá)到指數(shù)級(jí)大小的超分辨率圖像場(chǎng)景下并不適用。

考慮到超分辨率技術(shù)本質(zhì)上是低分辨率圖像的一種擾動(dòng)，我們受到ResNet的啟發(fā)，決定設(shè)計(jì)一種新的、由恒等映射擾動(dòng)序列構(gòu)成的深度神經(jīng)網(wǎng)絡(luò)。這種網(wǎng)絡(luò)通過(guò)優(yōu)化前一層與當(dāng)前層的凸組合來(lái)擴(kuò)展自身結(jié)構(gòu)，每次僅擴(kuò)展一層，并產(chǎn)生可訓(xùn)練參數(shù)（旁路參數(shù)），衡量新層次對(duì)最終輸出的貢獻(xiàn)。

圖3：本文提出的凸擾動(dòng)層與ResNet層的比較。兩種架構(gòu)均包含卷積層與恒等函數(shù)的組合。凸擾動(dòng)使得這種組合能夠訓(xùn)練達(dá)到最優(yōu)。隨著β值減小，層次對(duì)增強(qiáng)效果的貢獻(xiàn)也隨之降低。

這種結(jié)構(gòu)有以下好處：

• 這種網(wǎng)絡(luò)架構(gòu)很適合包含跳躍連接和隨機(jī)深度的極深神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，符合現(xiàn)代訓(xùn)練策略
• 旁路參數(shù)評(píng)估每一層的貢獻(xiàn)，就網(wǎng)絡(luò)應(yīng)達(dá)到的深度給出反饋
• 每一層均執(zhí)行近似恒等變換，使用不同結(jié)構(gòu)增強(qiáng)圖像

每個(gè)擾動(dòng)層至少包含兩個(gè)卷積層，每個(gè)卷積層間還包含一個(gè)非線性ReLU層。擾動(dòng)層中更多的卷積層提高了擾動(dòng)層增強(qiáng)圖像的能力，但訓(xùn)練收斂也變得更加困難。另外，額外的擾動(dòng)層具有類似的圖像增強(qiáng)潛力，且不存在收斂問(wèn)題。

圖4：含擾動(dòng)層的深度神經(jīng)網(wǎng)絡(luò)

旁路參數(shù)就每個(gè)擾動(dòng)層的影響提供了直接的反饋。這些反饋有助于解答神經(jīng)網(wǎng)絡(luò)的深度應(yīng)達(dá)到多少的問(wèn)題。

圖5：模型訓(xùn)練時(shí)的旁路參數(shù)。本圖繪制了訓(xùn)練過(guò)程中旁路參數(shù)的權(quán)值。對(duì)于這個(gè)特殊的訓(xùn)練算法，每一層包括兩個(gè)訓(xùn)練階段：首先，訓(xùn)練各層參數(shù)；其次，結(jié)合所有以前訓(xùn)練過(guò)的參數(shù)與新層次進(jìn)行優(yōu)化。旁路參數(shù)隨著網(wǎng)絡(luò)層數(shù)的增長(zhǎng)而減小。最終，新層次不再改變?cè)鰪?qiáng)圖像中各像素的積分?jǐn)?shù)值（不會(huì)與其它層聚合）——這正是子像素閾值的定義。

實(shí)驗(yàn)

我們初步進(jìn)行的實(shí)驗(yàn)使用了巴拿馬運(yùn)河3波段的GeoTIFF降質(zhì)圖像，通過(guò)增強(qiáng)降質(zhì)圖像來(lái)評(píng)估深度神經(jīng)網(wǎng)絡(luò)的圖像增強(qiáng)能力。我們?cè)趯?shí)驗(yàn)中使用了兩張由DigitalGlobe提供的GeoTIFF圖像（非常大的衛(wèi)星圖像）：一張用于訓(xùn)練，另一張用于測(cè)試。在一次深度神經(jīng)網(wǎng)絡(luò)計(jì)算中，我們并沒(méi)有選擇增強(qiáng)整張圖像，相反，我們每次增強(qiáng)一個(gè)27x27像素大小的圖像區(qū)域。由于GeoTIFF圖像非常大，抽取27x27像素區(qū)域的方法能夠?yàn)槲覀兊纳疃壬窠?jīng)網(wǎng)絡(luò)提供充足的訓(xùn)練數(shù)據(jù)。更多的訓(xùn)練圖像或許可以提高實(shí)驗(yàn)效果。但在下面的實(shí)驗(yàn)中，我們使用這兩張GeoTIFF圖像訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)：

• 這兩張GeoTIFF圖像的大小進(jìn)行了調(diào)整，已有效地降低了圖像分辨率
• 采用隨機(jī)抽樣的方法，從第一張GeoTIFF圖像中獲取樣本，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，每次訓(xùn)練僅訓(xùn)練模型中的一層。我們訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)中的權(quán)值，最大化深度神經(jīng)網(wǎng)絡(luò)輸出的PSNR值
• 深度神經(jīng)網(wǎng)絡(luò)用于增強(qiáng)兩張降質(zhì)的GeoTIFF圖像
• 實(shí)驗(yàn)結(jié)果將與基于插值的圖像增強(qiáng)算法進(jìn)行比較

我們?cè)谝慌_(tái)2015年推出的裝有4塊Titan X顯卡的NVIDIA Devbox機(jī)器上，使用TensorFlow來(lái)創(chuàng)建、訓(xùn)練、推斷深度神經(jīng)網(wǎng)絡(luò)，但是在實(shí)際訓(xùn)練時(shí)，僅使用1塊顯卡用于訓(xùn)練。為訓(xùn)練神經(jīng)網(wǎng)絡(luò)，我們采用了最優(yōu)化算法ADAM，ADAM關(guān)聯(lián)了能夠影響訓(xùn)練時(shí)間和收斂速度的參數(shù)。我們并未充分探索ADAM參數(shù)的最優(yōu)選擇，但仍然花費(fèi)大約12個(gè)小時(shí)（使用一塊Titan X顯卡）的時(shí)間來(lái)訓(xùn)練每個(gè)擾動(dòng)層。旁路參數(shù)的收斂速率（如圖5所示）為我們選擇ADAM參數(shù)乃至后續(xù)的訓(xùn)練時(shí)間上提供了幫助。

實(shí)驗(yàn)結(jié)果

在本次實(shí)驗(yàn)中，我們使用了兩張關(guān)于巴拿馬運(yùn)河的GeoTIFF圖像，一張用于訓(xùn)練，另一張用于測(cè)試。

圖6：巴拿馬運(yùn)河衛(wèi)星圖像。這是深度神經(jīng)網(wǎng)絡(luò)中的原始訓(xùn)練圖像。

首先是通過(guò)GeoTIFF降質(zhì)圖像來(lái)創(chuàng)建訓(xùn)練數(shù)據(jù)。通過(guò)調(diào)整GeoTIFF圖像的大小，最終生成的降質(zhì)圖像在GSD與分辨率上實(shí)現(xiàn)了有效的降低。使用線性插值作為起點(diǎn)，我們可以繪制PSNR在整張降質(zhì)圖像上的分布。

圖7：深度神經(jīng)網(wǎng)絡(luò)輸入圖像中的PSNR分布。深度神經(jīng)網(wǎng)絡(luò)的輸入是一張重新調(diào)整大小（通過(guò)線性插值擴(kuò)大2倍）的降質(zhì)衛(wèi)星圖像，與原始GeoTIFF圖像的大小相匹配。本圖顯示了在降質(zhì)過(guò)程中引入的噪聲位置。藍(lán)色區(qū)域在降質(zhì)時(shí)引入的噪聲較多，紅色區(qū)域引入的噪聲較少些。藍(lán)色區(qū)域通常表示含精細(xì)結(jié)構(gòu)（如船只）的區(qū)域，而紅色區(qū)域通常表示具有更粗糙特征（如開放水域）的區(qū)域。

圖7表明，僅一個(gè)表示PSNR的數(shù)字并不足以描述衛(wèi)星圖像中的噪聲。在降質(zhì)圖像中，具有更多結(jié)構(gòu)的區(qū)域，例如船只，相比于自身結(jié)構(gòu)較少的區(qū)域，如水域，具有更低的PSNR值。當(dāng)我們訓(xùn)練超分辨率算法來(lái)增強(qiáng)降質(zhì)圖像時(shí)，我們想要增強(qiáng)我們關(guān)注的區(qū)域，而這通常是含有結(jié)構(gòu)的區(qū)域。

圖8：使用深度神經(jīng)網(wǎng)絡(luò)增強(qiáng)后，圖像的PSNR收益。我們使用未用于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的測(cè)試圖像繪制PSNR收益的分布。圖像中的大部分區(qū)域得到了增強(qiáng)。藍(lán)色區(qū)域?qū)?yīng)原始圖像中噪聲明顯較少的一般區(qū)域。PSNR的增強(qiáng)效果通過(guò)與初始線性插值方法比較得到。

圖9：與雙三次插值相比的PSNR收益。在GeoTIFF測(cè)試圖像上，我們與雙三次差值方法進(jìn)行比較，繪制了在PSNR上的差異。初始噪聲較多的區(qū)域也同樣能受益。

圖10：與線性插值和雙三次插值相比，基于深度神經(jīng)網(wǎng)絡(luò)的增強(qiáng)方法的PSNR變化。PSNR變化由整張GeoTIFF圖像與GeoTIFF圖像中含船只的子區(qū)域計(jì)算得到。包含精細(xì)結(jié)構(gòu)的區(qū)域的增強(qiáng)效果明顯高于水域區(qū)域。

圖10中的結(jié)果表明，基于深度神經(jīng)網(wǎng)絡(luò)的增強(qiáng)方法能夠明顯改善含更多結(jié)構(gòu)的區(qū)域。盡管測(cè)試圖像與訓(xùn)練圖像具有相同的GSD，但不同的大氣條件與云層覆蓋也影響著增強(qiáng)的效果，這在一定程度上解釋了測(cè)試圖像性能優(yōu)化高于訓(xùn)練圖像的原因。圖像清晰度也會(huì)影響到含船只區(qū)域的標(biāo)記，不準(zhǔn)確的標(biāo)記可能含有更多的水域，進(jìn)而降低在該區(qū)域的收益。避免了這些干擾的實(shí)驗(yàn)超出了本篇文章的討論范圍。

圖11：水域中船只的增強(qiáng)示例。本圖展示了對(duì)降質(zhì)船只圖像的增強(qiáng)效果。由于此區(qū)域大部分為水域，其PSNR值小于僅含船只的區(qū)域。

其他研究方向

包括SRCNN在內(nèi)的一些示例，將超分辨率技術(shù)應(yīng)用于非衛(wèi)星圖像，并在ImageNet上訓(xùn)練時(shí)取得了類似的增強(qiáng)效果。這些方法用于衛(wèi)星圖像增強(qiáng)或許是可行的，但我們提出的方法具有一個(gè)根本優(yōu)勢(shì)：圖像的位置信息。此外，基于以下幾點(diǎn)，我們提出的方法是不同與現(xiàn)有方法的：

• 衛(wèi)星圖像往往是許多基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法應(yīng)用的極端情況
• 過(guò)度訓(xùn)練并不一定不利于我們的算法，我們可以得到更具多樣性的圖像數(shù)據(jù)集
• 擾動(dòng)層提供了關(guān)于深度神經(jīng)網(wǎng)絡(luò)需達(dá)到的深度以及增加網(wǎng)絡(luò)深度預(yù)期的邊際性能改善的信息
• 除了紅色、綠色和藍(lán)色，GeoTIFF圖像能夠包含更多的顏色通道，針對(duì)額外的顏色通道（例如8波段圖像），我們的方法只需進(jìn)行簡(jiǎn)單地修改就可使用

最后，我們對(duì)擾動(dòng)層中卷積層的數(shù)量進(jìn)行了實(shí)驗(yàn)，增加每個(gè)擾動(dòng)層中卷積層的數(shù)量，并查看提高的性能。我們將在第二部分展示這些實(shí)驗(yàn)結(jié)果，這些實(shí)驗(yàn)基于8波段圖像和SpaceNet數(shù)據(jù)集。

數(shù)十款阿里云產(chǎn)品限時(shí)折扣中，趕緊點(diǎn)擊領(lǐng)劵開始云上實(shí)踐吧！
文章原標(biāo)題《Super-Resolution on Satellite Imagery using Deep Learning, Part 1》，作者：Patrick Hagerty

文章為簡(jiǎn)譯，更為詳細(xì)的內(nèi)容，請(qǐng)查看原文：The official blog of CosmiQ Works in Medium

總結(jié)

以上是生活随笔為你收集整理的实践：基于深度学习的卫星图像超分辨率处理技术（一）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。