Landslide detection from an open satellite imagery 使用注意力增强卷积神经网络从开放的卫星图像和数字高程模型数据集检测滑坡
2020.01
武漢大學
論文下載地址：https://sci-hub.st/10.1007/s10346-020-01353-2
目錄
Landslide detection from an open satellite imagery and digital elevation model dataset using attention boosted convolutional neural networks
使用注意力增強卷積神經網絡從開放的衛星圖像和數字高程模型數據集檢測滑坡
摘要：
Introduction
Related work
Convolutional neural network（略去）
Attention mechanisms
Experiments and analysis
Setting
Conclusion
Landslide detection from an open satellite imagery and digital elevation model dataset using attention boosted convolutional neural networks
使用注意力增強卷積神經網絡從開放的衛星圖像和數字高程模型數據集檢測滑坡
摘要：
卷積神經網絡(Convolution neural network, CNN)是一種有效且流行的深度學習方法，它通過一系列卷積層自動學習從原始輸入到給定標簽或ground truth的復雜非線性映射。本研究的重點是利用基于cnn的方法從高分辨率光學衛星圖像中檢測滑坡，為識別潛在滑坡提供機會，并以高精度和時間效率更新大規模滑坡清單。針對滑坡的多樣性和復雜背景，開發了源于人類視覺系統的注意機制，用于增強CNN從背景中提取更有特色的滑坡特征表征。由于深度學習需要大量的標記數據來訓練一個學習模型，我們手工制作了一個位于中國畢節市的滑坡數據集。在數據集中，地質學者利用衛星圖像和數字高程模型(digital elevation model, DEM)數據對770個滑坡進行了解釋，并進一步通過野外工作進行了驗證，其中包括巖崩、巖崩和少量巖屑滑坡。將滑坡數據以2:1的比例分成訓練訓練CNN模型的訓練集和評估模型性能的測試集。試驗結果表明，滑坡檢測的最佳f1得分為96.62%。結果還證明，我們的空間通道注意機制的表現是相當高于其他最近的注意機制。此外，還證明了基于我們的數據集高效預測新的潛在滑坡的有效性。
Introduction
滑坡檢測的必要性；實地考察費時費力；基于InSAR or satellite InSAR數據的自動化檢測方法相繼被提出。最近光學影像也引起關注。數字高程模型數據提供地形信息，在滑坡預測和識別中發揮重要作用。
將滑坡檢測視為一個圖像處理問題，數理統計和機器學習的方法被廣泛應用。
SVM,RF,ANN…CNN
對于這些監督的機器/深度學習方法，需要高質量的帶標簽的滑坡數據作為訓練和測試集，這樣滑坡的顯著性特征可以被自動學習到。因此構建帶標簽的遙感滑坡影像數據集至關重要。至今也沒有公開的數據集。
CNN的特征提取能力超越了經驗特征設計方法；在圖像分類，目標檢測，語義分割領域廣泛應用。但基于CNN的滑坡檢測的方法卻剛剛起步。（介紹了一些論文。）都是比較淺層的網絡。因此應該設計更復雜和具體的CNN架構，以提取滑坡區域在復雜背景下的獨特表現。
考慮到開放數據集的缺乏以及從遙感數據中檢測滑坡的高級算法的需求，我們在本文中做出了兩個主要貢獻:
Related work
介紹了CNN: AlexNet，VGGNet，Inception，ResNet，DenseNet，WideResNet，ResNeXt，Xception
light-weight networks：SqueezeNet，MobileNet，適應實時的應用。
發展方向：wider,deeper,transforms,降低計算復雜度，減少參數量。
在本研究中，我們在這些經典網絡的基礎上開發了我們的attention模塊，并選擇最佳的一個用于滑坡檢測。
介紹注意力機制，在CNN上應用注意力機制可以加強前景的特征。注意模塊從CNN中提取特征圖，通過突出前景，輸出正則化特征圖。
介紹了許多集成注意力的模塊。
在這項工作中，我們開發了我們的3D注意模塊，它在注意力圖的推斷階段同時提取綜合的空間和通道信息，這不同于上述分別處理空間和通道的注意模塊。在滑坡檢測任務中，與先進的SE、BAM和CBAM模塊相比，我們的注意力模塊獲得了最好的性能。
研究區域覆蓋畢節市全境，面積26853平方公里，位于中國貴州省西北部（圖1）。該區地處青藏高原向東丘陵過渡地帶，海拔457～2900m，地質不穩定，山坡多，雨量充沛（年平均降雨量849～1399mm），脆弱的生態環境使該地區成為我國滑坡最嚴重的地區之一。畢節市滑坡類型主要有崩塌巖滑和少量泥石流。每年都會發生許多新的山體滑坡，其中一些可能對人類住區、道路、橋梁、輸電線路和農田造成毀滅性的破壞。目前，這里的滑坡主要是通過兩種方法或兩種方法的結合來發現的。一種是通過衛星/航空光學圖像和數字高程模型（DEM）進行室內人工判讀，然后通常進行精確的實地測量。也通過居民的匯報，進行測量。
根據圖像目視解譯缺少效率，并且需要額外的地理學知識。實地考察具有危險性并且浪費時間。報告通常是滯后的。對于滑坡的早期預警、風險評估和災后恢復，特別是在緊急情況下，對自動化、高效、可靠的滑坡檢測方法有著強烈的需求。
創建了一個數據集；數據介紹；
?
滑坡的邊緣標記是由中國地質災害防治與地質環境保護國家重點實驗室的專家進行的。
從圖像中看不出來的滑坡，刪掉了。（只能通過實地考察看出來。）因為它會迷惑CNN模型。
一些地質滑坡形態特征明顯的地區被標記為新的潛在滑坡。
Convolutional neural network（略去）
介紹了CNN原理；多種CNN結構；
Attention mechanisms
基于CNN的注意機制可以看作是自適應模塊，它強調輸入特征圖的某些部分，抑制主干CNN中的其他部分。在圖像分類任務中，注意力模塊的設計是為了突出前景，抵抗噪聲背景。
介紹了三個受歡迎的attention模塊。three popular attention modules
（1）The squeeze-and-excitation (SE) module
關注給定輸入特征圖的通道間關系。
global average pooling (AvgPool) + MLP
（2）The bottleneck attention module (BAM)
分別利用渠道通道和空間注意機制。
channel attention：依次應用全局AvgPool、MLP和BN層生成通道注意圖
spatial attention branch：BAM中的空間注意分支生成空間注意圖，幫助網絡發現特征圖應該關注的位置。通過四次卷積運算和一次BN運算得到空間注意圖。
（3）The convolutional block attention module (CBAM)
利用空間子模塊和信道注意子模塊來發現特征圖中哪些位置和信道需要加強或抑制。
在channel attention子模塊中，使用全局平均池(AvgPool)和全局最大池(MaxPool)對空間信息進行聚合，然后使用權重共享的MLP，再使用元素求和和sigmoid激活函數。
對于空間注意子模塊，采用了沿通道軸的全局平均pooling和全局最大pooling;將它們的輸出拼接起來,再通過卷積核大小為7x7的卷積層和sigmoid；
依次對CBAM的通道注意子模塊和空間注意子模塊進行細化。
本文提出的spatial and channel attention module (3D SCAM) ，與上面方法不同。
我們生成了一個整合（integrated）的空間和通道注意圖，而不是分別處理一個通道和一個空間注意圖;后者無法達到通道與空間的全局一致性。
Input feature map à global poolingàspatial ,channel descriptoràConv Block
設計一個Conv Block: 細化空間-通道依賴關系。
實現的時候，對輸入特征圖分別做了global ave pooling,global max pooling，再分別輸入到兩個Conv Block中（不共享權重），最終兩個輸出按元素求和，并被sigmoid激活，生成最后的3D空間-通道注意力圖。（還挺復雜的。）
我們將我們的3D注意力模塊放在resnet風格的網絡的最后一個殘塊的隱藏層中。
Experiments and analysis
實驗設置，評價指標；
在DEM數據輔助進行下的滑坡檢測；
不同網絡結構的比較；
不同注意力機制方法的比較；
不同pooling方法比較；reduction ratio比較；注意力模塊放的位置比較。
Setting
Train_test: 2:1
A Linux PC with a GeForce GTX 1080 TI 11G ?GPU and an Intel i5-8400 CPU
所有模型用ImageNet數據預訓練60 epoch,batchsize32。
數據處理，增強。
The network outputs the probability of an image/DEM belonging to a landslide, and a threshold of 0.5 was adopted.
評價指標：precision, recall, accuracy, and F1-score
分別用vgg-16和resnet-50探索了引入DEM數據后的表現，如下表所示：
實驗表明，引入DEM數據后，性能都有相對的提高，但是只用DEM數據，結果就差的很多，這表明在滑坡檢測中光學圖像占據主要地位。DEM中的地形信息(高程、坡度、坡向)可以作為光學圖像中一些混亂的紋理和形狀（會導致預測誤差）的補充信息。接下來的實驗中，we use the combination of RGB images and DEM data as input.
選取了很多主流的CNN模型，進行實驗。結果表明ResNet結構與其他結構相比具有一定的整體優勢。
因此接下來以ResNet進行注意力機制的對比實驗。（3D SCAM ours）
ResNet 18, ResNet 50, ResNet 101.
實驗結果表明，所有模型上：1. 加注意力機制的模型都比baseline好。2.我們的3D SCAM在所有模型上，表現最好。
還進行了注意力可視化，通過heat map看出我們的方法能覆蓋更精確的滑坡區域，表明我們的方法對各種背景的干擾具有較好的魯棒性。
Conv Block 中 不同reduction ratio比較
注意力模塊放的位置比較：ResNet 最后一個殘差塊隱藏層后（這種性能好），還是Output特征圖之后。
Conclusion
創建了一個大型滑坡檢測數據集，0.8m的衛星圖像分辨率，劃定了滑坡邊界, 高精度DEM（2m）。
提出先進的3D空間-通道注意力機制。（3D SCAM）
做了大量的對比試驗進行調參。
?
?
?
?
?
?
?
?
?
總結
以上是生活随笔為你收集整理的Landslide detection from an open satellite imagery 使用注意力增强卷积神经网络从开放的卫星图像和数字高程模型数据集检测滑坡的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 0基础学android开发，我们究竟还要
- 下一篇： 卷积神经网络CNN（7）—— 限速交通标