深度學(xué)習(xí)在遙感圖像目標(biāo)檢測中的應(yīng)用綜述

• 1 人工智能發(fā)展
• • 1.1 發(fā)展歷程
  • 1.2 深度學(xué)習(xí)的應(yīng)用
• 2 深度學(xué)習(xí)
• • 2.1 機器學(xué)習(xí)概述
  • 2.2 神經(jīng)網(wǎng)絡(luò)模型
  • 2.3 深度學(xué)習(xí)
  • 2.4 深度學(xué)習(xí)主要模型
  • • 2.4.1 CNN-卷積神經(jīng)網(wǎng)絡(luò)
    • 2.4.2 FCN-全卷積神經(jīng)網(wǎng)絡(luò)
    • 2.4.3 RNN-循環(huán)神經(jīng)網(wǎng)絡(luò)
  • 2.5 深度學(xué)習(xí)具體實例
  • • 2.5.1 CNN-卷積神經(jīng)網(wǎng)絡(luò)
    • 2.5.2 FCN-全卷積神經(jīng)網(wǎng)絡(luò)
    • 2.5.3 RNN-循環(huán)神經(jīng)網(wǎng)絡(luò)
  • 2.6 深度學(xué)習(xí)原理
  • • 2.6.1 CNN-卷積神經(jīng)網(wǎng)絡(luò)
    • • CNN典型結(jié)構(gòu)-1：AlexNet
      • CNN典型結(jié)構(gòu)-2：VGG
      • CNN典型結(jié)構(gòu)-3：GoogLeNet
      • CNN典型結(jié)構(gòu)-4：ResNet
    • 2.6.2 FCN-全卷積神經(jīng)網(wǎng)絡(luò)
    • • Why FCN ？
      • FCN典型結(jié)構(gòu)-1：FCN-xs
      • FCN典型結(jié)構(gòu)-2：U-Net
      • FCN典型結(jié)構(gòu)-3：SegNet與DeconvNet
    • 2.6.3 RNN-循環(huán)神經(jīng)網(wǎng)絡(luò)
  • 2.7 深度學(xué)習(xí)---遷移學(xué)習(xí)
  • • 遷移學(xué)習(xí)是未來5年的重要研究方向。---吳恩達(dá)
    • 2.7.1 什么是遷移學(xué)習(xí)？
    • 2.7.2 遷移學(xué)習(xí)的可能性
    • 2.7.3 遷移學(xué)習(xí)的性能
• 3 遙感圖像目標(biāo)檢測
• • 3.1 應(yīng)用案例---建筑物檢測
  • • 3.1.1 項目背景
    • • 1 研究意義
      • 2 存在問題
    • 3.1.2 檢測方法
  • 3.2 應(yīng)用案例---電力塔檢測
  • • 3.2.1 需求分析
    • • 1 研究意義
      • 2 存在問題
    • 3.2.2 檢測方法
    • 3.2.3 構(gòu)建樣本數(shù)據(jù)庫

1 人工智能發(fā)展

1.1 發(fā)展歷程

• 人工智能提出（1950s）：人工智能AI、圖靈測試
• 機器學(xué)習(xí)（1970s）：機器學(xué)習(xí)、數(shù)據(jù)建模
• 人工神經(jīng)網(wǎng)絡(luò)（1980s）：神經(jīng)網(wǎng)絡(luò)模型
• 深度學(xué)習(xí)（2006~）：深度神經(jīng)網(wǎng)絡(luò)

1.2 深度學(xué)習(xí)的應(yīng)用

• Alpha Go：打敗圍棋世界冠軍
• Object recognition：目標(biāo)識別
• Image Caption：看圖說話
• Speech recognition：語音識別
• Automatic driving：自動駕駛

2 深度學(xué)習(xí)

2.1 機器學(xué)習(xí)概述

• 機器學(xué)習(xí):研究如何從觀測數(shù)據(jù)中學(xué)習(xí)規(guī)律，利用學(xué)習(xí)到的規(guī)律對未知的數(shù)據(jù)進(jìn)行預(yù)測。
• 分類（離散值）
• 聚類（無監(jiān)督學(xué)習(xí)）
• 回歸（連續(xù)值）
• 降維（既可以保留數(shù)據(jù)特征，又可以降低數(shù)據(jù)量，PCA,LDA）
  

2.2 神經(jīng)網(wǎng)絡(luò)模型

• 神經(jīng)網(wǎng)絡(luò):以數(shù)學(xué)模型模擬神經(jīng)元活動，是模仿大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能，而建立的一種信息處理系統(tǒng)。
• 單層感知機
  
• 神經(jīng)網(wǎng)絡(luò)
  

2.3 深度學(xué)習(xí)

• 深度學(xué)習(xí)：通過構(gòu)建具有很多隱藏層的神經(jīng)網(wǎng)絡(luò)模型，利用海量數(shù)據(jù)自主學(xué)習(xí)數(shù)據(jù)特征，提升預(yù)測準(zhǔn)確性。
• 淺層學(xué)習(xí)：①傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，比如BP網(wǎng)絡(luò)；②通常只包含1-2個隱藏層
• 深度學(xué)習(xí)：①多隱層的神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫。②大數(shù)據(jù)時代的到來，高性能計算的發(fā)展都為深度學(xué)習(xí)的成熟提供了土壤。

2.4 深度學(xué)習(xí)主要模型

2.4.1 CNN-卷積神經(jīng)網(wǎng)絡(luò)

• Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò)，解決圖像識別問題；
• 遙感影像分類：LULC（土地利用和土地覆蓋），植被、水體、裸土等。
• 目標(biāo)識別：艦船、飛機、機場

2.4.2 FCN-全卷積神經(jīng)網(wǎng)絡(luò)

• Fully Convolutional Network，全卷積神經(jīng)網(wǎng)絡(luò)，解決圖像分割等問題
• 遙感影像分割：道路、建筑、植被等。
• 目標(biāo)識別：艦船、飛機、機場

2.4.3 RNN-循環(huán)神經(jīng)網(wǎng)絡(luò)

• Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)，解決時序數(shù)據(jù)處理等問題。
• 變化檢測的問題。
• 多時相遙感影像分類問題，包括農(nóng)作物分類、林地分類

2.5 深度學(xué)習(xí)具體實例

每一類深度學(xué)習(xí)模型都有具體的實例

2.5.1 CNN-卷積神經(jīng)網(wǎng)絡(luò)

• LeNet
• AlexNet
• VGG
• GoogLeNet
• Inception
• ResNet
• SqueezeNet
• Siamese

2.5.2 FCN-全卷積神經(jīng)網(wǎng)絡(luò)

• FCN-8s
• FCN-16s
• FCN-32s
• U-Net
• SegNet
• DeconvNet

2.5.3 RNN-循環(huán)神經(jīng)網(wǎng)絡(luò)

• LSTM
• GRU

2.6 深度學(xué)習(xí)原理

2.6.1 CNN-卷積神經(jīng)網(wǎng)絡(luò)

• 卷積核Kernel相當(dāng)于傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)的權(quán)值空間化
• 權(quán)值共享機制可以減少參數(shù)數(shù)量
• 池化可以減少特征參數(shù)的數(shù)量，減少計算量
• Dropout可以有效避免過擬合

CNN典型結(jié)構(gòu)-1：AlexNet

AlexNet 2012年圖像識別大賽冠軍，錯誤率為15.4%，重新引發(fā)了人們對神經(jīng)網(wǎng)絡(luò)的熱情，現(xiàn)代CNN的奠基之作（8層）。

• 數(shù)據(jù)增強
• Dropout策略
• 重疊池化策略
• ReLU激活函數(shù)
• LRN（局部響應(yīng)歸一化層），提高泛化能力
• 基于CUDA的多GPU并行計算

網(wǎng)絡(luò)結(jié)構(gòu)

CNN典型結(jié)構(gòu)-2：VGG

VGG 2014年圖像識別大賽的第二名，錯誤率降低到7.3%。

• 拓展了AlexNet結(jié)構(gòu)，網(wǎng)絡(luò)變得更深（16-19層）
• 反復(fù)堆疊33的小型卷積核和22的最大池化層
• 通過不斷加深網(wǎng)絡(luò)結(jié)構(gòu)來提升性能
• 錯誤率大幅下降

VGG-16結(jié)構(gòu)

• 卷積層：13
• 池化層：5
• 全連接：3

CNN典型結(jié)構(gòu)-3：GoogLeNet

GoogLeNet 2014年圖像識別大賽冠軍，錯誤率6.7%

• 沒有最深，只有更深（22層）
• 提出來Inception結(jié)構(gòu)，網(wǎng)中網(wǎng)（Network inNetwork）
• 去除了最后的全連接層，用全局平均池化層，減少參數(shù)量，降低過擬合

Inception

CNN典型結(jié)構(gòu)-4：ResNet

ResNet 2015年的圖像識別大賽冠軍，錯誤率僅3.6%。

• 深度繼續(xù)增加（152層）
• 創(chuàng)新在殘差網(wǎng)絡(luò)
• 傳統(tǒng)的卷積層或全連接層在信息傳遞時，或多或少存在信息丟失、損耗等問題。

ResNet網(wǎng)絡(luò)結(jié)構(gòu)

常規(guī)網(wǎng)絡(luò)單元結(jié)構(gòu)

殘差網(wǎng)絡(luò)單元結(jié)構(gòu)

2.6.2 FCN-全卷積神經(jīng)網(wǎng)絡(luò)

• FCN對圖像進(jìn)行像素級的分類，從而解決了語義級別的圖像分割（semantic segmentation）問題。
• FCN可以接受任意尺寸的輸入圖像采用反卷積層對最后一個卷積層的feature map進(jìn)行上采樣，使它恢復(fù)到輸入圖像相同的尺寸。
• CNN卷積神經(jīng)網(wǎng)絡(luò)（Encoder，編碼）+上采樣Upsampling（Decoder，解碼） --> FCN全卷積神經(jīng)網(wǎng)絡(luò)

Why FCN ？

• CNN冗余由于每個像素點都需要取一個patch，那么相鄰兩個像素點的patch相似度是非常高的，這就導(dǎo)致了非常多的冗余，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練很慢。
• 感受野和定位精度不可兼得，當(dāng)感受野選取比較大的時候，后面對應(yīng)的pooling層的降維倍數(shù)就會增大，這樣就會導(dǎo)致定位精度降低。
• FCN可以把定位和分類這兩個問題結(jié)合起來，語義分割是進(jìn)行逐個像素點的分類。

CNN分類原理

FCN分類原理

FCN典型結(jié)構(gòu)-1：FCN-xs

• FCN-8s、FCN-16s、FCN-32s：反卷積實現(xiàn)上采樣
• End-to-end端到端的訓(xùn)練
• 輸出圖像大小與輸入保持一致
• FCN-8s將特征圖上采樣8倍
• FCN-16s將特征圖上采樣16倍
• FCN-32s將特征圖上采樣32倍
• FCN-8s均優(yōu)于FCN-16s、FCN-32s

FCN原理

FCN典型結(jié)構(gòu)-2：U-Net

• U-Net（U型卷積神經(jīng)網(wǎng)絡(luò)）
• 最初廣泛應(yīng)用于醫(yī)學(xué)圖像的分割領(lǐng)域
• 輸入輸出都是圖像，沒有全連接層
• 較淺的高分辨率層用來解決像素定位的問題
• 較深的層用來解決像素分類的問題
• U型結(jié)構(gòu)可以保證像素定位和像素分類的精度

U-Net網(wǎng)絡(luò)結(jié)構(gòu)

視網(wǎng)膜分割

• 將U-Net的思想引入遙感圖像分割中
• 實現(xiàn)高精度的地物提取：建筑、道路等

地物提取結(jié)果

帶路提取結(jié)果

FCN典型結(jié)構(gòu)-3：SegNet與DeconvNet

SegNet

• encoder+decoder
• encoder：采用VGG-16結(jié)構(gòu)
• decoder：與VGG-16相對稱的結(jié)構(gòu)
• 詳解：https://blog.csdn.net/zhuzemin45/article/details/79709874

DeconvNet

• 與SegNet類似
• encoder采用的也是VGG-16的結(jié)構(gòu)
• decoder增加了兩個全連接層
• 詳解：https://www.jianshu.com/p/fa43fb059d60

2.6.3 RNN-循環(huán)神經(jīng)網(wǎng)絡(luò)

• 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）
• RNN已經(jīng)在眾多自然語言處理（NLP）取得了重大成功及廣泛應(yīng)用。
• 與CNN不同，RNN隱藏層之間的結(jié)點不再是無連接的而是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出，還包括上一時刻隱藏層的輸出，可以對任何長度的序列數(shù)據(jù)進(jìn)行處理。

RNN基本結(jié)構(gòu)

• LSTM長短時記憶單元，為了解決時間上的梯度彌散問題
  
  

2.7 深度學(xué)習(xí)—遷移學(xué)習(xí)

遷移學(xué)習(xí)是未來5年的重要研究方向。—吳恩達(dá)

2.7.1 什么是遷移學(xué)習(xí)？

• 在面對某一領(lǐng)域的具體問題時，通常無法得到構(gòu)建模型所需規(guī)模的數(shù)據(jù)集，尤其在遙感圖像處理領(lǐng)域。
• 將一個已經(jīng)利用海量數(shù)據(jù)訓(xùn)練好的深度學(xué)習(xí)模型，應(yīng)用于同一領(lǐng)域的不同問題，這就是遷移學(xué)習(xí)。
• 遷移學(xué)習(xí)主要用于解決以下三個問題：
  • 訓(xùn)練樣本不足，導(dǎo)致深度神經(jīng)網(wǎng)絡(luò)的欠擬合
  • 計算資源不足，導(dǎo)致無法進(jìn)行基于深度學(xué)習(xí)的敏捷開發(fā)
  • 縮短實驗周期，可以直接利用計算機視覺領(lǐng)域的經(jīng)典模型，進(jìn)行模型遷移

2.7.2 遷移學(xué)習(xí)的可能性

• 卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的圖像底層特征具有普遍性
• 因此可以用ImageNet等預(yù)訓(xùn)練好的模型對遙感影像進(jìn)行分類。

2.7.3 遷移學(xué)習(xí)的性能

• 高的起始性能
• 高的性能提升
• 高的極限性能

3 遙感圖像目標(biāo)檢測

• 建筑物檢測
• 電力塔檢測
• 飛機場檢測
• 飛機檢測
• 船只檢測
• 操場檢測

3.1 應(yīng)用案例—建筑物檢測

3.1.1 項目背景

1 研究意義

從高分辨率遙感影像上提取單體建筑信息，可以極大減少人工矢量化的工作，為住建、統(tǒng)計等領(lǐng)域提供基礎(chǔ)數(shù)據(jù)。

2 存在問題

• 材質(zhì)、色彩差異，植被遮擋，陰影效應(yīng)
• 建筑的組成成分差異較大，光譜信息較復(fù)雜，與道路、裸地存在交叉，造成了提取的困難。
• 實際中建筑與周圍的植被、建筑等存在相互遮擋。
• 高大建筑的陰影效應(yīng)很明顯，影響陰影中其他建筑的提取效果。
• 樣本不足。

3.1.2 檢測方法

• 利用美國建筑樣本庫，進(jìn)行U-Net模型訓(xùn)練，在利用worldview-3數(shù)據(jù)對網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)。
• （1）一定程度上緩解了建筑樣本數(shù)量不足的問題。
• （2）充分利用了U-Net分割精度高的優(yōu)點。
  

3.2 應(yīng)用案例—電力塔檢測

3.2.1 需求分析

1 研究意義

從高分辨遙感影像上提取電力塔，可以極大減少人工目視解譯的工作，提高工作效率。

2 存在問題

• 電力塔與周圍環(huán)境的混疊較為嚴(yán)重，造成了提取困難。
• 電力塔對影像分辨率的要求很高。

3.2.2 檢測方法

利用Google Earth的影像進(jìn)行樣本的制作，選用YOLO深度學(xué)習(xí)模型，進(jìn)行電力塔檢測模型的訓(xùn)練。

• YOLO具有端到端學(xué)習(xí)的優(yōu)勢，計算效率高
• 可以實現(xiàn)目標(biāo)定位、檢測、識別的一體化

3.2.3 構(gòu)建樣本數(shù)據(jù)庫

利用labelImg工具，制作Pascal VOC格式的樣本數(shù)據(jù)
https://cloud.tencent.com/developer/news/325876

總結(jié)

以上是生活随笔為你收集整理的深度学习在遥感图像目标检测中的应用综述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。