You Only Look Twice: Rapid Multi-Scale Object Detection InSatellite Imagery-論文鏈接-代碼鏈接

目錄

• • 1、需求解讀
  • 2、遙感圖像處理和普通圖像處理的區(qū)別與聯(lián)系
  • 3、YOLT檢測算法分析
  • • • 3.1 遙感圖像中的視覺挑戰(zhàn)
      • 3.2 YOLT檢測算法簡介
  • 4、YOLT檢測算法實現詳解
  • • • 4.1 YOLT檢測算法網絡架構簡介
      • 4.2 YOLT檢測算法如何解決YOLO檢測算法中存在的問題
      • 4.3 YOLT檢測算法實現步驟
  • 5、YOLT檢測算法效果展示
  • 6、個人總結
  • 參考資料
  • 注意事項

1、需求解讀

??遙感圖像處理(processing of remote sensing image data)是對遙感圖像進行輻射校正和幾何糾正、圖像整飾、投影變換、鑲嵌、特征提取、分類以及各種專題處理等一系列操作，以求達到預期目的的技術。遙感圖像處理可分為兩類：一是利用光學、照相和電子學的方法對遙感模擬圖像(照片、底片)進行處理，簡稱為光學處理；二是利用計算機對遙感數字圖像進行一系列操作，從而獲得某種預期結果的技術，稱為遙感數字圖像處理。本文側重于后者，在現實場景中，由于當前的衛(wèi)星系統(tǒng)已經比較完善，已經收集到大量的數據集，針對這些數據進行有效的分析和處理可以提取出一些更加有用的信息，從而更好的服務于人類的生活。

2、遙感圖像處理和普通圖像處理的區(qū)別與聯(lián)系

區(qū)別：

• 遙感圖像并不局限在紅綠藍三個波段。即普通圖像處理一般都是RGB三通道的，而遙感圖像可以是1-n個波段，這個n可以到幾百；
• 遙感圖像大多有自己準確的地理坐標。即普通圖像處理一般是以像點坐標為準，而遙感圖像一般是具有大地（或地理）坐標的；
• 遙感圖像的值-反射率。普通的圖像中，顏色被采樣成了0-255這個范圍。遙感圖像使用反射率使得不同時期，不同地區(qū)拍的圖像有了可比性；
• 遙感圖像處理的目的是為了獲取地面的信息。雖然遙感在軍事上的利用前景很廣，但考慮到高分影像的敏感性，軍事研究的保密性，遙感在學術上的意義更多的還是去反演生態(tài)參數，農業(yè)估產，氣候變化，土地資源管理等；
• 遙感圖像處理強調的是如何利用影像之間的時空相關性。由于在遙感圖像中檢測對象總是地表，而滄海桑田這種事兒又不會在短時間內發(fā)生，所以，遙感圖像是具有空間相關性和時間相關性的。

聯(lián)系：
??本質上它們兩者都是一種數字圖像處理技術，因此遙感圖像處理也可以被稱之為是數字圖像處理的一種特例。比如一些常見的濾波算法（均值濾波、拉普拉斯濾波），直方圖拉伸這些在遙感圖像中也同樣適用。
??總而言之，遙感圖像處理和普通圖像處理具有共同的數學原理，不同的數據特征；相同的處理機制，不同的應用目標；相同的圖像運算，不同的解譯結果；相同的發(fā)展趨勢，不同的專業(yè)側重。

3、YOLT檢測算法分析

3.1 遙感圖像中的視覺挑戰(zhàn)

??與傳統(tǒng)的圖像算法相比，遙感圖像處理中面臨著一些不同的視覺挑戰(zhàn)，具體包括：

• 小空間范圍。遙感圖像中的感興趣目標通常都比較小，而且目標分布的比較密集；而不像傳統(tǒng)圖像處理中的那種大目標；
• 復雜的旋轉不變性。遙感圖像中的感興趣目標通常會具有多種旋轉角度，0-360度，對算法提出了一個新的要求，即算法需要具有很好的旋轉不變性；
• 訓練數據比較少。遙感圖像處理中的訓練數據集比較難以收集和標注，因而通常的訓練數據集都比較小，這就給檢測算法提出了一個新的要求；
• 超大的分辨率。遙感圖像通常具有較大的分辨率，而傳統(tǒng)的圖像處理算法都需要將圖像裁剪到固定大小，對于遙感圖像處理算法而言，簡單的圖像裁剪已經滿足不了它的需求。

3.2 YOLT檢測算法簡介

??對于遙感圖像而言，主要面臨著兩個主要的視覺挑戰(zhàn)。即1）每個圖像的像素數量和地理范圍：單個DigitalGlobe衛(wèi)星圖像覆蓋面積$>64{\mathrm{k}\mathrm{m}}^2$且超過250萬像素；2）感興趣目標一般都比較小（有的甚至是0到10像素）。為了很好的解決以上的兩個視覺挑戰(zhàn)，該算法可能很好的處理任意輸入大小的圖片；可以使用少量的訓練數據獲得一個可以準確的檢測到具有不同尺度的目標；該算法甚至可以很好地檢測到5個像素點大小的目標。

4、YOLT檢測算法實現詳解

4.1 YOLT檢測算法網絡架構簡介

??上圖展示了YOLT檢測算法的網絡架構。該算法是在Yolo算法的基礎上面進行改進的，通過觀察上圖，我們可以發(fā)現：該網絡共有21層；該網絡中將輸入圖片 下采樣了16倍，即將416x 416的輸入圖片裁剪成26x26的特征映射；為了提升算法對小目標的檢測精度，網絡中增加了一個Passthrough層，該層的具體細節(jié)請看該論文，其主要的作用是通過類似于ResNet的殘差結構將多個層的特征連接起來來獲取到更加細粒度的特征表示。

4.2 YOLT檢測算法如何解決YOLO檢測算法中存在的問題

??上圖展示了YOLT算法針對YOLO算法中存在的問題所提出的解決方案。具體的問題和相應的解決方案如下所示：

• 問題1：YOLO算法不能很好的處理具有新的或者不同尋常的比例或者不同配置的目標?
• 解決思路：使用圖片縮放和圖片旋轉來增強訓練數據。
• 問題2：YOLO算法不能很好的對成群的小目標進行檢測，例如成群的鳥？
• 解決思路：首先，使用一個新的網絡架構來獲取更加細粒度的特征；然后，對小的目標進行上采樣操作；最后，在多個圖像尺度上使用檢測器集成。
• 問題3：由于YOLO網絡中使用到了多個下采樣層，YOLO算法中使用粗粒度的特征執(zhí)行BB預測？
• 解決思路：首先，使用一個新的網絡架構來獲取更加細粒度的特征；然后，對小的目標進行上采樣操作；最后，在多個圖像尺度上使用檢測器集成。
• 問題4：YOLO網絡支持的最大輸入大小是600像素左右？
• 解決思路：首先，在多個圖像尺度上使用檢測器集成；然后，將大的輸入圖片進行分塊和組合。

4.3 YOLT檢測算法實現步驟

步驟1-用戶定義bin sizes和overlap，如果你和作者的場景比較類似，可以不用修改；
步驟2-將輸入的大分辨率圖片且分為特定大小的輸入，論文中作者使用了416x416的輸入；
步驟3-搭建上圖所示的網絡架構，執(zhí)行網絡訓練；
步驟4-將裁剪好的圖像塊依次送入訓練好的網絡中執(zhí)行前向推理，獲取到相應的BB；
步驟5-將多個圖像塊的結果組合起來，15%的重復率保證了所有的區(qū)域都能被處理；
步驟6-在合成的結果上面執(zhí)行NMS操作來抑制掉一部分重復的檢測結果。

5、YOLT檢測算法效果展示

??上圖展示了YOLT算法的檢測效果。通過上面的觀察，我們可以得出：YOLT可以準確的檢測出圖片中的車、船、飛機、房屋和機場等多個類別；YOLT可以很好的檢測到圖像中的小目標。

??上圖分別展示了YOLT算法在不同的5種目標中的檢測性能和速度。通過上圖我們可以發(fā)現：YOLT在機場類別上能夠獲得最高的檢測精度；同時在機場目標上能夠獲得最快的檢測速度，主要的原因可能是機場的范圍比較大。

6、個人總結

??通過上面的分析，我們可以發(fā)現，基于YOLO的改進算法YOLT能夠很好的解決小目標的檢測問題；該算法能夠很好的解決遙感圖像中的目標檢測問題；該算法當前支持的類別包括：車輛、飛機、船舶、房屋和機場，對于一些新的類別，用戶需要在該網絡的基礎上進行微調操作。除此之外，作者提出了一個YOLT的改進版本simrdwn，具體的實現細節(jié)請看該鏈接。

參考資料

[1] 原始論文

注意事項

[1] 該博客是本人原創(chuàng)博客，如果您對該博客感興趣，想要轉載該博客，請與我聯(lián)系（qq郵箱：1575262785@qq.com）,我會在第一時間回復大家，謝謝大家的關注.
[2] 由于個人能力有限，該博客可能存在很多的問題，希望大家能夠提出改進意見。
[3] 如果您在閱讀本博客時遇到不理解的地方，希望您可以聯(lián)系我，我會及時的回復您，和您交流想法和意見，謝謝。
[4] 本人業(yè)余時間承接各種本科畢設設計和各種小項目，包括圖像處理（數據挖掘、機器學習、深度學習等）、matlab仿真、python算法及仿真等，有需要的請加QQ：1575262785詳聊，備注“項目”！！！

總結

以上是生活随笔為你收集整理的YOLT遥感图像检测算法详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。