該論文聚焦于影子的分割（segmentation），創(chuàng)新點在于提出新的數(shù)據(jù)集和一種局部特征增強方法。

創(chuàng)新點1：自建的數(shù)據(jù)集CUHK-Shadow：

1. 數(shù)據(jù)集的特點

• 10500張帶標簽的圖片；更復雜的場景；
• 包含了投射到背景物體上的投影，也包含了投射到自身的投影；
• 提供了測試集；
• 數(shù)據(jù)集里的圖片有5個不同的來源，分別是ADE20K、KITTI、Google MAP、USR、Internet，每個部分都有獨立的劃分出數(shù)據(jù)集，在后文作者的實驗部分即對總體數(shù)據(jù)集進行了性能的評估，也分別對五個部分獨立地進行了試驗評估。
  

2. 數(shù)據(jù)集的復雜性

2.1 陰影面積的相對于圖片總面積的占比（更復雜）

2.2 每幅圖片的陰影個數(shù)更多、方差更大

2.3 陰影區(qū)域有著更均勻的空間分布

2.4 非陰影區(qū)與陰影區(qū)的顏色對比度（比以往的數(shù)據(jù)集更低）

PS. 現(xiàn)有的數(shù)據(jù)集

3. 評價指標：

3.1 Balanced error rate (BER)【越小越好】

傳統(tǒng)的BER指標用來評價二分類（0/1）結果，于是對指標進行一些改進來適用連續(xù)（0~1）的預測結果：

3.2 f_β^ω【越大越好】

創(chuàng)新點2：Fast shadow detection network (FSDNet)

3.1 骨干網絡：MobileNet V2【先前已有的工作】

首先，使用 MobileNet V2 作為具有一系列反向殘差瓶頸 (IRB) 的主干來提取多個尺度的特征圖。 每個 IRB 包含一個 1×1 卷積、一個 3×3 深度卷積和另一個 1×1 卷積，并通過跳躍連接添加輸入和輸出特征圖。 此外，它在每次卷積后采用批量歸一化，在前兩次卷積后采用 ReLU6。 其次，我們在主干的最后一個卷積層之后使用方向感知空間上下文 (direction-aware spatial context, DSC) 模塊來收集 DSC 特征，其中包含用于識別陰影的全局上下文信息。

3.2 細節(jié)增強模塊：Detail Enhancement Module (DEM)【獨創(chuàng)性工作】

圖 7 顯示了細節(jié)增強模塊（DEM）的結構。 以低級特征 FL 和 DSC 特征 FD 作為輸入，它首先通過 1×1 卷積減少 FD 的特征通道數(shù)，并將其上采樣到 FL 的大小。 然后，我們計算門圖(gate map) G 以根據(jù) DSC 特征和低級特征之間的距離來衡量細節(jié)結構的重要性：

$$G=\alpha ?log(1+(FL?FD{)}^2)$$

其中$(FL?FD{)}^2$表示兩個特征之間的距離，由對數(shù)函數(shù)重新縮放。 然后，引入可學習參數(shù)α來調整門圖的比例。 最后，我們將門圖G與輸入的低級特征 FL 相乘以增強空間細節(jié)并產生精細的低級特征 FE。這個模塊只引入了很少參數(shù)（一個1×1的卷積和參數(shù)α），所以計算時間可以忽略不計。

3.3 消融實驗

• basic：直接使用backbone的最后一層直接預測陰影
• basic+DSC：增加DSC模塊聚合全局特征
• FSDNet-high-only：不使用多尺度的特征，直接使用high-leve特征預測陰影的mask
• FSDNet w/o DEM：不使用DEM，直接對low-level、middle-level、high-level特征拼接

3.4 模型的對比

總結

以上是生活随笔為你收集整理的[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。