FFM(Feature Fusion Module) 特征融合模塊

像FPN, FCN等都屬于特征融合

在深度學習的很多工作中（例如目標檢測、圖像分割），融合不同尺度的特征是提高性能的一個重要手段。低層特征分辨率更高，包含更多位置、細節信息，但是由于經過的卷積更少，其語義性更低，噪聲更多。高層特征具有更強的語義信息，但是分辨率很低，對細節的感知能力較差。如何將兩者高效融合，取其長處，棄之糟泊，是改善分割模型的關鍵。

很多工作通過融合多層來提升檢測和分割的性能，按照融合與預測的先后順序，分類為早融合(Early fusion)和晚融合(Late fusion)。

早融合(Early fusion):先融合多層的特征，然后在融合后的特征上訓練預測器（只在完全融合之后，才統一進行檢測）。這類方法也被稱為skip connection，即采用concat、add操作。這一思路的代表是Inside-Outside Net(ION)和HyperNet。兩個經典的特征融合方法：

（1）concat：系列特征融合，直接將兩個特征進行連接。兩個輸入特征x和y的維數若為p和q，輸出特征z的維數為p+q；

（2）add：并行策略，將這兩個特征向量組合成復向量，對于輸入特征x和y，z = x + iy，其中i是虛數單位。

晚融合(Late fusion)：通過結合不同層的檢測結果改進檢測性能（尚未完成最終的融合之前，在部分融合的層上就開始進行檢測，會有多層的檢測，最終將多個檢測結果進行融合）。這一類研究思路的代表有兩種：

（1）feature不融合，多尺度的feture分別進行預測，然后對預測結果進行綜合，如Single Shot MultiBox Detector (SSD) , Multi-scale CNN(MS-CNN)

（2）feature進行金字塔融合，融合后進行預測，如Feature Pyramid Network(FPN)等。

總結

以上是生活随笔為你收集整理的特征融合 & FFM(Feature Fusion Module) 特征融合模块的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。