當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

early fusion VS later fusion

發布時間：2024/3/12 编程问答 55 豆豆

生活随笔收集整理的這篇文章主要介紹了 early fusion VS later fusion 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

一、early fusion VS later fusion

$\qquad$ early fusion指的是先將不同的特征融合再一起，最后再使用分類器對其進行分類，這個融合過程發生在特征之間，一般稱之為特征融合或者"early fusion"；Later fusion指的是不同的特征使用不同的分類器，得到基于每個特征的分類結果，再對所有結果進行融合(可能是投票、加權平均等)，這個融和發生在不同特征分類結果之間的融合，稱為"later fusion"或"decision fusion"。
$\qquad$ 一般用"early fusion"較多，但也沒有明確說明哪個更好，需要根據實踐經驗來。如果你的不同特征間差距實在太大，特征很難合理的融合在一起的情況下，可以使用"later fusion"，比如做視頻分類，每個視頻提供了"視頻動畫"，“字幕”，"語音"三種不同維度上的特征，這類特征如果無法很好的融合成一個特征的話可以使用later fusion。

二、兩篇關于上述兩種融合方法的文章

第一篇："Affect Recognition from Face and Body Early Fusion vs. Late Fusion"
$\qquad$ 作者使用兩種不同的策略，一種是將"Face"特征和"Body"特征融合成一個特征后使用分類器進行分類，即"Feature fusion"；一種是分別為"Face"和"Body"特征選擇合適的分類器后得到二者的分類結果，對于該結果進行融合，綜合判斷得到最終結果，即"decision fusion"。在作者的實驗中，"Feature fusion"更勝一籌
第二篇：“Early versus Late Fusion in Semantic Video Analysis”。
$\qquad$ 同樣的，先特征融合后分類與針對不同特征分類后再融合兩種策略。因為視頻的三種不同維度的特征（文本、語音、視頻）間差距很大，所以在作者的實驗中，"Later fusion"效果更好。

三、直觀理解兩種方法誰更好

$\qquad$ 假設有三個特征 $M 1, M 2, M 3$ 和三個分類器 $A, B, C$ ，分類器分類三個特征的準確率如表所示：

準確率ABC

$M 1$	0.9	0.8	0.7
$M 2$	0.7	0.8	0.9
$M 3$	0.8	0.9	0.7

1、later fusion

$\qquad$ 對于每個特征，我們選擇其準確率最高的分類器，即 $M 1$ 選擇A， $M 2$ 選擇C， $M 3$ 選擇B，準確率均為0.9。假設我們采取投票的方法進行融合，那么最終分類準確率為 $a c c = 0.9 ? 0.9 ? 0.9 + 3 ? (0.9 ? 0.9 ? 0.1) = 0.972$

2、early fusion

$\qquad$ 假設我們將特征融合在一起，再依次使用三個分類器去看哪個分類效果最好。對于分類器A而言，它分類特征 $M 1$ ， $M 2$ ， $M 3$ 的準確率分別是0.9，0.8，0.7，那是不是說明將特征融合后分類準確率就是 $acc_A=0.9*0.7*0.8+0.9*0.7*0.2+0.9*0.3*0.8+0.1*0.7*0.8=0.902$ 呢？那按照這種思路的話就能直接得到early fusion不如later fusion的結論。顯然不是的。
$\qquad$ 特征融合的強大之處在于特征融合后對于結果的判斷的增益可能是大幅提升的，而并非簡單的排列組合。比如給你一張貓頭鷹圖片，我們提取出了它的臉部特征(“貓臉”)的腿部特征(“鳥爪子”)，如果只給我們臉部特征，我們可能只有50%的概率能分辨出該動物是貓頭鷹，還可能被分類為”貓“等；如果只給爪子我們可能只有10%的特征分辨出這是貓頭鷹的爪子而不是其他鳥類的爪子。但如果這兩個特征都給我們，我們可以99%確認這是一只貓頭鷹。因此，特征之間很可能是相輔相成的，關鍵是要找到合適的方法進行融合。