論文解讀：韓宗博 碩士研究生 | 天津大學 智能與計算學部

指導老師：張長青，天津大學副教授，博士生導師

1. 方法動機

多模態人工智能技術正在被廣泛應用到智能醫療、無人系統等重要領域，設計精準、可靠的多模態學習技術成為支持重要應用的關鍵。

多模態數據為智能系統決策提供了豐富信息，使得多模態智能系統可以 “兼聽則明”，提高分類和預測準確性。

然而，在許多代價敏感場景中，多模態融合及決策的可信性往往更加重要。

對于多模態分類任務，傳統方法通常假設各模態質量和任務相關性是穩定的。

但實際上，對于不同樣本或在不同場景下，模態的質量和任務的相關程度往往具有動態性。如多傳感器場景中，RGB 圖像在光線好時更有效，而近紅外圖像在可以在視覺困難情況下提供更重要的信息。

多模態醫學診斷中，往往存在多項檢查數據，對于不同患者同一檢查項目所提供信息的重要性也會有所不同。此外，傳感器的不穩定以及損壞導致數據獲取異常，也給融合帶來挑戰。考慮到多模態數據質量的動態性，需要使多模態智能系統可以做到可靠而且有證據地融合多模態信息，即 “信而有征”，從而提高分類和預測的穩定性和可信性。

本文使用不確定性對此動態性進行建模、利用一種改進的證據融合策略集成多模態信息。論文題為?Trusted Multi-View Classification?，現已被 ICLR 2021 收錄。

基于此，不僅能在模態質量動態變化時獲得更加穩定的分類結果，同時能夠估計決策信心，并對分類結果和分類信心進行模態級溯源。整體上，所提方法在多模態協同學習（兼聽則明）中，對不同模態進行證據估計（信而有征），從而支持融合及決策的可靠性和穩定性。

圖 1. 可信多視圖學習框架.

2. 方法框架

• 不確定性和證據理論

在使用 softmax 的分類模型中，最大的 softmax 輸出用于最終預測會使即使錯誤的預測也有較高的置信度（over-confident）。

主觀邏輯（subjective logic）算法能夠很好的解決這一問題。與普通的分類不同，主觀邏輯通過將輸出建模為狄利克雷分布來獲得不同類的分配概率和不確定性。

具體地，對于視圖??，我們有

??，

其中??表示不確定性，??表示第??類的分配概率。對第??個視圖，主觀邏輯將證據??和狄利克雷分布的參數?ααα?進行了聯系，即?α?。然后，不同類的分配概率和不確定性可以由以下公式計算得到：

?α?，

其中，?α?。

• DS 組合規則用于多模態分類

對于模態??可以得到，現在考慮使用 DS 組合規則將??個獨立的模態所得到的分配概率進行組合。

給定??和??，可以使用以下規則進行融合：

??

具體的計算方式為：

??

其中??反映了??和??的沖突程度。

根據 DS 組合規則的可傳遞性，我們可以得到，對于??個模態的融合方式：

??.

該組合方式具有較好的合理性和可解釋性。不同類的分配概率和不確定性計算的過程實際保證了如下特性：（1）觀測到的第??類的證據越多，分配給第??類的可能性就越大，反之亦然；（2）若所有類證據都不足，則整體不確定性較大。此外，目標函數還通過抑制錯誤標簽對應的證據避免不確定性小但分類錯誤的情況。

• 通過學習獲得??

傳統神經網絡通常使用交叉熵損失進行訓練：

??.

由于模型的輸出為狄利克雷分布，需要對其進行調整，得到下式：?

?αααψψα,?

其中?ψ?是 digamma 函數。

上述損失能夠促進模型每個樣本的正確標簽比其他類生成更多的證據，但是不能保證錯誤類的證據盡量少。我們期望對于錯誤分類的樣本的證據變為 0。因此以下損失函數被引入用來對證據進行正則化。

。

給出狄利克雷分布參數?α?后的損失可以寫作：

?ααλα?。

在多模態框架下，我們采用多任務策略，總損失如下所示：

?αα?.

3. 實驗結果

實驗表明，所提方法可以較為靈敏地感知噪聲的動態變化 (更多實驗見論文)：

圖 2. 不確定性密度分布：分布內 / 外樣本對比.

圖 3. 典型確定性和不確定性分類結果.

4. 總結

針對多模態之間關系的不穩定性或動態性，此次研究首次提出可信多模態融合方法，設計了支持可信和可解釋的多模態分類算法。所提出的模型基于證據理論以可學習方式進行自適應的動態集成，對每個樣本的每個模態進行不確定性估計，使模型能夠在復雜多變場景下保證分類的可靠性和穩定性。

潛在應用場景主要包括：

1. 需要可信決策的多模態分類任務，如智能醫療、自動駕駛等代價敏感任務；

2. 模態質量動態變化的應用場景；?

3. 尋求決策可溯源的多模態集成場景；

4. 多傳感器系統中容易出現傳感器故障的場景。

論文鏈接：https://openreview.net/forum?id=OOsR8BzCnl5

?

代碼鏈接：https://github.com/hanmenghan/TMC

Zongbo?Han,?Changqing?Zhang,?Huazhu?Fu,?Joey?Tianyi?Zhou,?Trusted?Multi-View?Classification,?International?Conference?on?Learning?Representations?(ICLR)?2021

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯溫州大學《機器學習課程》視頻 本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【论文解读】ICLR 2021 |可信多模态机器学习：兼听则明，信而有征的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。