論文解讀：韓宗博 碩士研究生 | 天津大學(xué) 智能與計算學(xué)部

指導(dǎo)老師：張長青，天津大學(xué)副教授，博士生導(dǎo)師

1. 方法動機

多模態(tài)人工智能技術(shù)正在被廣泛應(yīng)用到智能醫(yī)療、無人系統(tǒng)等重要領(lǐng)域，設(shè)計精準、可靠的多模態(tài)學(xué)習(xí)技術(shù)成為支持重要應(yīng)用的關(guān)鍵。

多模態(tài)數(shù)據(jù)為智能系統(tǒng)決策提供了豐富信息，使得多模態(tài)智能系統(tǒng)可以 “兼聽則明”，提高分類和預(yù)測準確性。

然而，在許多代價敏感場景中，多模態(tài)融合及決策的可信性往往更加重要。

對于多模態(tài)分類任務(wù)，傳統(tǒng)方法通常假設(shè)各模態(tài)質(zhì)量和任務(wù)相關(guān)性是穩(wěn)定的。

但實際上，對于不同樣本或在不同場景下，模態(tài)的質(zhì)量和任務(wù)的相關(guān)程度往往具有動態(tài)性。如多傳感器場景中，RGB 圖像在光線好時更有效，而近紅外圖像在可以在視覺困難情況下提供更重要的信息。

多模態(tài)醫(yī)學(xué)診斷中，往往存在多項檢查數(shù)據(jù)，對于不同患者同一檢查項目所提供信息的重要性也會有所不同。此外，傳感器的不穩(wěn)定以及損壞導(dǎo)致數(shù)據(jù)獲取異常，也給融合帶來挑戰(zhàn)。考慮到多模態(tài)數(shù)據(jù)質(zhì)量的動態(tài)性，需要使多模態(tài)智能系統(tǒng)可以做到可靠而且有證據(jù)地融合多模態(tài)信息，即 “信而有征”，從而提高分類和預(yù)測的穩(wěn)定性和可信性。

本文使用不確定性對此動態(tài)性進行建模、利用一種改進的證據(jù)融合策略集成多模態(tài)信息。論文題為?Trusted Multi-View Classification?，現(xiàn)已被 ICLR 2021 收錄。

基于此，不僅能在模態(tài)質(zhì)量動態(tài)變化時獲得更加穩(wěn)定的分類結(jié)果，同時能夠估計決策信心，并對分類結(jié)果和分類信心進行模態(tài)級溯源。整體上，所提方法在多模態(tài)協(xié)同學(xué)習(xí)（兼聽則明）中，對不同模態(tài)進行證據(jù)估計（信而有征），從而支持融合及決策的可靠性和穩(wěn)定性。

圖 1. 可信多視圖學(xué)習(xí)框架.

2. 方法框架

• 不確定性和證據(jù)理論

在使用 softmax 的分類模型中，最大的 softmax 輸出用于最終預(yù)測會使即使錯誤的預(yù)測也有較高的置信度（over-confident）。

主觀邏輯（subjective logic）算法能夠很好的解決這一問題。與普通的分類不同，主觀邏輯通過將輸出建模為狄利克雷分布來獲得不同類的分配概率和不確定性。

具體地，對于視圖??，我們有

??，

其中??表示不確定性，??表示第??類的分配概率。對第??個視圖，主觀邏輯將證據(jù)??和狄利克雷分布的參數(shù)?ααα?進行了聯(lián)系，即?α?。然后，不同類的分配概率和不確定性可以由以下公式計算得到：

?α?，

其中，?α?。

• DS 組合規(guī)則用于多模態(tài)分類

對于模態(tài)??可以得到，現(xiàn)在考慮使用 DS 組合規(guī)則將??個獨立的模態(tài)所得到的分配概率進行組合。

給定??和??，可以使用以下規(guī)則進行融合：

??

具體的計算方式為：

??

其中??反映了??和??的沖突程度。

根據(jù) DS 組合規(guī)則的可傳遞性，我們可以得到，對于??個模態(tài)的融合方式：

??.

該組合方式具有較好的合理性和可解釋性。不同類的分配概率和不確定性計算的過程實際保證了如下特性：（1）觀測到的第??類的證據(jù)越多，分配給第??類的可能性就越大，反之亦然；（2）若所有類證據(jù)都不足，則整體不確定性較大。此外，目標函數(shù)還通過抑制錯誤標簽對應(yīng)的證據(jù)避免不確定性小但分類錯誤的情況。

• 通過學(xué)習(xí)獲得??

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)通常使用交叉熵損失進行訓(xùn)練：

??.

由于模型的輸出為狄利克雷分布，需要對其進行調(diào)整，得到下式：?

?αααψψα,?

其中?ψ?是 digamma 函數(shù)。

上述損失能夠促進模型每個樣本的正確標簽比其他類生成更多的證據(jù)，但是不能保證錯誤類的證據(jù)盡量少。我們期望對于錯誤分類的樣本的證據(jù)變?yōu)?0。因此以下?lián)p失函數(shù)被引入用來對證據(jù)進行正則化。

。

給出狄利克雷分布參數(shù)?α?后的損失可以寫作：

?ααλα?。

在多模態(tài)框架下，我們采用多任務(wù)策略，總損失如下所示：

?αα?.

3. 實驗結(jié)果

實驗表明，所提方法可以較為靈敏地感知噪聲的動態(tài)變化 (更多實驗見論文)：

圖 2. 不確定性密度分布：分布內(nèi) / 外樣本對比.

圖 3. 典型確定性和不確定性分類結(jié)果.

4. 總結(jié)

針對多模態(tài)之間關(guān)系的不穩(wěn)定性或動態(tài)性，此次研究首次提出可信多模態(tài)融合方法，設(shè)計了支持可信和可解釋的多模態(tài)分類算法。所提出的模型基于證據(jù)理論以可學(xué)習(xí)方式進行自適應(yīng)的動態(tài)集成，對每個樣本的每個模態(tài)進行不確定性估計，使模型能夠在復(fù)雜多變場景下保證分類的可靠性和穩(wěn)定性。

潛在應(yīng)用場景主要包括：

1. 需要可信決策的多模態(tài)分類任務(wù)，如智能醫(yī)療、自動駕駛等代價敏感任務(wù)；

2. 模態(tài)質(zhì)量動態(tài)變化的應(yīng)用場景；?

3. 尋求決策可溯源的多模態(tài)集成場景；

4. 多傳感器系統(tǒng)中容易出現(xiàn)傳感器故障的場景。

論文鏈接：https://openreview.net/forum?id=OOsR8BzCnl5

?

代碼鏈接：https://github.com/hanmenghan/TMC

Zongbo?Han,?Changqing?Zhang,?Huazhu?Fu,?Joey?Tianyi?Zhou,?Trusted?Multi-View?Classification,?International?Conference?on?Learning?Representations?(ICLR)?2021

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯溫州大學(xué)《機器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請掃碼：

總結(jié)

以上是生活随笔為你收集整理的【论文解读】ICLR 2021 |可信多模态机器学习：兼听则明，信而有征的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。