原文：Why machine learning struggles with with causality

作者：Ben Dickson（科技博客bdtechtalks.com主理人）

譯者：張雨佳

當(dāng)你看下面這面這張圖片時(shí)，可以很簡(jiǎn)單地推斷出不同元素之間的因果關(guān)系。例如，你看到球棒和棒球運(yùn)動(dòng)員手臂的同步移動(dòng)，可以自然地想到是運(yùn)動(dòng)員的手臂導(dǎo)致了球棒的運(yùn)動(dòng)，以及球棒的移動(dòng)才引起球運(yùn)動(dòng)方向的突變。

當(dāng)然也可以考慮反事實(shí)，比如當(dāng)球飛得更高一點(diǎn)，沒(méi)有被球棒擊中時(shí)會(huì)發(fā)生什么。

這些推論源于人類的直覺(jué)。

我們?cè)诤苄〉臅r(shí)候、沒(méi)有人明確指導(dǎo)的情況下，就通過(guò)觀察世界學(xué)到了這些直覺(jué)。但對(duì)于在圍棋、國(guó)際象棋等復(fù)雜任務(wù)中想要超越人類的機(jī)器學(xué)習(xí)算法來(lái)說(shuō)，對(duì)因果關(guān)系的預(yù)測(cè)仍是一個(gè)挑戰(zhàn)。機(jī)器學(xué)習(xí)算法擅長(zhǎng)從大量數(shù)據(jù)中找出精巧的模型，尤其是深度神經(jīng)網(wǎng)絡(luò)。它們可以實(shí)現(xiàn)實(shí)時(shí)的轉(zhuǎn)錄音頻、每秒標(biāo)記數(shù)千張圖像和視頻幀，或者檢查x光和核磁共振掃描中是否有癌癥。但卻很難像人類一樣，自然地推斷出上面棒球視頻中存在的簡(jiǎn)單因果關(guān)系。

Max Planck智能系統(tǒng)研究所、蒙特利爾學(xué)習(xí)算法研究所（Mila）和谷歌研究所的研究者們?cè)谝黄麨椤癟owards Causal Representation Learning”的論文中認(rèn)為，用機(jī)器學(xué)習(xí)模型對(duì)因果表示還有很多挑戰(zhàn)，但如何構(gòu)建能夠?qū)W習(xí)因果表示的AI系統(tǒng)，已經(jīng)有了一些曙光初現(xiàn)的方向。

獨(dú)立同分布的數(shù)據(jù)

首先回答這個(gè)關(guān)鍵的問(wèn)題——為什么機(jī)器學(xué)習(xí)模型不能在自己的領(lǐng)域外或訓(xùn)練數(shù)據(jù)外起作用?

論文總結(jié)道：“動(dòng)物經(jīng)常使用的信息，在機(jī)器學(xué)習(xí)的過(guò)程中卻常常被忽略，比如對(duì)世界的干預(yù)、地域轉(zhuǎn)移或者時(shí)間結(jié)構(gòu)。因?yàn)闄C(jī)器學(xué)習(xí)認(rèn)為這些因素是無(wú)用的，并試圖將它們丟掉。據(jù)此，目前大多數(shù)機(jī)器學(xué)習(xí)都比較成功，歸結(jié)于對(duì)適當(dāng)收集的獨(dú)立同分布（independent and identically distributed，i.i.d.）數(shù)據(jù)進(jìn)行大量的模式識(shí)別。”

這個(gè)機(jī)器學(xué)習(xí)中經(jīng)常使用術(shù)語(yǔ)i.i.d.，它假設(shè)在問(wèn)題空間中的隨機(jī)觀測(cè)之間不相互依賴，并且發(fā)生的概率是恒定的。最簡(jiǎn)單的例子就是拋硬幣或擲骰子，每一次拋或投擲的結(jié)果都獨(dú)立于之前的結(jié)果，并且每一種結(jié)果的概率保持不變。

當(dāng)在更復(fù)雜的計(jì)算機(jī)視覺(jué)等領(lǐng)域中應(yīng)用時(shí)，機(jī)器學(xué)習(xí)工程師試圖通過(guò)在非常大的樣本集上訓(xùn)練模型，從而將問(wèn)題轉(zhuǎn)變到i.i.d.領(lǐng)域。假設(shè)有足夠多的樣本去訓(xùn)練，機(jī)器學(xué)習(xí)模型就能夠?qū)?wèn)題的一般分布規(guī)律編碼到模型參數(shù)中。

但現(xiàn)實(shí)情況中，由于無(wú)法考慮和控制訓(xùn)練數(shù)據(jù)中的所有因素，分布往往會(huì)發(fā)生變化。例如，已經(jīng)訓(xùn)練了數(shù)百萬(wàn)張圖像的卷積神經(jīng)網(wǎng)絡(luò)，當(dāng)圖像中物體遇到了新的光照條件、從略微不同的角度或新的背景下進(jìn)行測(cè)試時(shí)，就很可能會(huì)失敗。

訓(xùn)練數(shù)據(jù)集中的物體vs現(xiàn)實(shí)世界中的物體（來(lái)源：objectnet.dev）

解決上述問(wèn)題的主要方法，是在更多的樣本上訓(xùn)練機(jī)器學(xué)習(xí)模型，但隨著環(huán)境越來(lái)越復(fù)雜，通過(guò)增加訓(xùn)練樣本的方法也很難覆蓋整個(gè)樣本分布。

尤其是在機(jī)器人、自動(dòng)駕駛汽車等人工智能必須與世界進(jìn)行互動(dòng)的領(lǐng)域，面對(duì)的挑戰(zhàn)更加嚴(yán)峻。無(wú)法對(duì)因果關(guān)系進(jìn)行理解的機(jī)器學(xué)習(xí)模型，就很難做出準(zhǔn)確的預(yù)測(cè)或者處理新問(wèn)題。這就是為什么自動(dòng)駕駛汽車在經(jīng)過(guò)數(shù)百萬(wàn)英里的訓(xùn)練后，仍然會(huì)犯一些奇怪和危險(xiǎn)的錯(cuò)誤。

“要讓機(jī)器學(xué)習(xí)模型在i.i.d.領(lǐng)域之外也起作用，不僅需要學(xué)習(xí)變量之間的統(tǒng)計(jì)關(guān)聯(lián)，還需要學(xué)習(xí)潛在的因果模型”，論文寫(xiě)道。

因果模型允許人們將以前獲得的知識(shí)應(yīng)用到新的領(lǐng)域。例如，當(dāng)你學(xué)會(huì)玩《魔獸爭(zhēng)霸》這種即時(shí)戰(zhàn)略游戲后，就可以快速地將知識(shí)應(yīng)用到《星際爭(zhēng)霸》和《帝國(guó)時(shí)代》等其他類似的游戲中。

然而，機(jī)器學(xué)習(xí)算法中的遷移學(xué)習(xí)只能起到非常簡(jiǎn)單的作用，比如將圖像分類器參數(shù)微調(diào)以檢測(cè)新類型的對(duì)象。而當(dāng)機(jī)器學(xué)習(xí)模型應(yīng)用在電子游戲等更復(fù)雜的任務(wù)中時(shí)，則需要數(shù)千年的游戲訓(xùn)練，并且很難對(duì)微小的環(huán)境變化（更換新地圖或?qū)σ?guī)則的進(jìn)行微調(diào)）做出適當(dāng)?shù)恼{(diào)整。

“在學(xué)習(xí)因果模型時(shí)，我們應(yīng)該用較少的樣本來(lái)訓(xùn)練，讓大多數(shù)模塊化的知識(shí)可以在不經(jīng)過(guò)重新訓(xùn)練的情況下使用”。

因果學(xué)習(xí)

為什么i.i.d. 有這些已知的弱點(diǎn)，卻仍然是機(jī)器學(xué)習(xí)的主導(dǎo)形式？

你可以通過(guò)添加訓(xùn)練數(shù)據(jù)來(lái)提高模型的精度，也可以通過(guò)增加算力加速訓(xùn)練過(guò)程。實(shí)際上，深度學(xué)習(xí)能取得成功的一個(gè)關(guān)鍵原因，就是有更多的可用數(shù)據(jù)和更強(qiáng)大的處理器。

并且，基于i.i.d.的模型也更容易評(píng)估：先選取一個(gè)大數(shù)據(jù)集，將其分成訓(xùn)練集和測(cè)試集。然后用訓(xùn)練集調(diào)整模型，用測(cè)試集上的預(yù)測(cè)準(zhǔn)確度驗(yàn)證模型的性能。之后一直訓(xùn)練直到模型實(shí)現(xiàn)預(yù)期的準(zhǔn)確度。

現(xiàn)在有很多可用的公共數(shù)據(jù)集，比如ImageNet、CIFAR-10和MNIST。還有針對(duì)特定任務(wù)的數(shù)據(jù)集，如診斷covid-19的COVIDx數(shù)據(jù)集和威斯康星州乳腺癌診斷數(shù)據(jù)集。因此，對(duì)于所有任務(wù)來(lái)說(shuō)挑戰(zhàn)都是相同的：設(shè)計(jì)一個(gè)可以根據(jù)統(tǒng)計(jì)規(guī)律預(yù)測(cè)結(jié)果的機(jī)器學(xué)習(xí)模型。

但AI研究者也在他們的論文中觀察到，準(zhǔn)確的預(yù)測(cè)能力往往不足以為決策提供幫助。

比如在新冠病毒流行期間，許多用統(tǒng)計(jì)規(guī)律而不是因果關(guān)系訓(xùn)練的機(jī)器學(xué)習(xí)系統(tǒng)開(kāi)始失敗，并且隨著現(xiàn)實(shí)模式的改變，模型的準(zhǔn)確性也隨之下降。

但當(dāng)問(wèn)題的統(tǒng)計(jì)分布改變時(shí)，因果模型卻仍然是穩(wěn)健的。

例如，當(dāng)你第一眼看到某個(gè)物體時(shí)，大腦就會(huì)下意識(shí)地去除光照因素。這就是為什么你在新的光照條件下，仍然可以認(rèn)出這個(gè)物體的原因。

因果模型還允許我們對(duì)從沒(méi)見(jiàn)過(guò)的情況做出反應(yīng)，并思考反事實(shí)。比如我們不用把車開(kāi)下懸崖，就知道會(huì)發(fā)生什么。反事實(shí)就可以減少機(jī)器學(xué)習(xí)模型所需的訓(xùn)練樣本數(shù)量。

因果關(guān)系在應(yīng)對(duì)對(duì)抗性攻擊時(shí)也很重要，因?yàn)橐恍┪⑿〉母蓴_都會(huì)讓機(jī)器學(xué)習(xí)系統(tǒng)以意想不到的方式失敗。

論文作者寫(xiě)到，“這些攻擊顯然違反了基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)的i.i.d.假設(shè)”，并且無(wú)法應(yīng)對(duì)對(duì)抗性攻擊的弱點(diǎn)證明了，機(jī)器學(xué)習(xí)算法的魯棒性機(jī)制與人類智慧還有很大差距。研究人員還指出，因果關(guān)系可能可以防御對(duì)抗性攻擊。

對(duì)抗性攻擊的目標(biāo)是機(jī)器學(xué)習(xí)對(duì)i.i.d.的敏感性。在上圖中，給熊貓圖像上添加一層難以察覺(jué)的噪音，卷積神經(jīng)網(wǎng)絡(luò)就會(huì)錯(cuò)判為長(zhǎng)臂猿。

廣義上說(shuō)，因果關(guān)系可以增強(qiáng)機(jī)器學(xué)習(xí)的泛化能力。研究人員寫(xiě)到:“事實(shí)上，當(dāng)前大多數(shù)為了解決i.i.d.基準(zhǔn)問(wèn)題的實(shí)驗(yàn)和大多數(shù)在i.i.d.設(shè)置中進(jìn)行泛化的理論結(jié)果，都不能解決跨問(wèn)題泛化這個(gè)嚴(yán)峻挑戰(zhàn)。”

在機(jī)器學(xué)習(xí)中加入因果關(guān)系

AI研究者們已經(jīng)整合了一些對(duì)于構(gòu)建因果機(jī)器學(xué)習(xí)模型至關(guān)重要的概念和原則。

其中有兩個(gè)概念：“結(jié)構(gòu)因果模型”和“獨(dú)立因果機(jī)制”，它們表明AI系統(tǒng)不應(yīng)該只是尋找表面的統(tǒng)計(jì)相關(guān)性，而是應(yīng)該能夠識(shí)別因果變量，并去除它們對(duì)環(huán)境的影響。

這種機(jī)制可以使模型在不同的視角、背景、光線和噪音下都能夠正確檢測(cè)對(duì)象。理清這些因果變量將有助于AI系統(tǒng)更加穩(wěn)健地應(yīng)對(duì)不可預(yù)測(cè)的變化和干預(yù)。因此，因果AI模型就不需要龐大的訓(xùn)練數(shù)據(jù)集了。

因果機(jī)器學(xué)習(xí)論文的作者寫(xiě)到，“無(wú)論是通過(guò)外部人類知識(shí)還是機(jī)器學(xué)習(xí)過(guò)程，只要得到了因果模型就可以得出干預(yù)、反事實(shí)和潛在結(jié)果的影響”。

作者還探討了如何將這些概念應(yīng)用于強(qiáng)化學(xué)習(xí)等機(jī)器學(xué)習(xí)的其他分支，使智能代理可以不依靠大量的探索環(huán)境和試錯(cuò)就能發(fā)現(xiàn)問(wèn)題。由于因果結(jié)構(gòu)允許模型在訓(xùn)練剛開(kāi)始就有根據(jù)的做出決定，而不是采用隨機(jī)和不合理的決策，所以可以使強(qiáng)化學(xué)習(xí)的訓(xùn)練更加有效。

因此，研究者們?yōu)榻Y(jié)合機(jī)器學(xué)習(xí)機(jī)制和結(jié)構(gòu)因果模型的AI系統(tǒng)提供了新思路:“為了將結(jié)構(gòu)因果建模（SCM）和表示學(xué)習(xí)相結(jié)合，我們應(yīng)該將SCM嵌入到輸入和輸出是高維非結(jié)構(gòu)化的大型機(jī)器學(xué)習(xí)模型中，但至少模型中有一部分工作是由神經(jīng)網(wǎng)絡(luò)調(diào)整過(guò)參數(shù)的SCM完成的。最終獲得的模型可能具有模塊化的架構(gòu)，不同的模塊可以單獨(dú)調(diào)整用于不同的新任務(wù)。”

這些概念就更接近于人類思維的模塊化方法，比如我們知道大腦的不同領(lǐng)域和區(qū)域會(huì)聯(lián)系和使用不同的知識(shí)和技能。

通過(guò)將因果圖與機(jī)器學(xué)習(xí)相結(jié)合，AI代理在少量訓(xùn)練樣本的情況下就可以構(gòu)建應(yīng)用于不同任務(wù)的模塊

需要注意的是，本文想法是在概念層面上提出的。而真正要實(shí)現(xiàn)這些概念面臨著以下挑戰(zhàn)：“（a）很多時(shí)候，我們需要從現(xiàn)有的底層特征中推斷出抽象的因果變量；（b）對(duì)于哪種類型的數(shù)據(jù)揭示了因果關(guān)系沒(méi)有達(dá)成共識(shí)；（c）通常在訓(xùn)練和測(cè)試集上的實(shí)驗(yàn)方案，不足以推斷和評(píng)價(jià)現(xiàn)有數(shù)據(jù)集中的因果關(guān)系。我們可能需要獲得更多的環(huán)境信息和干預(yù)措施，建立新的基準(zhǔn)；（d）即使在我們擅長(zhǎng)的領(lǐng)域中，也經(jīng)常缺乏可擴(kuò)展的、數(shù)值上合理的算法。”

不過(guò)也有許多研究人員從一些現(xiàn)有工作領(lǐng)域中獲得了靈感。

這篇論文參考了被稱為“貝葉斯網(wǎng)絡(luò)之父”的圖靈獎(jiǎng)獲得者Judea Pearl的工作，他以因果推理方面的工作而聞名，也曾直言不諱地批評(píng)了純深度學(xué)習(xí)方法。而且這篇論文的另一位作者Yoshua Bengio也是圖靈獎(jiǎng)得主，是深度學(xué)習(xí)的先驅(qū)之一。

論文中的一些想法還與Gary Marcus提出的混合AI模型相重疊，它將符號(hào)系統(tǒng)的推理能力與神經(jīng)網(wǎng)絡(luò)的模式識(shí)別能力相結(jié)合。但這篇論文并沒(méi)有直接提到結(jié)合后的混合系統(tǒng)。

該論文也符合邏輯分析系統(tǒng)system 2深度學(xué)習(xí)——Bengio在2019人工智能大會(huì)（NeurIPS 2019）上提出的概念。system 2深度學(xué)習(xí)的理念是構(gòu)造一種能從數(shù)據(jù)中學(xué)習(xí)更高層表示的神經(jīng)網(wǎng)絡(luò)框架。而高層表示對(duì)于因果關(guān)系、推理和遷移學(xué)習(xí)都非常重要。

雖然還不清楚提出的哪種方法可以解決機(jī)器學(xué)習(xí)的因果關(guān)系問(wèn)題，但只要互相沖突、不同來(lái)源的觀點(diǎn)匯聚在一起，就會(huì)碰撞出有趣的結(jié)果。

最后，作者認(rèn)為：“深入來(lái)講，i.i.d.模式識(shí)別只是一種數(shù)學(xué)抽象，而因果關(guān)系對(duì)于大多數(shù)生命體來(lái)說(shuō)都是必不可少的一部分。到目前為止，機(jī)器學(xué)習(xí)一直忽略了對(duì)因果關(guān)系的全部整合，但我們認(rèn)為，整合因果概念很有可能讓機(jī)器學(xué)習(xí)受益。”

Reference：

https://arxiv.org/abs/2102.11107

https://bdtechtalks.com/2021/03/15/machine-learning-causality/

往期精彩回顧適合初學(xué)者入門(mén)人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊(cè)深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯溫州大學(xué)《機(jī)器學(xué)習(xí)課程》視頻 本站qq群851320808，加入微信群請(qǐng)掃碼：

總結(jié)

以上是生活随笔為你收集整理的Bengio团队因果学习论文反思：为何机器学习仍在因果关系中挣扎？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。