導(dǎo)讀：本文將講述可解釋機(jī)器學(xué)習(xí)的研究背景，介紹黑盒模型存在的問題和風(fēng)險(xiǎn)，通過一些小故事讓讀者了解問題的嚴(yán)重性。

作者：索信達(dá)控股 邵平 楊健穎 蘇思達(dá) 何悅 蘇鈺

來源：大數(shù)據(jù)DT（ID：hzdashuju）

01 機(jī)器學(xué)習(xí)面臨的挑戰(zhàn)

2016年3月，基于深度學(xué)習(xí)算法的阿爾法圍棋（AlphaGo），以4∶1的總比分戰(zhàn)勝圍棋世界冠軍李世石，深度學(xué)習(xí)算法從此一戰(zhàn)成名，成為機(jī)器學(xué)習(xí)領(lǐng)域備受推崇的明星算法，在計(jì)算機(jī)視覺，語音識(shí)別，自然語言處理、生物信息學(xué)等領(lǐng)域都取得了極好的應(yīng)用成果。

雖然深度學(xué)習(xí)模型、集成學(xué)習(xí)模型（比如XGBoost、LightGBM等）在很多領(lǐng)域都取得了很好的成果，但是這類模型有一個(gè)共同的特點(diǎn)就是：內(nèi)部結(jié)構(gòu)非常復(fù)雜，其運(yùn)作機(jī)制就像一個(gè)黑盒子一樣，難以用人類可以理解的語言去描述，模型輸出結(jié)果也難以被解釋，使得其在一些有關(guān)生命安全或重要決策領(lǐng)域的應(yīng)用受到巨大挑戰(zhàn)。

比如在銀行業(yè)，2019年2月，波蘭政府增加了一項(xiàng)銀行法修正案，該修正案賦予了客戶在遇到負(fù)面信用決策時(shí)可獲得解釋的權(quán)利。這是GDPR（《通用數(shù)據(jù)保護(hù)條例》，General Data Protection Regulation）在歐盟實(shí)施的直接影響之一。這意味著如果決策過程是自動(dòng)的，那么銀行需要能夠向客戶解釋為什么不批準(zhǔn)貸款。

2018年10月，“亞馬遜人工智能招聘工具偏向男性”的報(bào)道登上了全球的頭條新聞。亞馬遜的模型是基于有偏見的數(shù)據(jù)進(jìn)行訓(xùn)練的，這些數(shù)據(jù)偏向于男性應(yīng)聘者。該模型構(gòu)建了不利于含有“Women's”一詞的簡(jiǎn)歷的規(guī)則。

以上問題的提出，表明業(yè)界對(duì)模型的應(yīng)用要求，已經(jīng)不只是停留在準(zhǔn)確性層面，模型結(jié)果能否解釋，模型是否安全、公正、透明等也是機(jī)器學(xué)習(xí)面臨的新挑戰(zhàn)。

02 黑盒模型存在的問題

在實(shí)際應(yīng)用中，黑盒模型為什么難以一步到位解決所有問題呢？在回答這個(gè)問題之前，我們先來看幾個(gè)銀行業(yè)的小故事。

1）小楊是某銀行的一名理財(cái)客戶經(jīng)理，年關(guān)將至，馬上就要業(yè)績(jī)考核了，但其業(yè)績(jī)離既定的銷售目標(biāo)還有一定的距離，于是他決定使用一個(gè)機(jī)器學(xué)習(xí)模型，判斷他所負(fù)責(zé)的客戶名單中哪些人更有可能會(huì)購(gòu)買基金產(chǎn)品。花了一周時(shí)間編寫代碼和做特征工程，小楊順利地運(yùn)行了一個(gè)XGBoost（Extreme Gradient Boosting，梯度提升）模型，模型的AUC（Area Under Curve，ROC曲線下與坐標(biāo)軸圍成的面積）達(dá)到了0.86，結(jié)果非常理想，他便高興地拿著模型預(yù)測(cè)的名單逐個(gè)進(jìn)行電話營(yíng)銷。結(jié)果在幾百通電話之后，最終只有一兩個(gè)客戶購(gòu)買了基金產(chǎn)品，小楊落寞地對(duì)著自己的代碼陷入了沉思。

2）小蘇是某銀行的風(fēng)控專員，最近銀行新開通的信用卡遇到了嚴(yán)重的逾期還款問題，銀行決定對(duì)舊的評(píng)分模型進(jìn)行調(diào)整優(yōu)化，以防止發(fā)生更多的違約情況。于是他用新的訓(xùn)練數(shù)據(jù)對(duì)模型進(jìn)行了更新，并對(duì)一些特征重新進(jìn)行了分箱處理，最終將新模型部署上線。然而沒過多久，銀行便開始接到不同的投訴電話：“為什么我已經(jīng)提供了齊全的資料，征信也沒問題，但是我的信用卡審批就是通不過呢？”“我提交的資料信息與我同事的資料信息是相近的，為什么他的額度比我的高那么多？”……面對(duì)申請(qǐng)人接二連三的質(zhì)疑，小蘇一時(shí)半會(huì)兒也沒法回答，面對(duì)這個(gè)黑盒模型運(yùn)行所得的評(píng)分模型，他正絞盡腦汁地對(duì)模型進(jìn)行剖析。

3）小何是一位典型的“吃貨”，尤其喜愛喝珍珠奶茶，幾乎每餐之后都會(huì)到手機(jī)銀行App上瀏覽附近的奶茶店。最近她婚期將至，看著自己的體重還在持續(xù)增長(zhǎng)，于是下定決心減肥，并辦了一張健身房的年卡，并且每餐也以沙拉等輕食為主，杜絕珍珠奶茶等高糖分的攝入。令她煩惱的是，每次吃完飯用手機(jī)銀行App結(jié)賬的時(shí)候，App總會(huì)向她推薦附近的奶茶店。為了避免因禁不住誘惑而導(dǎo)致減肥前功盡棄，小何毅然決定卸載該手機(jī)銀行的App。

由于黑盒模型內(nèi)部結(jié)構(gòu)的復(fù)雜性，模型使用者往往無法得知數(shù)據(jù)進(jìn)入模型之后，是如何得到預(yù)測(cè)結(jié)果的，這就好像變魔術(shù)一樣，魔術(shù)師從黑盒里變出不同的物品，觀眾卻不明所以。

對(duì)于決策者，尤其是對(duì)于高風(fēng)險(xiǎn)領(lǐng)域（比如自動(dòng)駕駛、金融領(lǐng)域、醫(yī)療行業(yè)等）的決策者，在不清楚黑盒模型運(yùn)作原理的情況下，是不敢僅憑模型的預(yù)測(cè)結(jié)果就輕易做出決策的。

雖然人工智能和機(jī)器學(xué)習(xí)技術(shù)大大提升了人類生活和工作的效率，在很多領(lǐng)域，人工智能都在發(fā)揮著巨大的作用。但不可忽視的是，人工智能、機(jī)器學(xué)習(xí)中的模型黑盒問題，也同樣需要引起我們的重視，值得我們深入思考。模型黑盒問題具體包括如下三點(diǎn)。

1. 無法挖掘因果關(guān)系問題或因果錯(cuò)判問題

我們?cè)谑褂脵C(jī)器學(xué)習(xí)模型時(shí)，不僅希望模型能夠給出正確的預(yù)測(cè)結(jié)果（尤其是在醫(yī)學(xué)、金融、自動(dòng)駕駛等高風(fēng)險(xiǎn)領(lǐng)域），還希望模型能夠?yàn)槲覀兲峁┡袛嘁罁?jù)。

黑盒模型內(nèi)部結(jié)構(gòu)復(fù)雜，使用黑盒模型做預(yù)測(cè)時(shí)，我們會(huì)根據(jù)一些模型的評(píng)價(jià)指標(biāo)（如AUC）去評(píng)估模型的好壞，但即使AUC很高，我們也依然不清楚黑盒模型的判斷依據(jù)是否正確。如果模型無法給出合理的因果關(guān)系，那么模型的結(jié)果也將很難使人信服。

微軟著名研究院的Caruana曾在論文^[1]中提到過一個(gè)醫(yī)學(xué)上的例子：

在一個(gè)關(guān)于肺炎風(fēng)險(xiǎn)的數(shù)據(jù)集中，我們想要預(yù)測(cè)不同肺炎病人的死亡概率，從而更好地治療高風(fēng)險(xiǎn)的肺炎病人。最準(zhǔn)確的模型是神經(jīng)網(wǎng)絡(luò)，AUC達(dá)到0.86，但是當(dāng)我們使用基于規(guī)則的模型時(shí)，模型學(xué)習(xí)到了“如果病人帶有哮喘，那么他屬于低風(fēng)險(xiǎn)人群”。也就是說，帶有哮喘的肺炎患者的死亡率比其他肺炎患者要低。

這個(gè)結(jié)論看起來模棱兩可，違背了我們的客觀認(rèn)知，但深入挖掘下去，我們便會(huì)發(fā)現(xiàn)其中的邏輯關(guān)系：有哮喘病史的肺炎患者，由于病情的嚴(yán)重性，會(huì)得到更進(jìn)一步的治療，治療的效果通常也會(huì)很好，從而降低了這類患者的死亡率。

如果我們直接使用屬于黑盒模型的神經(jīng)網(wǎng)絡(luò)模型，那么模型由于無法推導(dǎo)出這樣的因果關(guān)系，從而將帶有哮喘的肺炎病人判斷為低死亡率（低風(fēng)險(xiǎn)）人群，這類人群便有可能錯(cuò)過最佳治療時(shí)間，實(shí)際上他們需要得到更好的治療。

2. 黑盒模型的不安全性問題

黑盒模型的不安全性問題可以分為兩大類，具體說明如下。

一是對(duì)于建模人員來說，黑盒模型內(nèi)部結(jié)構(gòu)復(fù)雜，當(dāng)模型受到外界攻擊時(shí)，我們通常很難發(fā)現(xiàn)這些攻擊。倘若黑客在原始模型的輸入樣本中添加了一些擾動(dòng)（通常稱為對(duì)抗樣本），那么模型很有可能會(huì)產(chǎn)生錯(cuò)判，建模人員如果無法及時(shí)調(diào)整模型，就會(huì)導(dǎo)致非常嚴(yán)重的后果。

例如，將黑盒模型應(yīng)用于自動(dòng)駕駛時(shí)，如果黑客向輪胎的圖像樣本中加入一些擾動(dòng)，則可能會(huì)導(dǎo)致輪胎的識(shí)別錯(cuò)誤，從而造成嚴(yán)重的車禍問題。如果建模人員在建模時(shí)未發(fā)現(xiàn)模型存在這樣的問題，那么在模型投入實(shí)際應(yīng)用時(shí)，行車的安全系數(shù)將會(huì)大大降低。

二是對(duì)于模型的使用者來說，他們并不了解模型的運(yùn)作機(jī)制，只是利用模型的結(jié)果作出決策。

當(dāng)我們拿到一個(gè)新工具時(shí)，我們不僅需要知道如何正確地操作該工具，還需要了解使用該工具時(shí)的注意事項(xiàng)、存在哪些風(fēng)險(xiǎn)點(diǎn)，正如醫(yī)生向病人提供治療的藥物時(shí)，除了用量和服用方式之外，藥物說明書上還會(huì)寫明不良反應(yīng)、禁忌和注意事項(xiàng)等，病人了解這些信息后才能安心服藥。

黑盒模型無法解釋模型的結(jié)果，結(jié)果通常是以概率或評(píng)分的形式給出，使用者對(duì)模型結(jié)果的風(fēng)險(xiǎn)點(diǎn)卻少有了解，這就好比病人不了解藥物的不良反應(yīng)一樣。如果有人使用欺詐或偽造的方式，提升自己在黑盒模型中的評(píng)分，使用者很難從黑盒模型的結(jié)果中發(fā)現(xiàn)異常，這就會(huì)造成模型結(jié)果在使用中存在不安全性的問題。

3. 黑盒模型可能存在偏見問題

偏見是指對(duì)某類人群帶有主觀意識(shí)情感，就人論事，如性別歧視、種族歧視等都是常見的偏見問題。黑盒模型存在偏見問題，表面上好像是在說黑盒模型能夠反映人類的思想，實(shí)際上是指黑盒模型在做預(yù)測(cè)時(shí)，放大了數(shù)據(jù)收集過程中可能存在的數(shù)據(jù)不平衡性問題，導(dǎo)致模型最終得出具有偏見性的結(jié)果。

比如在美國(guó)廣泛使用的COMPAS算法，該算法通過預(yù)測(cè)罪犯再次犯罪的可能性來指導(dǎo)判刑，根據(jù)美國(guó)新聞機(jī)構(gòu)的報(bào)道，COMPAS算法存在明顯的偏見，根據(jù)分析，該系統(tǒng)預(yù)測(cè)黑人被告再次犯罪的風(fēng)險(xiǎn)要遠(yuǎn)遠(yuǎn)高于白人，甚至達(dá)到了后者的兩倍。

從算法的結(jié)果來分析，黑人的預(yù)測(cè)風(fēng)險(xiǎn)要高于實(shí)際風(fēng)險(xiǎn)，黑人被誤判的幾率是白人的2倍多，也就是說，COMPAS算法對(duì)黑人是很不公平的，該算法的應(yīng)用已經(jīng)嚴(yán)重影響到了判決的公正和公平。

有些模型的算法還會(huì)涉及性別歧視、年齡歧視等問題。由于黑盒模型缺乏內(nèi)在解釋性，進(jìn)行模型訓(xùn)練時(shí)又難免會(huì)使用不均衡的樣本數(shù)據(jù)，因此使用這樣的模型，問題嚴(yán)重時(shí)可能會(huì)引發(fā)一系列的社會(huì)問題。同樣的道理，在金融領(lǐng)域，當(dāng)我們做風(fēng)險(xiǎn)評(píng)估時(shí)，黑盒模型可能會(huì)對(duì)不同性別、地域、年齡等特征進(jìn)行不同的處理。

綜上所述，如何避免模型做出帶有偏見性的預(yù)測(cè)，是值得我們關(guān)注的問題。

參考文獻(xiàn)：

[1]Caruana R, Lou Y, Gehrke J, et al. Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-day Readmission [C] // ACM, 2015.

關(guān)于作者：邵平，資深數(shù)據(jù)科學(xué)家，索信達(dá)控股金融AI實(shí)驗(yàn)室總監(jiān)。在大數(shù)據(jù)、人工智能領(lǐng)域有十多年技術(shù)研發(fā)和行業(yè)應(yīng)用經(jīng)驗(yàn)。技術(shù)方向涉及可解釋機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、時(shí)間序列預(yù)測(cè)、智能推薦、自然語言處理等。現(xiàn)主要致力于可解釋機(jī)器學(xué)習(xí)、推薦系統(tǒng)、銀行智能營(yíng)銷和智能風(fēng)控等領(lǐng)域的技術(shù)研究和項(xiàng)目實(shí)踐。

楊健穎，云南財(cái)經(jīng)大學(xué)統(tǒng)計(jì)學(xué)碩士，高級(jí)數(shù)據(jù)挖掘工程師，一個(gè)對(duì)數(shù)據(jù)科學(xué)有堅(jiān)定信念的追求者，目前重點(diǎn)研究機(jī)器學(xué)習(xí)模型的可解釋性。

蘇思達(dá)，美國(guó)天普大學(xué)統(tǒng)計(jì)學(xué)碩士，機(jī)器學(xué)習(xí)算法專家，長(zhǎng)期為銀行提供大數(shù)據(jù)與人工智能解決方案和技術(shù)服務(wù)。主要研究方向?yàn)榭山忉寵C(jī)器學(xué)習(xí)與人工智能，曾撰寫《可解釋機(jī)器學(xué)習(xí)研究報(bào)告》和多篇可解釋機(jī)器學(xué)習(xí)相關(guān)文章。

本文摘編自《可解釋機(jī)器學(xué)習(xí)：模型、方法與實(shí)踐》，經(jīng)出版方授權(quán)發(fā)布。（ISBN：9787111695714）

延伸閱讀《可解釋機(jī)器學(xué)習(xí)：模型、方法與實(shí)踐》

點(diǎn)擊上圖了解及購(gòu)買

轉(zhuǎn)載請(qǐng)聯(lián)系微信：DoctorData

推薦語：國(guó)內(nèi)金融人工智能一線團(tuán)隊(duì)傾力打造，追蹤最前沿的研究進(jìn)展，全面、系統(tǒng)地介紹了可解釋機(jī)器學(xué)習(xí)模型及方法。

干貨直達(dá)👇

• 詳解數(shù)據(jù)分析體系構(gòu)成框架
  

• 機(jī)器人的「三體問題」
  

• 4637字，看懂從DevOps到DevSecOps的進(jìn)化之路
  

• Kubernetes集群中要監(jiān)控哪些組件？采集哪些指標(biāo)？
  

更多精彩👇

在公眾號(hào)對(duì)話框輸入以下關(guān)鍵詞

查看更多優(yōu)質(zhì)內(nèi)容！

讀書?|?書單?|?干貨?|?講明白?|?神操作?|?手把手

大數(shù)據(jù)?|?云計(jì)算?|?數(shù)據(jù)庫(kù)?|?Python?|?爬蟲?|?可視化

AI?|?人工智能?|?機(jī)器學(xué)習(xí)?|?深度學(xué)習(xí)?|?NLP

5G?|?中臺(tái)?|?用戶畫像?|?數(shù)學(xué)?|?算法?|?數(shù)字孿生

據(jù)統(tǒng)計(jì)，99%的大咖都關(guān)注了這個(gè)公眾號(hào)

👇

總結(jié)

以上是生活随笔為你收集整理的机器学习的挑战：黑盒模型正面临这3个问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。