由于自然語言處理（NLP）的進(jìn)步，越來越多的公司和組織開始利用AI算法來執(zhí)行與文本相關(guān)的任務(wù)，例如：過濾垃圾郵件、分析社交媒體帖子和評(píng)論、評(píng)估簡歷以及檢測假新聞。

但是，真的可以相信這些算法能夠可靠地執(zhí)行任務(wù)嗎？IBM，亞馬遜和德克薩斯大學(xué)的新研究證明：使用一些工具，可以攻擊文本分類算法并以潛在的惡意方式對(duì)模型進(jìn)行操縱。

在斯坦福大學(xué)舉行的SysML AI大會(huì)上，研究人員展示了這項(xiàng)有關(guān)“改述”攻擊的研究。其具體做法是修改輸入文本，以便在不改變其實(shí)際意義的情況下通過AI算法對(duì)其進(jìn)行不同的分類。

可以這樣簡單解釋“改述攻擊”是如何工作的：以使用AI算法來評(píng)估電子郵件的文本并將其歸類為“垃圾郵件”或“非垃圾郵件”為例，改述攻擊會(huì)修改垃圾郵件的內(nèi)容，使得AI將其分類為“非垃圾郵件”。

針對(duì)文本模型的對(duì)抗性攻擊的挑戰(zhàn)

在過去幾年中，一些研究小組已經(jīng)探討了對(duì)抗性攻擊的各種方法。修改輸入將會(huì)導(dǎo)致AI算法對(duì)圖像和音頻樣本進(jìn)行錯(cuò)誤分類，如通過對(duì)標(biāo)題或描述的修改，讓一些少兒不宜的內(nèi)容被分類到少兒頻道中，對(duì)未成年人造成危害。但是，攻擊文本模型比篡改計(jì)算機(jī)視覺和音頻識(shí)別算法要困難得多。

“對(duì)于音頻和圖像，人類完全可以自行區(qū)分。” 人工智能研究員兼語言模型專家Stephen Merity說。例如，在圖像分類算法中，人類可以逐步改變像素的顏色，并觀察這些修改如何影響模型的輸出。這可以幫助研究人員發(fā)現(xiàn)模型中的漏洞。

“可是文本攻擊更加困難，因?yàn)樗请x散的。在一個(gè)句子中，你不能說我想要多加10%的‘dog’這個(gè)詞。大部分情況是：一句話中有‘dog’這個(gè)詞，模型可以把有這個(gè)詞的句子進(jìn)行某一種歸類。而且我們還不能有效地搜索模型中的漏洞。”Merity說：“我們的想法是，能不能智能地找出機(jī)器的弱點(diǎn)，然后把它推到特定的位置?”

“對(duì)于圖像和音頻，做對(duì)抗性干擾是有意義的。但對(duì)于文本來說，即使你對(duì)文字做了一些小改動(dòng)，比如只改動(dòng)一兩句話，都可能導(dǎo)致這段話無法順利讀出來。”IBM的研究員兼研究論文的共同作者Pin-Yu Chen說。

過去關(guān)于對(duì)文本模型的對(duì)抗性攻擊的工作只涉及改變句子中的單個(gè)單詞。雖然這種方法成功地改變了AI算法的輸出，但它經(jīng)常導(dǎo)致修改后的句子聽起來是人為的。Chen和他的同事們不僅關(guān)注詞語的改變，而且還關(guān)注改寫句子和以有意義的方式改變更長的序列。

“我們正在嘗試解釋單詞和句子，通過創(chuàng)建在語義上與目標(biāo)句子類似的序列來為攻擊提供更大的空間。然后我們要看看模型是否將它們歸類為原始句子。”Chen說。

研究人員開發(fā)了一種算法，可以在句子中找到可以操縱NLP模型行為的最佳變化。“主要的困難是：要確保文本的修改版本在語義上與原始版本相似。我們開發(fā)了一種算法，可以在非常大的空間中搜索單詞和句子，這些修改將對(duì)AI模型的輸出產(chǎn)生最大的影響。在該空間中找到最佳對(duì)抗性示例非常耗時(shí)。該算法計(jì)算效率高，并且提供了理論上的保證，它是人們可以找到的最佳搜索。”IBM研究院科學(xué)家，該論文的另一位合著者Lingfei Wu說。

在他們的論文中，研究人員提供了改變情感分析算法、假新聞檢測器和垃圾郵件過濾器行為的修改示例。例如，在產(chǎn)品評(píng)論中，將“The pricing is also cheaper than some of the big name conglomerates out there（這定價(jià)比現(xiàn)在的一些知名企業(yè)定的也還要低些）”改為“The price is cheaper than some of the big names below（這價(jià)格比下面的一些巨頭便宜）”，句子所表達(dá)的情緒就會(huì)從100％正面變?yōu)?00％負(fù)面。

人類無法感知的改述攻擊

改述攻擊成功的關(guān)鍵在于它們是人類難以察覺的，因?yàn)樗鼈儽Ａ袅嗽嘉谋镜恼Z境和意義。

“我們將原始段落和修改后的段落給了人類評(píng)估員，他們很難看到意義上的差異。但對(duì)于機(jī)器而言，它完全不同。“Wu說。

Merity指出：改述攻擊不需要與人類完全一致，特別是當(dāng)他們沒有預(yù)料到機(jī)器人會(huì)篡改文本時(shí)。他進(jìn)一步解釋道：“我們每天都會(huì)遇到錯(cuò)誤的輸入，對(duì)我們來說，這些只是來自真人回復(fù)的不連貫的句子而已，以至于當(dāng)人們看到拼寫錯(cuò)誤時(shí)，并不會(huì)認(rèn)為這是一個(gè)安全問題。但在不久的將來，它可能是我們必須應(yīng)對(duì)的問題。”

Merity還指出，改述和對(duì)抗性攻擊將引發(fā)安全風(fēng)險(xiǎn)的新趨勢：“許多科技公司依靠自動(dòng)化決策對(duì)內(nèi)容進(jìn)行分類，實(shí)際上并沒有涉及人與人之間的互動(dòng)。這使得該過程容易受到此類攻擊。”Merity說：“改述攻擊或許會(huì)與數(shù)據(jù)泄露同時(shí)發(fā)生，除非我們將發(fā)現(xiàn)邏輯漏洞。”

例如，一個(gè)人可能會(huì)欺騙仇恨言語分類器來批準(zhǔn)他們的非法言論，或利用簡歷處理模型中的釋義漏洞將他們的工作申請推送到列表的頂部。

Merity警告說：“這些類型的問題將成為這個(gè)時(shí)代新的威脅，我擔(dān)心這類攻擊恐怕不會(huì)引起企業(yè)重視，因?yàn)樗麄兇蠖紝Ｗ⒂谧詣?dòng)化和可擴(kuò)展性。”

改述攻擊并非都是壞事

研究人員還發(fā)現(xiàn)，通過逆轉(zhuǎn)改述攻擊可以構(gòu)建更健壯、更準(zhǔn)確的模型。

在生成模型錯(cuò)誤分類的改述句子之后，開發(fā)人員可以使用修改后的句子及其正確的標(biāo)簽來重新訓(xùn)練他們的模型，這將使模型更具彈性，從而可以抵御改述攻擊。

Wu表示：“這是我們在這個(gè)項(xiàng)目中的驚人發(fā)現(xiàn)之一。最初，我們僅僅是從從穩(wěn)健的角度出發(fā)。但后來，我們發(fā)現(xiàn)這種方法不僅可以提高穩(wěn)健性，還可以提高泛化能力。如果不用來攻擊的話，改述其實(shí)是一種非常好的泛化工具，可以提高模型的能力。”

論文鏈接：

https://arxiv.org/abs/1812.00151

參考鏈接：

https://venturebeat.com/2019/04/01/text-based-ai-models-are-vulnerable-to-paraphrasing-attacks-researchers-find/

總結(jié)

以上是生活随笔為你收集整理的研究人员发现：基于文本的AI模型容易受到改述攻击的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。