當(dāng)前位置：首頁(yè) >

【NLP】使用NLP检测和对抗AI假新闻

發(fā)布時(shí)間：2025/3/8 31 豆豆

生活随笔收集整理的這篇文章主要介紹了【NLP】使用NLP检测和对抗AI假新闻小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

作者 | MOHD SANAD ZAKI RIZVI?

編譯 | VK?

來(lái)源 | Analytics Vidhya

概述

由AI生成的假新聞(神經(jīng)假新聞)對(duì)于我們的社會(huì)可能是一個(gè)巨大的問(wèn)題
本文討論了不同的自然語(yǔ)言處理方法，以開(kāi)發(fā)出對(duì)神經(jīng)假新聞的強(qiáng)大防御，包括使用GPT-2檢測(cè)器模型和Grover（AllenNLP）
每位數(shù)據(jù)科學(xué)專(zhuān)業(yè)人員都應(yīng)了解什么是神經(jīng)假新聞以及如何應(yīng)對(duì)它

介紹

假新聞是當(dāng)今社會(huì)關(guān)注的主要問(wèn)題。它與數(shù)據(jù)驅(qū)動(dòng)時(shí)代的興起并駕齊驅(qū)，這并非巧合！

假新聞是如此廣泛，以至于世界領(lǐng)先的字典都試圖以自己的方式與之抗?fàn)帯?/p>

Dictionary.com將misinformation'列為2018年度最佳詞匯
牛津詞典幾年前選擇“post-truth”作為年度最佳詞匯

那么機(jī)器學(xué)習(xí)在其中扮演了什么角色呢？我相信你一定聽(tīng)說(shuō)過(guò)一種機(jī)器學(xué)習(xí)技術(shù)，它甚至可以生成模仿名人的假視頻。類(lèi)似地，自然語(yǔ)言處理（NLP）技術(shù)也被用來(lái)生成假文章，這一概念被稱(chēng)為“神經(jīng)假新聞”。

過(guò)去幾年，我一直在自然語(yǔ)言處理（NLP）領(lǐng)域工作，雖然我喜歡取得突破性進(jìn)展的速度，但我也對(duì)這些NLP框架被用來(lái)創(chuàng)建和傳播虛假信息的方式深感擔(dān)憂(yōu)。

高級(jí)的預(yù)訓(xùn)練NLP模型，如BERT，GPT-2，XLNet等，很容易被任何人下載。這就加大了他們被利用來(lái)傳播宣傳和社會(huì)混亂的風(fēng)險(xiǎn)。

在這篇文章中，我將對(duì)神經(jīng)假新聞做一個(gè)全面的研究——從定義它是什么，到理解識(shí)別這種錯(cuò)誤信息的某些方法。我們還將詳細(xì)了解這些最先進(jìn)的語(yǔ)言模型本身的內(nèi)部工作原理。

當(dāng)前檢測(cè)技術(shù)的局限性及未來(lái)研究方向
什么是神經(jīng)假新聞？
我相信你最近聽(tīng)說(shuō)過(guò)“假新聞”這個(gè)詞。它幾乎在每個(gè)社交媒體平臺(tái)上都廣泛使用。近年來(lái)，它已成為社會(huì)和政治威脅的代名詞。但什么是假新聞？
以下是維基百科的定義：
?
“假新聞（又稱(chēng)垃圾新聞、假新聞或騙局新聞）是指通過(guò)傳統(tǒng)新聞媒體（印刷和廣播）或在線(xiàn)社交媒體故意造謠傳播的新聞形式。”
?
假新聞是指任何事實(shí)上錯(cuò)誤的、歪曲事實(shí)的、病毒性傳播（或可能傳播給目標(biāo)受眾）的新聞。它既可以通過(guò)常規(guī)新聞媒體傳播，也可以在Facebook、Twitter、WhatsApp等社交媒體平臺(tái)上傳播。
假新聞，如“登月是假的”難以區(qū)分的原因是，它仔細(xì)模仿了真實(shí)新聞通常遵循的“風(fēng)格”和“模式”。這就是為什么未經(jīng)訓(xùn)練的人眼很難分辨。
另外，有趣的是，假新聞已經(jīng)存在了很長(zhǎng)很長(zhǎng)時(shí)間（實(shí)際上，貫穿我們的歷史）。
神經(jīng)假新聞
神經(jīng)假新聞是利用神經(jīng)網(wǎng)絡(luò)模型生成的任何假新聞。或者更正式地定義它：
?
神經(jīng)假新聞是一種有針對(duì)性的宣傳，它緊密模仿由神經(jīng)網(wǎng)絡(luò)生成的真實(shí)新聞的風(fēng)格。
?
下面是OpenAI的GPT-2模型生成的神經(jīng)假新聞的一個(gè)例子：
“system prompt”是一個(gè)人給模型的輸入，“model completion”是GPT-2模型生成的文本。
你憑直覺(jué)猜到后一部分是機(jī)器寫(xiě)的嗎？請(qǐng)注意，該模型能夠多么令人難以置信地將提示進(jìn)行擴(kuò)展，形成一個(gè)完整故事，這看起來(lái)乍一看令人信服。
現(xiàn)在，如果我告訴你GPT-2模型可以免費(fèi)供任何人下載和運(yùn)行呢？這正是研究界關(guān)注的問(wèn)題，也是我決定寫(xiě)這篇文章的原因。
大型語(yǔ)言模型如何被濫用來(lái)產(chǎn)生神經(jīng)假新聞？
語(yǔ)言建模是一種NLP技術(shù)，模型通過(guò)從句子本身理解上下文來(lái)學(xué)習(xí)預(yù)測(cè)句子中的下一個(gè)單詞或缺失的單詞。以谷歌搜索為例：
這是一個(gè)正在運(yùn)行的語(yǔ)言模型的例子。通過(guò)讓模型預(yù)測(cè)一個(gè)句子中的下一個(gè)單詞或一個(gè)丟失的單詞，我們讓模型學(xué)習(xí)語(yǔ)言本身的復(fù)雜性。
這個(gè)模型能夠理解語(yǔ)法是如何工作的，不同的寫(xiě)作風(fēng)格，等等。這就是為什么這個(gè)模型能夠生成一段對(duì)未經(jīng)訓(xùn)練的人來(lái)說(shuō)可信的文本。當(dāng)同樣的模式被用來(lái)產(chǎn)生有針對(duì)性的宣傳來(lái)迷惑人們時(shí)，問(wèn)題就出現(xiàn)了。
下面是一些非常強(qiáng)大的最先進(jìn)的語(yǔ)言模型，它們非常擅長(zhǎng)生成文本。
1.谷歌的BERT
BERT是一個(gè)由Google設(shè)計(jì)的語(yǔ)言模型，它打破了最先進(jìn)的記錄。該框架是最近各種研究實(shí)驗(yàn)室和公司大力訓(xùn)練和研究大型語(yǔ)言模型的原因。
BERT和Facebook、XLM、XLNet、DistilBERT等公司的RoBERTa在文本生成方面表現(xiàn)非常出色。
2.OpenAI的GPT-2模型
來(lái)自O(shè)penAI的GPT、GPT-2和GPT-Large等一系列語(yǔ)言模型，因其文本生成能力而在媒體上引起轟動(dòng)。這些是我們絕對(duì)應(yīng)該知道的一些語(yǔ)言模型。
3.Grover
Grover是AllenNLP提出的一個(gè)有趣的新語(yǔ)言模型，它不僅能夠生成文本，而且能夠識(shí)別其他模型生成的偽文本。
我們將在文章的后面進(jìn)一步了解Grover。
如何檢測(cè)神經(jīng)假新聞？
我們?cè)鯓硬拍馨l(fā)現(xiàn)或找出一條新聞是假的？目前，處理神經(jīng)假新聞的方法主要有三種，都取得了很好的效果。
I.事實(shí)核查
檢查一條在網(wǎng)上傳播的新聞是假的還是真的，最基本的方式是什么？我們可以簡(jiǎn)單地谷歌它，參考值得信賴(lài)的新聞網(wǎng)站，并事實(shí)檢查他們是否有相同或類(lèi)似的故事。
盡管這一步讓人感覺(jué)像是常識(shí)，但它實(shí)際上是確保一條新聞?wù)鎸?shí)性的最有效方法之一。
但這一步只處理一種虛假新聞：來(lái)自單一來(lái)源的新聞。如果我們想處理那些已經(jīng)走紅并被我們周?chē)拿襟w大量報(bào)道的新聞呢？
這通常是一種由神經(jīng)網(wǎng)絡(luò)生成的新聞，因?yàn)樾侣勗凇帮L(fēng)格”和“結(jié)構(gòu)”上與真實(shí)新聞非常相似。
讓我們學(xué)習(xí)一些處理“機(jī)器生成”文本的方法。
II.使用GLTR（HarvardNLP）進(jìn)行統(tǒng)計(jì)分析
GLTR是由HarvardNLP和MIT-IBM Watson實(shí)驗(yàn)室的專(zhuān)家們?cè)O(shè)計(jì)的一個(gè)工具。
?
GLTR用于識(shí)別機(jī)器生成文本的主要方法是通過(guò)對(duì)給定文本進(jìn)行的統(tǒng)計(jì)分析和可視化。
?
下面是GLTR接口：
GLTR檢測(cè)生成的文本的中心思想是使用最初用于生成該文本片段的相同（或類(lèi)似）模型。
「原因很簡(jiǎn)單，一個(gè)語(yǔ)言模型直接生成的單詞來(lái)自于它從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的概率分布」。
下面是一個(gè)示例，請(qǐng)注意語(yǔ)言模型如何生成一個(gè)概率分布，作為對(duì)所有可能單詞具有不同概率的輸出：
由于我們已經(jīng)知道從給定的概率分布中抽取單詞的技術(shù)，如最大抽樣、k-max抽樣、波束搜索、核抽樣等，我們可以很容易地交叉檢查給定文本中的單詞是否遵循特定的分布。
如果是的話(huà)，而且在給定的文本中有多個(gè)這樣的單詞，那么這基本上可以確認(rèn)它是機(jī)器生成的。
讓我們用一個(gè)例子運(yùn)行GLTR來(lái)理解這個(gè)概念！
「安裝GLTR」
在使用GLTR之前，我們需要在系統(tǒng)上安裝它。首先克隆項(xiàng)目的GitHub存儲(chǔ)庫(kù)：
git clone https://github.com/HendrikStrobelt/detecting-fake-text.git
克隆存儲(chǔ)庫(kù)后，將cd放入其中并執(zhí)行pip安裝：
cd detecting-fake-text && pip install -r requirements.txt
接下來(lái)，下載預(yù)先訓(xùn)練好的語(yǔ)言模型。可以通過(guò)運(yùn)行服務(wù)器來(lái)完成此操作：
python server.py
GLTR目前支持兩種模型：BERT和GPT-2。你可以在兩者之間進(jìn)行選擇；如果未提供任何選項(xiàng)，則使用GPT-2：
python server.py --model BERT
這將開(kāi)始在你的機(jī)器上下載相應(yīng)的預(yù)訓(xùn)練模型。如果你的網(wǎng)速很慢，給它點(diǎn)時(shí)間。
當(dāng)一切就緒時(shí)，服務(wù)器將從端口5001啟動(dòng)，你可以直接轉(zhuǎn)到http://localhost:5001訪問(wèn)它：
「GLTR是如何工作的」？
假設(shè)我們有下面這段文字。我們要檢查它是否由GPT-2這樣的語(yǔ)言模型生成：
How much wood would a woodchuck chuck if a woodchuck could chuck wood?
GLTR將接受這個(gè)輸入并分析GPT-2對(duì)每個(gè)輸入位置的預(yù)測(cè)。
請(qǐng)記住，語(yǔ)言模型的輸出是該模型知道的所有單詞的排名，因此，我們根據(jù)GPT-2的排名將能夠迅速查看輸入文本中每個(gè)單詞。
如果我們根據(jù)每個(gè)單詞在前10名中是否是綠色、前100名中是否是黃色和前1000名中是否是紅色對(duì)其進(jìn)行顏色編碼，我們將得到以下輸出：
現(xiàn)在，我們可以直觀地看到，根據(jù)GPT-2，每個(gè)單詞的可能性有多大。根據(jù)模型，綠色和黃色是很有可能的，而紅色是意料之外的詞，這意味著它們很可能是由人類(lèi)書(shū)寫(xiě)的。這正是你將在GLTR接口上看到的！
如果你需要更多的信息，你可以把鼠標(biāo)懸停在“wood”這個(gè)詞上。你會(huì)看到一個(gè)小盒子，上面有這個(gè)位置的前5個(gè)預(yù)測(cè)詞及其概率：
我鼓勵(lì)你嘗試不同的文本，可以是人類(lèi)產(chǎn)生的或者機(jī)器產(chǎn)生的。GLTR工具本身也已經(jīng)提供了一些示例：
你會(huì)注意到，當(dāng)你移到真正的文本時(shí)，紅色和紫色的單詞數(shù)量，即不太可能或罕見(jiàn)的預(yù)測(cè)，會(huì)增加。
此外，GLTR還顯示了三種不同的直方圖，其中包含整個(gè)文本的聚合信息（請(qǐng)查看下面的圖片以供參考）：
- 第一個(gè)顯示每個(gè)類(lèi)別（前10個(gè)、前100個(gè)和前1000個(gè)）在文本中出現(xiàn)的單詞數(shù)
- 第二個(gè)例子說(shuō)明了前一個(gè)預(yù)測(cè)詞和后一個(gè)預(yù)測(cè)詞的概率之比
- 第三個(gè)直方圖顯示了預(yù)測(cè)熵的分布。低不確定性意味著模型對(duì)每個(gè)預(yù)測(cè)都非常有信心，而高不確定性意味著低信心
以下是這些直方圖的幫助：
- 前兩個(gè)柱狀圖有助于理解輸入文本中的單詞是否從分布的頂部取樣（對(duì)于機(jī)器生成的文本，基本上就是從分布頂部采樣）
- 最后一個(gè)直方圖說(shuō)明單詞的上下文是否為檢測(cè)系統(tǒng)所熟知（對(duì)于機(jī)器生成的文本，基本上就是熟知）
GLTR模型將這些多重可視化和概率分布知識(shí)結(jié)合起來(lái)，可以作為一種有效的法醫(yī)學(xué)工具來(lái)理解和識(shí)別機(jī)器生成的文本。
以下是對(duì)GLTR的報(bào)道：
?
“在一項(xiàng)人類(lèi)受試者研究中，我們發(fā)現(xiàn)GLTR提供的注釋方案在不經(jīng)過(guò)任何訓(xùn)練的情況下將人類(lèi)對(duì)假文本的檢測(cè)率從54%提高到72%。”–Gehrmann等人
?
你可以在最初的研究論文中關(guān)于GLTR的內(nèi)容：https://arxiv.org/pdf/1906.04043.pdf。
利用模型檢測(cè)神經(jīng)假新聞
GLTR是相當(dāng)令人印象深刻的，因?yàn)樗褂酶怕史植己涂梢暬暮?jiǎn)單知識(shí)來(lái)檢測(cè)神經(jīng)假新聞。但如果我們能做得更好呢
如果我們能訓(xùn)練一個(gè)大的模型來(lái)預(yù)測(cè)一段文字是否是神經(jīng)假新聞呢？
好吧，這正是我們?cè)谶@一節(jié)要學(xué)的
GPT-2 探測(cè)器
GPT-2檢測(cè)器模型是一個(gè)RoBERTa（BERT的變種）模型，它經(jīng)過(guò)微調(diào)以預(yù)測(cè)給定的文本是否是使用GPT-2生成的（作為一個(gè)簡(jiǎn)單的分類(lèi)問(wèn)題）。
RoBERTa是Facebook人工智能研究開(kāi)發(fā)的一個(gè)大型語(yǔ)言模型，是對(duì)Google的BERT的改進(jìn)。這就是為什么這兩個(gè)框架有很大的相似之處。
這里需要注意的一點(diǎn)是，盡管RoBERTa的模型結(jié)構(gòu)與GPT-2的模型結(jié)構(gòu)非常不同，因?yàn)榍罢呤且粋€(gè)屏蔽語(yǔ)言模型（如BERT），與GPT-2不同，前者在本質(zhì)上不是生成的。GPT-2在識(shí)別由它生成的神經(jīng)假新聞方面仍然顯示了大約95%的準(zhǔn)確性。
這個(gè)模型的另一個(gè)優(yōu)點(diǎn)是，與我們?cè)诒疚闹杏懻摰钠渌椒ㄏ啾?#xff0c;它的預(yù)測(cè)速度非常快。
讓我們看看它！
「安裝GPT-2探測(cè)器模型」
這個(gè)探測(cè)器模型的安裝步驟非常簡(jiǎn)單，就像GLTR一樣。
我們首先需要克隆存儲(chǔ)庫(kù)：
git clone https://github.com/openai/gpt-2-output-dataset.git
然后
cd gpt-2-output-dataset/ && pip install -r requirements.txt
接下來(lái)，我們需要下載預(yù)訓(xùn)練好的語(yǔ)言模型。通過(guò)運(yùn)行以下命令執(zhí)行此操作：
wget https://storage.googleapis.com/gpt-2/detector-models/v1/detector-base.pt
這一步可能需要一些時(shí)間。完成后，你可以啟動(dòng)探測(cè)器：
python -m detector.server detector-base.pt --port 8000
一切就緒后，服務(wù)器將從端口8000啟動(dòng)，你可以直接轉(zhuǎn)到http://localhost:8000訪問(wèn)它！
有了這個(gè)，你就可以嘗試GPT-2探測(cè)器模型了！
「識(shí)別神經(jīng)假新聞」
探測(cè)器模型的接口非常簡(jiǎn)單。我們只需復(fù)制粘貼一段文本，它就會(huì)告訴我們它是“真的”還是“假的”，這取決于它是否由機(jī)器（GPT-2模型）生成。
以下是我使用Transformers 2.0庫(kù)從GPT-2生成的文本：
如你所見(jiàn)，盡管文本看起來(lái)很有說(shuō)服力和連貫性，但模型直接將其歸類(lèi)為“假的”，準(zhǔn)確率為99.97%。
這是一個(gè)非常有趣的工具使用，我建議你去嘗試不同的例子，生成和未生成的文本，看看它如何執(zhí)行！
在我的例子中，我通常注意到這個(gè)模型只能很好地識(shí)別GPT-2模型生成的文本。這與Grover完全不同，Grover是我們將在下一節(jié)中學(xué)習(xí)的另一個(gè)框架。Grover可以識(shí)別由各種語(yǔ)言模型生成的文本。
你可以在Facebook的博客上關(guān)于RoBERTa的架構(gòu)和訓(xùn)練方法。如果你對(duì)如何實(shí)現(xiàn)檢測(cè)器模型感到好奇，可以在GitHub上檢查代碼。
Grover
Grover是我在本文討論的所有選項(xiàng)中最喜歡的工具。與GLTR和GPT-2檢測(cè)器模型僅限于特定模型不同，它能夠?qū)⒁欢挝谋咀R(shí)別為由大量多種語(yǔ)言模型生成的偽文本。
作者認(rèn)為，檢測(cè)一段文本作為神經(jīng)假新聞的最佳方法是使用一個(gè)模型，該模型本身就是一個(gè)能夠生成此類(lèi)文本的生成器。用他們自己的話(huà)說(shuō)：
?
“生成器最熟悉自己的習(xí)慣、怪癖和特性，也最熟悉類(lèi)似人工智能模型的特性，特別是那些接受過(guò)類(lèi)似數(shù)據(jù)訓(xùn)練的人工智能模型。”–Zellers等人
?
乍一看聽(tīng)起來(lái)有違直覺(jué)，不是嗎？為了建立一個(gè)能夠檢測(cè)出神經(jīng)假新聞的模型，他們繼續(xù)開(kāi)發(fā)了一個(gè)模型，這個(gè)模型一開(kāi)始就非常擅長(zhǎng)生成這樣的假新聞！
聽(tīng)起來(lái)很瘋狂，但背后有自己的一個(gè)科學(xué)邏輯。
Grove是怎么工作的？
「問(wèn)題定義」
Grover將檢測(cè)神經(jīng)假新聞的任務(wù)定義為一個(gè)具有兩個(gè)模型的對(duì)抗游戲：
- 設(shè)置中有兩個(gè)模型用于生成和檢測(cè)文本
- 對(duì)抗模型的目標(biāo)是產(chǎn)生虛假的新聞，這些新聞可以是病毒性傳播的，或者對(duì)人類(lèi)和驗(yàn)證模型都有足夠的說(shuō)服力
- 驗(yàn)證器對(duì)給定文本是真是假進(jìn)行分類(lèi)：
- 驗(yàn)證者的訓(xùn)練數(shù)據(jù)包括無(wú)限的真實(shí)新聞，但只有一些來(lái)自特定對(duì)手的假新聞
- 這樣做是為了復(fù)制真實(shí)世界的場(chǎng)景，在真實(shí)世界中，對(duì)手提供的虛假新聞數(shù)量與真實(shí)新聞相比要少得多
這兩種模式的雙重目標(biāo)意味著，攻擊者和捍衛(wèi)者之間在“競(jìng)爭(zhēng)”，既產(chǎn)生虛假新聞，又同時(shí)發(fā)現(xiàn)虛假新聞。隨著驗(yàn)證模型的改進(jìn)，對(duì)抗模型也在改進(jìn)。
神經(jīng)假新聞的條件生成
神經(jīng)假新聞的最明顯特征之一是它通常是“有針對(duì)性的”內(nèi)容，例如點(diǎn)擊誘餌或宣傳，大多數(shù)語(yǔ)言模型（例如BERT等）都不允許我們創(chuàng)建這種受控文本。
?
Grover支持“受控”文本生成。這僅僅意味著除了模型的輸入文本之外，我們可以在生成階段提供額外的參數(shù)。這些參數(shù)將引導(dǎo)模型生成特定的文本。
?
但這些參數(shù)是什么？考慮一下新聞文章——有助于定義新聞文章的結(jié)構(gòu)參數(shù)是什么？以下是Grover的作者認(rèn)為生成文章所必需的一些參數(shù)：
- 領(lǐng)域：文章發(fā)布的地方，它間接地影響樣式
- 日期：出版日期
- 作者：作者姓名
- 標(biāo)題：文章的標(biāo)題，這影響到文章的生成
- 正文：文章的正文
結(jié)合所有這些參數(shù)，我們可以通過(guò)聯(lián)合概率分布對(duì)一篇文章進(jìn)行建模：
現(xiàn)在，我將不再深入討論如何實(shí)現(xiàn)這一點(diǎn)的基礎(chǔ)數(shù)學(xué)，因?yàn)檫@超出了本文的范圍。但是，為了讓你了解整個(gè)生成過(guò)程的樣子，這里有一個(gè)示意圖：
下面是流程：
- 在a行中，正文由部分上下文生成（缺少作者字段）
- 在b行中，模型生成作者
- 在c行中，該模型重新生成提供的標(biāo)題，使之更為真實(shí)
架構(gòu)和數(shù)據(jù)集
Grover使用與GPT2相同的架構(gòu)：
- 有三種型號(hào)。最小的模型Grover-Base有12層，1.24億個(gè)參數(shù)，與GPT和BERT-Base相當(dāng)
- 下一個(gè)模型Grover Large有24個(gè)層和3.55億個(gè)參數(shù)，與BERT Large相當(dāng)
- 最大的模型Grover Mega有48層和15億個(gè)參數(shù)，與GPT2相當(dāng)
用來(lái)訓(xùn)練Grover的RealNews數(shù)據(jù)集是Grover的作者自己創(chuàng)建的。數(shù)據(jù)集和創(chuàng)建它的代碼是開(kāi)源的，因此你可以下載并按原樣使用它，也可以按照Grover的規(guī)范生成自己的數(shù)據(jù)集。
安裝Grover
你可以按照安裝說(shuō)明安裝Grover，并在自己的機(jī)器上運(yùn)行它的生成器和檢測(cè)器工具。請(qǐng)記住，該模型的大小是巨大的（壓縮后還有46.2G！）所以在你的系統(tǒng)上安裝它可能是一個(gè)挑戰(zhàn)。
這就是為什么我們會(huì)使用在線(xiàn)檢測(cè)器和生成器工具。
使用Grover進(jìn)行生成和檢測(cè)
你可以通過(guò)以下鏈接訪問(wèn)該工具：
https://grover.allenai.org/
你可以玩一下Generate選項(xiàng)，看看Grover生成神經(jīng)假新聞的能力有多強(qiáng)。因?yàn)槲覀冇信d趣檢查Grover的檢測(cè)能力，所以讓我們轉(zhuǎn)到“檢測(cè)”選項(xiàng)卡（或轉(zhuǎn)到以下鏈接）：
https://grover.allenai.org/detect
案例研究1：
我們要測(cè)試的文本與前面看到的GPT-2生成的文本相同：
當(dāng)你點(diǎn)擊“檢測(cè)假新聞”按鈕時(shí)，你會(huì)注意到Grover很容易將其識(shí)別為機(jī)器生成的：
案例研究2：
我們要測(cè)試的下一篇文章來(lái)自紐約時(shí)報(bào)：
你會(huì)發(fā)現(xiàn)格羅弗確實(shí)能認(rèn)出它是一個(gè)人寫(xiě)的：
案例研究3：
這些都是簡(jiǎn)單的例子。如果我給它一段技術(shù)性的文字怎么辦？像技術(shù)博客里的解釋
對(duì)于我自己提供的文本，Grover失敗了，因?yàn)樗鼪](méi)有接受過(guò)此類(lèi)技術(shù)文章的訓(xùn)練：
但是GPT-2探測(cè)器模型卻起作用了，因?yàn)樗窃诟鞣N各樣的網(wǎng)頁(yè)上被訓(xùn)練的（800萬(wàn)！）。
這只是為了表明沒(méi)有一個(gè)工具是完美的。
案例研究4：
她是我們要做的最后一個(gè)實(shí)驗(yàn)。我們將測(cè)試機(jī)器生成的新聞，這些新聞不是“假的”，只是自動(dòng)生成新聞的一個(gè)例子。本文摘自華盛頓郵報(bào)：
有趣的是，GPT-2探測(cè)器模型說(shuō)它根本不是機(jī)器生成的新聞：
但同時(shí)，Grover能夠識(shí)別出它是機(jī)器編寫(xiě)的文本，概率略低（但它還是能找出答案！）:
現(xiàn)在，不管你是否認(rèn)為這是“假”新聞，事實(shí)是它是由機(jī)器生成的。如何對(duì)這類(lèi)文本進(jìn)行分類(lèi)將取決于你的目標(biāo)是什么以及你的項(xiàng)目試圖實(shí)現(xiàn)什么。
?
簡(jiǎn)而言之，檢測(cè)神經(jīng)假新聞的最佳方法是綜合運(yùn)用所有這些工具并得出比較結(jié)論。
?
當(dāng)前虛假新聞檢測(cè)技術(shù)的局限性及未來(lái)研究方向
很明顯，目前的檢測(cè)技術(shù)還不完善，還有發(fā)展的空間。麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室（CSAIL）最近對(duì)現(xiàn)有的神經(jīng)假新聞檢測(cè)方法進(jìn)行了研究，他們的一些發(fā)現(xiàn)令人大開(kāi)眼界。
現(xiàn)有神經(jīng)假新聞檢測(cè)技術(shù)的局限性
研究的主要結(jié)論是，GLTR、Grover等方法用于神經(jīng)假新聞檢測(cè)的現(xiàn)有方法是不完全的。
這是因?yàn)閮H僅發(fā)現(xiàn)一條文本是否是“機(jī)器生成”是不夠的，可能有一條合法的新聞是通過(guò)諸如自動(dòng)完成、文本摘要等工具機(jī)器生成的。
例如，著名的寫(xiě)作應(yīng)用程序Grammarly使用某種形式的GPT-2來(lái)幫助糾正文本中的語(yǔ)法錯(cuò)誤。
這類(lèi)案例的另一個(gè)例子是本文前一節(jié)的案例研究4，其中一個(gè)程序被《華盛頓郵報(bào)》用來(lái)生成體育新聞。
反之，也可能存在被攻擊者輕微破壞/修改的人工文本，根據(jù)現(xiàn)有方法，這些文本將被歸類(lèi)為非神經(jīng)假新聞。
下面是一個(gè)例子，總結(jié)了探測(cè)器模型的上述困境：
從上圖中可以清楚地看到，由于生成的神經(jīng)假新聞和真實(shí)新聞的特征空間非常遠(yuǎn)，所以模型很容易對(duì)哪一個(gè)是假的進(jìn)行分類(lèi)。
此外，當(dāng)模型必須在真實(shí)生成的新聞和神經(jīng)假新聞之間進(jìn)行分類(lèi)時(shí)（如我們之前看到的案例研究4），由于兩者的特征空間非常接近，因此模型無(wú)法檢測(cè)。
當(dāng)模型必須區(qū)分生成的人工新聞和經(jīng)過(guò)一點(diǎn)修改而變成假的新聞時(shí)，也會(huì)看到同樣的行為。
我不想詳細(xì)介紹，但作者進(jìn)行了多次實(shí)驗(yàn)得出這些結(jié)論，你可以閱讀他們的論文了解更多：https://arxiv.org/pdf/1908.09805.pdf。
?
這些結(jié)果使作者得出結(jié)論，為了定義/檢測(cè)神經(jīng)假新聞，我們必須考慮真實(shí)性，而不是來(lái)源（來(lái)源，無(wú)論是機(jī)器寫(xiě)的還是人類(lèi)寫(xiě)的）。
?
我認(rèn)為這是一個(gè)讓我們大開(kāi)眼界的結(jié)論。
未來(lái)的研究方向是什么
處理神經(jīng)假新聞問(wèn)題的一個(gè)步驟是，劍橋大學(xué)和亞馬遜去年發(fā)布了FEVER，這是世界上最大的事實(shí)核查數(shù)據(jù)集，可用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)檢測(cè)假新聞。
盡管由麻省理工學(xué)院的同一個(gè)研究小組（Schuster等人）分析FEVER時(shí)，他們發(fā)現(xiàn)FEVER數(shù)據(jù)集存在某些偏差，使得神經(jīng)網(wǎng)絡(luò)更容易通過(guò)文本中的模式來(lái)檢測(cè)假文本。當(dāng)他們糾正了數(shù)據(jù)集中的一些偏差時(shí)，他們發(fā)現(xiàn)模型的準(zhǔn)確性如預(yù)期的那樣急劇下降。
然后，他們將GitHub上對(duì)稱(chēng)的修正后的數(shù)據(jù)集熱開(kāi)源，作為其他研究人員測(cè)試其模型的基準(zhǔn)，我認(rèn)為這對(duì)正在積極嘗試解決神經(jīng)假新聞問(wèn)題的整個(gè)研究界來(lái)說(shuō)是一個(gè)好的舉措。
如果你有興趣找到更多關(guān)于他們的方法和實(shí)驗(yàn)的信息，請(qǐng)閱讀他們的原始論文：https://arxiv.org/pdf/1908.05267.pdf。
?
因此，創(chuàng)建大規(guī)模無(wú)偏數(shù)據(jù)集，我認(rèn)為是未來(lái)研究如何處理神經(jīng)假新聞方向的良好第一步，因?yàn)殡S著數(shù)據(jù)集的增加，研究人員和組織建立模型以改進(jìn)現(xiàn)有基準(zhǔn)的興趣也會(huì)增加。這和我們過(guò)去幾年在NLP（GLUE, SQUAD）和CV（ImageNet）中看到的一樣。
?
除此之外，當(dāng)我考慮到我們所遇到的大多數(shù)研究時(shí)，這里有一些我們可以進(jìn)一步探索的方向：
我個(gè)人認(rèn)為，像Grover和GLTR這樣的工具是檢測(cè)神經(jīng)假新聞的良好起點(diǎn)，它們?yōu)槲覀內(nèi)绾蝿?chuàng)造性地利用現(xiàn)有知識(shí)構(gòu)建能夠檢測(cè)假新聞的系統(tǒng)樹(shù)立了榜樣。因此，我們需要在這個(gè)方向上進(jìn)行進(jìn)一步的研究，改進(jìn)現(xiàn)有的工具，并不僅針對(duì)數(shù)據(jù)集，而且在現(xiàn)實(shí)環(huán)境中更有效地驗(yàn)證它們。
FEVER數(shù)據(jù)集的發(fā)布是一個(gè)值得歡迎的舉動(dòng)，它將有助于我們?cè)诟鞣N環(huán)境中探索和構(gòu)建更多這樣的帶有假新聞的數(shù)據(jù)集，因?yàn)檫@將直接推動(dòng)進(jìn)一步的研究。
通過(guò)模型發(fā)現(xiàn)文本的準(zhǔn)確性是一個(gè)具有挑戰(zhàn)性的問(wèn)題，但是我們需要以某種方式構(gòu)造它，以便更容易創(chuàng)建有助于訓(xùn)練能夠根據(jù)文本的真實(shí)性對(duì)其進(jìn)行身份驗(yàn)證的模型的數(shù)據(jù)集。因此，這方面的進(jìn)一步研究是值得歡迎的。
正如Grover和GLTR的作者正確地提到的那樣，我們需要通過(guò)在未來(lái)發(fā)布大型語(yǔ)言模型（如GPT-2、Grover等）來(lái)繼續(xù)研究社區(qū)的開(kāi)放性，因?yàn)橹挥挟?dāng)我們知道對(duì)手有多強(qiáng)大時(shí)，我們才能建立強(qiáng)大的防御。

原文鏈接：https://www.analyticsvidhya.com/blog/2019/12/detect-fight-neural-fake-news-nlp/

?------------------------------------------------

看到這里，說(shuō)明你喜歡這篇文章，請(qǐng)點(diǎn)擊「在看」或順手「轉(zhuǎn)發(fā)」「點(diǎn)贊」。

總結(jié)

以上是生活随笔為你收集整理的【NLP】使用NLP检测和对抗AI假新闻的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇：【Python基础】盘点 Python
下一篇：【资源】太赞了！程序员应该访问的最佳网站

【NLP】使用NLP检测和对抗AI假新闻

概述

介紹

目錄

什么是神經(jīng)假新聞？

神經(jīng)假新聞

大型語(yǔ)言模型如何被濫用來(lái)產(chǎn)生神經(jīng)假新聞？

1.谷歌的BERT

2.OpenAI的GPT-2模型

3.Grover

如何檢測(cè)神經(jīng)假新聞？

I.事實(shí)核查

II.使用GLTR（HarvardNLP）進(jìn)行統(tǒng)計(jì)分析

利用模型檢測(cè)神經(jīng)假新聞

GPT-2 探測(cè)器

Grover

Grove是怎么工作的？

神經(jīng)假新聞的條件生成

架構(gòu)和數(shù)據(jù)集

安裝Grover

使用Grover進(jìn)行生成和檢測(cè)

案例研究1：

案例研究2：

案例研究3：

案例研究4：

當(dāng)前虛假新聞檢測(cè)技術(shù)的局限性及未來(lái)研究方向

現(xiàn)有神經(jīng)假新聞檢測(cè)技術(shù)的局限性

未來(lái)的研究方向是什么

總結(jié)