?PaperWeekly 原創(chuàng) · 作者 | 陳凱

單位 | 復(fù)旦大學(xué)以人為本人工智能研究中心

研究方向 | 對抗攻防

本文中，來自復(fù)旦大學(xué)以人為本人工智能研究中心的研究者提出了一種新型的對抗彈幕攻擊，通過在干凈視頻上添加少量彈幕便能誤導(dǎo)視頻識別模型，同時添加的彈幕不會影響人們對視頻內(nèi)容的理解。

論文標題：

AttackingVideo Recognition Models with Bullet-Screen Comments

論文鏈接：

https://arxiv.org/pdf/2110.15629.pdf

代碼鏈接：

https://github.com/kay-ck/BSC-attack

引言

1.1 背景

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在視頻識別、視頻目標檢測等各類視頻理解相關(guān)任務(wù)中表現(xiàn)出優(yōu)越的性能。然而，最近的工作表明，深度神經(jīng)網(wǎng)絡(luò)極易受到視頻對抗樣本的干擾從而產(chǎn)生錯誤的預(yù)測結(jié)果。這些視頻對抗樣本是通過對干凈的輸入樣本添加難以察覺的擾動而生成的。視頻對抗樣本的存在給部署在實際應(yīng)用中的視頻模型帶來了嚴重安全隱患。因此，針對對抗樣本的研究引起了研究人員的廣泛關(guān)注。

1.2 問題

然而，大多數(shù)視頻對抗樣本相關(guān)的工作都集中在基于擾動的攻擊上。其中基于擾動的攻擊是指在視頻上添加限制在Lp范數(shù)的擾動，在不引起人眼察覺的情況下實現(xiàn)的對抗攻擊。盡管基于擾動的攻擊能夠有效攻擊視頻識別模型，但它們通常難以應(yīng)用于物理世界中的攻擊。相比之下，補丁攻擊則通過無限制的修改有限區(qū)域內(nèi)像素來生成對抗樣本，能夠有效應(yīng)用于物理世界中。然而，目前基于補丁攻擊的研究主要集中在圖像上，針對視頻的補丁攻擊鮮少被探索。

對此，我們研究了在黑盒設(shè)置下基于補丁的視頻模型攻擊。這項任務(wù)的挑戰(zhàn)主要來自兩個方面。首先，視頻是相鄰幀內(nèi)容密切相關(guān)的圖像序列。如果像基于擾動的視頻攻擊那樣僅選擇視頻中的幾幀來添加對抗補丁，則會增加攻擊的可感知性。其次，相較于圖片，視頻的維度要高很多。如果將對抗補丁添加到視頻的每一幀，將會顯著增加計算成本。因此，如何在黑盒場景下高效地為視頻模型生成不顯眼的對抗補丁是主要挑戰(zhàn)。

1.3 成果

為了解決上述問題，我們提出了一種針對視頻識別模型的新型對抗彈幕攻擊方法。由于彈幕直播視頻中比較常見，因此與傳統(tǒng)的矩形補丁相比，人們對彈幕這種有意義的補丁相對不敏感。下圖展示了對抗彈幕攻擊的示例。可以看出，添加少量的彈幕不會影響人們對于視頻的理解，但是卻能成功地欺騙視頻識別模型。

▲對抗彈幕攻擊的示意圖

為了使得添加到每個視頻的彈幕在有意義的同時彼此不同，我們在對抗彈幕攻擊使用了一個圖像字幕 (image caption) 生成模型來自動生成彈幕內(nèi)容。然后基于高攻擊成功率以及彈幕位置不重疊這兩個目標函數(shù)來選擇對抗彈幕的位置和透明度。其中彈幕位置不重疊這一目標主要是為了避免重疊造成的視頻內(nèi)容模糊。為了實現(xiàn)這兩個目標，我們在對抗彈幕攻擊使用強化學(xué)習(xí)來搜索彈幕的位置和透明度。具體來說，在強化學(xué)習(xí)中，環(huán)境 (environment) 被定義為目標模型，代理 (agent) 充當選擇彈幕的位置和透明度的角色。通過不斷查詢目標模型并接收反饋，代理逐漸調(diào)整其選擇策略，以實現(xiàn)上述的兩個目標。我們方法的框架圖如下圖所示。

▲ 對抗彈幕攻擊方法的概述

方法

2.1 問題描述

使用 表示視頻識別模型，其中 表示模型參數(shù)。使用 表示干凈的視頻樣本， 表示其對應(yīng)真實標簽，其中 表示視頻空間， 分別表示幀數(shù)，幀高，幀寬和通道數(shù)， 表示標簽空間， 表示類別數(shù)量。使用 表示視頻識別模型對于視頻輸入的預(yù)測。針對視頻模型的對抗攻擊的目標是產(chǎn)生可以欺騙視頻識別模型的視頻對抗樣本 。在非目標攻擊的情況下，優(yōu)化以下目標函數(shù)：

其中 表示真實標簽的獨熱編碼，計算預(yù)測和真實標簽之間的損失。

對抗彈幕攻擊將對抗補丁偽裝成有意義的彈幕，以實現(xiàn)隱蔽性。具體來說，彈幕被限制在視頻幀內(nèi)的一連串區(qū)域 ，其中 表示第 幀的彈幕區(qū)域（即屬于彈幕區(qū)域的像素集合）。 可以通過彈幕在第一幀中位置的橫坐標 和縱坐標 、字體大小 和字體類型 來確定。因此，確定第一幀中第 個彈幕區(qū)域的過程可以被表示為 ，其中 是確定視頻幀中彈幕區(qū)域的函數(shù)， 是由圖像字幕模型生成的彈幕內(nèi)容， 是彈幕的數(shù)量。為了實現(xiàn)彈幕在視頻中從右向左滑動，將 沿橫軸平移，以獲得第 幀中的彈幕區(qū)域 。

為了進一步減輕彈幕對視頻內(nèi)容的影響，使用 alpha 混合技術(shù)來生成彈幕。當 時， 的生成過程被表示為：

相反，當 時， 被表示為：

其中 表示視頻中像素的位置， 表示彈幕區(qū)域的填充，就是彈幕的顏色， 表示彈幕 alpha 通道的值，也就是彈幕區(qū)域相對于視頻背景的透明度。

2.2 選擇位置和透明度

對抗彈幕攻擊中視頻對抗樣本的生成只與彈幕的位置和透明度有關(guān)，并使用強化學(xué)習(xí)來搜索彈幕的位置和透明度。在強化學(xué)習(xí)框架中，代理通過與環(huán)境互動，來學(xué)習(xí)選擇對抗彈幕的位置和透明度，并更新其生成的動作（action）以最大化總預(yù)期獎勵。其中，環(huán)境由 和 組成，代理 被訓(xùn)練去依次搜索彈幕的位置和透明度。彈幕潛在位置和透明度的搜索空間被定義為：

其中 是彈幕的寬度，其取決于彈幕的內(nèi)容。從上式可以看出， 有 個維度，代理 依次生成 個動作從而得到 ，其中 。代理 被定義為一個 LSTM 和一個 FC 層的組合，其中 表示代理參數(shù)。動作的生成過程被表示為：

其中初始輸入 為 0，LSTM 的隱狀態(tài) ， 表示 FC 層的權(quán)重。sigmoid 函數(shù)預(yù)測了第 個動作的概率分布 ，然后通過 Categorical 函數(shù)采樣得到動作 ，并用 記錄行動的概率。生成的 在下一步輸入 LSTM，驅(qū)使 LSTM 的隱狀態(tài)從 到 轉(zhuǎn)換。這個過程重復(fù)進行，直到生成所有的 個動作。

為了產(chǎn)生對抗和不重疊的彈幕，定義了一個包含兩部分的獎勵：來自目標模型反饋的損失 和來自不同彈幕之間的交并比 。獎勵 和 彼此互補，共同指導(dǎo)代理的學(xué)習(xí)：

其中， 是超參數(shù)。獎勵 使代理產(chǎn)生對目標模型損失較大的動作，其被定義為：

獎勵 避免了由于彈幕重疊而嚴重遮擋視頻的細節(jié)，其被定義為：

其中 ?計算了彈幕之間的交并比。通過將有重疊彈幕的視頻對抗樣本視為攻擊失敗， 還能夠來隱式地限制彈幕的數(shù)量。最后，使用 REINFORCE 算法，通過最大化預(yù)期獎勵來優(yōu)化代理 的參數(shù) ：

其中 是批量大小。

2.3 整體流程

對抗彈幕攻擊的整體流程如下所示：

實驗

我們選擇 UCF-101 和 HMDB51 兩個數(shù)據(jù)集，C3D、LRCN 和 I3D-Slow 三種不同結(jié)構(gòu)的視頻識別模型來進行實驗。除此之外，我們還使用了三個評價指標，1）欺騙率（Fooling rate, FR）：視頻對抗樣本被成功誤分類的比率；2）平均遮擋面積（Average occluded area, AOA）：視頻中被彈幕遮擋的平均面積百分比，AOA*表示視頻中的顯著區(qū)域被彈幕遮擋的平均面積百分比；3）平均查詢次數(shù)（Average query number, AQN）：攻擊過程中，查詢目標模型的平均次數(shù)。

3.1 超參數(shù)的影響

我們通過網(wǎng)格搜索來確定對抗彈幕攻擊中的四個超參數(shù)，包括彈幕數(shù)量 、字體大小 、獎勵中的平衡因子 和字體類型 最合適的值。從下表可以看出，當 或 增加時，AOA 一直增加，而FR先增加后降低。這是因為隨著彈幕數(shù)量或字體大小的增加，視頻中更多的區(qū)域被遮擋，從而取得更高的欺騙率。

然而，由于我們將有重疊彈幕的視頻對抗樣本視為攻擊失敗，而當彈幕太多或字體太大時，彈幕之間就更有可能發(fā)生重疊。當 ，，，=DejaVuSerif 時，對抗彈幕攻擊在 FR, AOA 和 AQN 之間取得了平衡。

▲ 彈幕數(shù)量 的影響

▲ 平衡因子 的影響

▲ 字體大小 的影響

▲ 字體類型 的影響

3.2 對比實驗

我們將對抗彈幕攻擊與 1）使用相同大小的矩形補丁的 PatchAttack、2）使用盆地跳躍（BasinHopping, BH）算法搜索彈幕位置和透明度的策略、3）隨機選擇彈幕位置和透明度的策略進行比較。

從下表可以看出，在大多數(shù)情況下，對抗彈幕攻擊取得了更好的性能：與 PatchAttack 相比，對抗彈幕攻擊的 AOA 和 AOA*顯著減少了，我們認為這是因為彈幕比矩形補丁更加分散；與 BH 相比，使用強化學(xué)習(xí)搜索彈幕的位置和透明度更加高效；在相同的 AQN 下，使用強化學(xué)習(xí)比隨機選擇取得了更好的性能。

▲?不同攻擊方法在兩個數(shù)據(jù)集上針對不同視頻識別模型的性能對比

我們還評估了彈幕和矩形補丁針對局部梯度平滑（Local Gradient Smoothing, LGS）防御方法的性能，從下表可以看出，彈幕對 LGS 防御方法的魯棒性比矩形補丁更強。

▲?兩種對抗補丁類型針對 LGS 防御方法的性能對比

3.3 可視化分析

通過 Grad-CAM 可以看出，彈幕改變了視頻識別模型對于視頻幀的注意力分布。

▲?通過 Grad-CAM 生成的熱力圖

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點剖析、科研心得或競賽經(jīng)驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現(xiàn)在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

·

·

總結(jié)

以上是生活随笔為你收集整理的​AAAI 2022 | 基于强化学习的视频弹幕攻击的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。