?

?PaperWeekly ·?作者｜王嘉凱

學校｜北京航空航天大學博士生

研究方向｜對抗樣本

?

近年來，隨著人工智能技術的發(fā)展，智能化應用在各行各業(yè)都有了廣泛的應用。在與我們生活息息相關的零售領域，人工智能技術的到來極大地便利化了人們的零售購物方式，人們不在需要排隊等待售貨員人工掃碼結賬，只需要平鋪所有商品，基于計算機視覺的智能零售系統便可以迅速掃描計算價格，這引起零售行業(yè)降本增效的新浪潮。

然而 AI 自動零售落地并不是一片坦途，近年來 AI 安全性問題向其發(fā)出了最嚴峻的挑戰(zhàn)。

北京航空航天大學團隊的最新研究成果表明，在自動零售領域核心的自動結算（Automatic Check-Out）環(huán)節(jié)，一塊不大的類似商品商標的貼紙就能嚴重影響計算機視覺識別系統，導致其將昂貴的商品識別為非常便宜的物品。

如上圖所示的帶有商標或者 logo 的商品在生活中十分常見，而利用生成的類似形態(tài)的具有攻擊性的對抗補丁（adversarial patch）可以讓真實世界中的商品識別系統（淘寶“掃一掃”和京東“掃啊掃”）識別錯誤。

讓我們想象一下這樣的場景，當顧客在自動結算時，貨物上出現了對抗補丁，原本可能只需要花 10 元錢的東西被錯誤識別為 100? 元，顧客蒙受了損失，而對于商家而言，惡意的補丁可能導致原本應該收入 100 元的貨物只收入 10 元，同樣蒙受巨大損失。

因此對于自動結算環(huán)節(jié)，有能力使得識別模型失效的對抗補丁具有相當高的危險性，需要引起從業(yè)者的廣泛關注！

該論文題為“Bias-based Universal Adversarial Patch Attack for Automatic Check-out”，提出了一種基于模型偏見（Bias）的通用對抗性補丁生成框架。

該框架充分利用了模型的感知偏見和語義偏見，具有較強的泛化能力，在數字世界進行了大量的實驗，在真實世界具有極強的易實現性，并且能夠成功攻擊物理世界中部署的商品識別系統（淘寶和京東），目前論文已經被全球計算機視覺頂級會議 ECCV-2020 接收。

論文標題：Bias-based Universal Adversarial Patch Attack for Automatic Check-out

論文鏈接：http://arxiv.org/abs/2005.09257

代碼鏈接：https://github.com/liuaishan/ModelBiasedAttack

基于模型偏見的對抗攻擊

本文提出的對抗補丁生成框架具有較好的泛化能力，能夠有效的攻擊模型訓練過程中“不可見”的物品種類，通過在真實世界系統中的測試和驗證，驗證了其有效性。

其主要框架如下圖所示，通過利用模型固有的感知偏見從難樣本中提取先驗補丁塊，并進行融合處理以獲得更好的泛化攻擊能力。在此基礎上，生成包含豐富語義信息的類原型幫助訓練對抗補丁，以獲得對抗補丁生成效率上的提升。

▲ 圖2 基于偏見的通用對抗補丁生成框架

基于感知偏見的先驗補丁生成

基于感知偏見的先驗補丁首先基于多個難樣本生成融合樣本。難樣本是指模型難以正確分類和識別的樣本且在數據集中普遍存在，被模型錯分的難樣本顯然離正確的分類區(qū)域更遠，也即是更容易跨越模型的決策邊界導致模型分類錯誤，利用難樣本的特征進行攻擊如同“站在巨人的肩膀上”。

而已有的研究證明了，神經網絡模型的判斷更多依賴于紋理信息（texture），這也被認為是一種模型在感知上的偏見，為了利用這一客觀性質進行對抗攻擊，進一步的，本論文通過引入風格損失提取這類感知偏見，以增強融合樣本的泛化攻擊能力：

為了增強融合樣本的不確定性，引入了類的不確定損失：

最終，在先驗補丁生成環(huán)節(jié)，優(yōu)化如下的融合損失：

融合后的樣本具備更強的不確定性和泛化能力，基于此，作者通過使用一個注意力模塊來提取最終先驗補丁塊：

其中融合樣本中每個像素點的權重計算如下：

?

基于語義偏見的類原型訓練

由于具有通用性的對抗性擾動的生成策略大多需要大量的訓練數據，這極大的增加了各種意義上的訓練開銷，降低了對抗樣本的可攻擊性。為了減輕對大量訓練數據的依賴，本文進一步引入了基于語義偏見的類原型。

類原型是一種包含數據集中某一類語義信息的典型表示，其代表了某一類別的深層特征，對模型而言，這種類原型會使得模型產生語義上的“偏見”，通過引入類原型，可以訓練對抗補丁利用這種固有的語義上的偏見實現對模型的欺騙行為。

其中類原型的目標函數如下：

考慮到對抗補丁在現實中的環(huán)境適應，論文還引入了轉換模塊已獲得更強的物理世界攻擊性。由此，得到整個框架的訓練流程：

實驗結果：AI零售仍然有很長一段路要走

?

首先，論文的數字世界實驗在目前為止最大的零售 ACO 任務數據集上進行了白盒攻擊實驗和黑盒攻擊實驗，驗證了所提出的框架生成的對抗補丁的有效性。

4.1 數字世界攻擊

如下圖所示，在白盒攻擊的條件下，論文基于 ResNet-152 為 backbone 模型進行實驗，并在相同的 backbone 下與其他方法進行對比，結果顯示，本論文提出的方法攻擊后的準確率降為 5.42%，遠遠低于對比方法的準確率。

在黑盒攻擊的條件下，論文在 ResNet-152 為 backbone 的條件下進行訓練，攻擊不同的模型（VGG-16、AlexNet、ResNet-101），同樣達到了最好的水平（top-1 accuracy下）。

4.2 真實世界攻擊

真實世界攻擊基于兩種在線購物平臺（淘寶和京東）進行，在所有的 4 個種類 80 張真實世界貨物的照片中，分別只有 56.25% 和 55% 被成功識別，而在不加對抗補丁的條件下，準確率分別為 100% 和 95%，如下圖樣例所示，牛奶被識別為鋁箔，水杯被識別為裝飾品：

展望

計算機視覺技術的進步極大的推動了人工智能浪潮，視覺技術正在我們的生活中產生巨大的應用價值，也展現出了巨大的發(fā)展?jié)摿?#xff0c;人臉識別、自動駕駛、行人檢測、視頻安防等領域的諸多成果無不昭示著技術給我們帶來的便利。

AI 零售被認為是下一個人工智能應用落地的領域之一，計算機視覺應用于這一領域不僅能夠提升結算效率，同時能夠極大的節(jié)省成本。

然而面臨著對抗樣本的攻擊，基于計算機視覺的自動零售系統暴露出了極大的安全隱患，面對這種風險，AI 自動零售還能更順利的走下去嗎？

我們應當以更加慎重的態(tài)度和更加挑剔的眼光審視人工智能系統，重視安全人工智能與可解釋深度學習技術的發(fā)展，用積極的心態(tài)擁抱技術，用更周全的思維發(fā)展技術，讓人工智能技術更好的造福人類。

?

作者及團隊介紹

劉艾杉，北京航空航天大學計算機學院博士三年級在讀，主要研究方向為對抗樣本、深度學習魯棒性、人工智能安全性，已在 ECCV、AAAI、IJCAI 等國際頂級人工智能與計算機視覺會議發(fā)表多篇論文，并擔任多個國際會議及期刊審稿人（如：ACMMM，IJCAI，IEEE TIP等）。?

王嘉凱，北京航空航天大學博士二年級在讀，研究方向為對抗樣本生成，深度學習魯棒性與安全性，已有研究成果在 ECCV 發(fā)表。?

劉祥龍，北京航空航天大學副教授，主要研究方向為大數據檢索、大規(guī)模視覺分析、可信賴深度學習等，已在 CVPR、ICCV、AAAI 等國際頂級人工智能與計算機視覺會議和 IEEE TIP 等國際重要 SCI 期刊上發(fā)表論文 100 余篇，擔任多個重要的國際會議或者期刊評審和領域主席，入選北京市科技新星計劃和 CCF 青年人才發(fā)展計劃等。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質內容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發(fā)，請在投稿時提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認每篇文章都是首發(fā)，均會添加“原創(chuàng)”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發(fā)送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發(fā)布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的ECCV 2020 | 智能自动零售可行吗？AI安全应引起广泛关注！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。