目錄

• 一 .本周任務(wù)
• 二.已完成的任務(wù)
• • 1.橫向課題
  • 2.上線代碼與論文
  • • 2.1 代碼
    • 2.2 論文
    • 2.3 修改論文
    • 2.4 論文與代碼理解
  • 3.跟蹤張鈸團(tuán)隊(duì)成果
  • 4.大概了解人工智能安全方向
  • • 4.1 Attack
    • • 4.1.1 Attack approach
      • 4.1.2 黑箱攻擊
    • 4.2 Defense
    • • 4.2.1 passive defense
      • 4.2.2 proactive defense
• 三.未完成的任務(wù)
• 四.下周計(jì)劃

一 .本周任務(wù)

• 從三個(gè)橫向課題中選擇一個(gè)，橫向課題可以變化，但縱向課題最好一直不變
• 運(yùn)行上線的代碼，結(jié)合論文與代碼，了解上線的研究內(nèi)容與思路，幫助上線修改其論文
• 根據(jù)張鈸教授的論文，了解跟蹤他的成果，并寫一個(gè)簡單的綜述，綜述的排版方式可根據(jù)國內(nèi)外的人工智能安全團(tuán)隊(duì)來排版
• 講述你所讀的大佬的文獻(xiàn)，并給出自己有哪些修改論文的想法

二.已完成的任務(wù)

1.橫向課題

選擇網(wǎng)安方面的那個(gè)課題

2.上線代碼與論文

2.1 代碼

代碼能正常運(yùn)行，但是運(yùn)行4、5個(gè)小時(shí)以后，出現(xiàn)了一些錯(cuò)誤，初步推斷是運(yùn)行結(jié)果的保存路徑有一些錯(cuò)誤.

2.2 論文

論文的思路大概是：在聯(lián)邦學(xué)習(xí)中，在客戶端訓(xùn)練帶有被攻擊的圖片，使得客戶端模型中毒，當(dāng)服務(wù)器端模型集合客戶端模型時(shí)，使得服務(wù)端模型也中毒，再分散到各個(gè)客戶端，使得各個(gè)客戶端模型都中毒.

2.3 修改論文

只找到師兄文本中的table Ⅰ與表上的table 1符號(hào)不一致的錯(cuò)誤

2.4 論文與代碼理解

論文只了解了大概的思路，對(duì)于具體的代碼實(shí)現(xiàn)和理論方面還需要進(jìn)一步思考，對(duì)于tensorflow框架還需要學(xué)習(xí)才能看懂大部分代碼.

3.跟蹤張鈸團(tuán)隊(duì)成果

找到一些團(tuán)隊(duì)的相關(guān)成果，但未來得及閱讀

• understanding adversarial attacks on observations in deep reinforcement learning
• Boosting Adversarial Attacks with Momentum
• Triple Generative Adversarial Networks

4.大概了解人工智能安全方向

（以下是根據(jù)李宏毅機(jī)器學(xué)習(xí)的視頻所做的筆記）

4.1 Attack

原理：在原有的圖片$x$上加上特殊的噪音$x^{\prime }=x+\Delta x$，使得判別器識(shí)別出其他東西.

• 未加入噪音的圖片：benign image；加入噪音后的圖片：attack image.
• 有目標(biāo)的攻擊：希望輸出為特定其他事物；無目標(biāo)攻擊：希望識(shí)別錯(cuò)誤.
• 不知道模型參數(shù)的攻擊為黑箱攻擊，反之為白箱攻擊.
• $d(x^0,x^{\prime })$可以計(jì)算其2范數(shù)和無窮范數(shù),可以根據(jù)不同的范例運(yùn)用不同的距離.對(duì)于圖片，一般使用無窮范數(shù)，因?yàn)橥瑯拥?-范數(shù)距離下，每個(gè)像素點(diǎn)都有所改變與只有一個(gè)特定的像素點(diǎn)改變巨大是不一樣的效果，后者更容易被發(fā)現(xiàn)，所以采用無窮范數(shù)限制，避免被人眼感知.

4.1.1 Attack approach

• 一般做法
  
• FGSM(一擊必殺，只更新一次)
  
• 也可以更新多次，但$d(x^0,x)>\epsilon$時(shí) 固定$x$的取值

4.1.2 黑箱攻擊

1.原理：用一個(gè)proxy network模擬需要攻擊的network，然后訓(xùn)練出攻擊資料去攻擊.也可以采用ensemble attack，即將綜合多個(gè)攻擊成功的proxy network的attacked image去攻擊black network.
2.問題：為什么在圖像識(shí)別系統(tǒng)中，一個(gè)attacked image能成功攻擊一個(gè)模型，那么對(duì)于其他模型攻擊成功的概率也很高？
可能答案：如圖所示，假設(shè)在$x$軸方向是能被攻擊成功的方向，大多數(shù)攻擊成功的方向相似，在一個(gè)模型上能攻擊成功大概率能在另一個(gè)模型成功.有人認(rèn)為這不是模型的原因，而是數(shù)據(jù)圖片自身的原因.

3.為什么會(huì)被攻擊
在某一個(gè)特定的方向是有很大的幾率被攻擊成功的

4.其他攻擊技術(shù)：

• one pixel attack：https://arxiv.org/pdf/1710.08864.pdf
• universal adversarial attack：做一個(gè)可以讓很多圖片都被攻擊的噪音https://arxiv.org/pdf/1610.08401.pdf
• 攻擊語音合成識(shí)別系統(tǒng)、NLP
• adversarial reprograming：制作一個(gè)類似于病毒一樣的東西寄生在別的分類器上，讓分類器做它不想做的事https://arxiv.org/abs/1806.11146
• “backdooor” in model：在訓(xùn)練階段，對(duì)訓(xùn)練資料增加一些被攻擊的照片，是訓(xùn)練好的模型對(duì)于某種屬于會(huì)辨識(shí)成被攻擊照片。https://arxiv.org/abs/1804.00792

4.2 Defense

4.2.1 passive defense

• 添加一個(gè) filter：

  • smoothing：模糊化操作使被攻擊的像素點(diǎn)不一定被發(fā)現(xiàn)
  • 剪枝
  • image compression：壓縮再解壓縮使得被攻擊的像素點(diǎn)丟失https://arxiv.org/abs/1802.06816
  • 基于generator ，用generator產(chǎn)生與輸入圖片非常相似的圖片，那么generator產(chǎn)生的圖片不具有被攻擊的像素點(diǎn)存在：https://arxiv.org/abs/1805.06605

• randomization：圖片輸入以后給一個(gè)隨機(jī)的處理(一些filter操作)，處理被攻擊圖片的同時(shí)防御對(duì)已經(jīng)防御手段的攻擊：https://arxiv.org/abs/1711.01991

4.2.2 proactive defense

（訓(xùn)練一個(gè)robust的模型）

• adversarial training：在訓(xùn)練的時(shí)候，不僅訓(xùn)練原始數(shù)據(jù)，將原始數(shù)據(jù)的attack 數(shù)據(jù)與相對(duì)應(yīng)的正確的標(biāo)簽進(jìn)行訓(xùn)練，再迭代的利用被攻擊的圖片接著被攻擊，這樣使得即使遇到被攻擊的圖片，同樣也能夠免疫攻擊 (缺點(diǎn)：只會(huì)針對(duì)自己設(shè)計(jì)的攻擊算法，無法防御新的攻擊算法)
• adversarial training for free：減少計(jì)算量 https://arxiv.org/abs/1904.12843

三.未完成的任務(wù)

• 閱讀張鈸團(tuán)隊(duì)的論文及一個(gè)簡單的綜述寫作
• 師兄的成果還未理解透徹，代碼也大多無法理解
• 還未涉及閱讀大佬的文獻(xiàn)，然后去思考其有可能存在的問題

四.下周計(jì)劃

• 粗略學(xué)習(xí)一下tensorflow框架，爭取看懂師兄論文的實(shí)現(xiàn)方法細(xì)節(jié)，進(jìn)一步理解師兄成果
• 閱讀并了解張鈸團(tuán)隊(duì)和國內(nèi)外團(tuán)隊(duì)的研究成果，寫一個(gè)簡單的綜述
• 閱讀一些大佬的文獻(xiàn)，思考可能存在的改進(jìn)方向

總結(jié)

以上是生活随笔為你收集整理的第二周周报(9.13-9.19)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。