?PaperWeekly 原創(chuàng) ·?作者｜孫裕道

學(xué)校｜北京郵電大學(xué)博士生

研究方向｜GAN圖像生成、情緒對(duì)抗樣本生成

論文標(biāo)題：Quantifying (Hyper) Parameter Leakage in Machine Learning

論文鏈接：https://arxiv.org/abs/1910.14409

引言

AI 模型廣泛應(yīng)用于各種多媒體應(yīng)用中，在云計(jì)算上作為一種按需查詢付費(fèi)的黑盒服務(wù)提供給用戶。這樣的黑盒模型對(duì)對(duì)手具有商業(yè)價(jià)值，所以會(huì)對(duì)專有模型進(jìn)行反向工程，從而侵犯模型隱私和知識(shí)產(chǎn)權(quán)。對(duì)手會(huì)通過側(cè)信道泄漏提取模型架構(gòu)或超參數(shù)，在合成數(shù)據(jù)集上訓(xùn)練重構(gòu)架構(gòu)來竊取目標(biāo)模型的功能。

核心思想

本文提出了一種新的概率框架 AIRAVATA 來估計(jì)模型抽取攻擊中的信息泄漏。該框架抓住了由于實(shí)驗(yàn)的不確定性提取精確的目標(biāo)模型是困難的事實(shí)，同時(shí)推斷模型的超參數(shù)和隨機(jī)性質(zhì)的訓(xùn)練竊取目標(biāo)模型的功能。

本文使用貝葉斯網(wǎng)絡(luò)來捕捉在基于主觀概率概念的各種提取攻擊下目標(biāo)模型估計(jì)的不確定性。該論文提供了一個(gè)實(shí)用的工具來推斷有關(guān)提取黑盒模型的可操作細(xì)節(jié)，并幫助確定最佳攻擊組合，從而最大限度地從目標(biāo)模型中提取（或泄漏）知識(shí)。

AIRAVATA框架

本文所提出的 AIRAVATA 框架將各種攻擊和推斷的模型屬性表示為具有因果關(guān)系的隨機(jī)變量。如果對(duì)手選擇了攻擊，那么攻擊變量與貝葉斯網(wǎng)絡(luò)中推斷出的相應(yīng)屬性之間存在聯(lián)系。AIRAVATA 框架的有效性分析在現(xiàn)實(shí)中具有一定的適用性。

下圖顯示了 AIRVATA 框架的細(xì)節(jié)，攻擊節(jié)點(diǎn)位于頂層，然后是推斷屬性，最后是對(duì)手提取的目標(biāo)知識(shí)。模型知識(shí)（最后一層）是假設(shè)變量，其值與我們的問題有關(guān)。攻擊節(jié)點(diǎn)（頂層）是被觀測(cè)到的信息變量，并影響假設(shè)變量的概率分布。信息變量通過代表推斷屬性的中間變量（中間層）與假設(shè)變量相連。

3.1 攻擊變量

AIRAVATA 框架下的模型根據(jù)攻擊需求（對(duì)手模型）和推斷屬性的相似性將攻擊分成不同的隨機(jī)變量。

3.1.1 StealFunction

“StealFunction” 節(jié)點(diǎn)捕獲這些攻擊，并能夠推斷學(xué)習(xí)目標(biāo)中使用的超參數(shù)以及估計(jì)模型參數(shù)的值。給定大量的輸入輸出對(duì) ，根據(jù)已知變量求解未知變量的超定方程組，從目標(biāo)函數(shù)中估計(jì)正則化超參數(shù)，而且所有的攻擊在使用主動(dòng)學(xué)習(xí)或?qū)铣蓴?shù)據(jù)的模型進(jìn)行再訓(xùn)練屬于功能竊取范疇。

3.1.2 ML vs ML

機(jī)器學(xué)習(xí)模型可以訓(xùn)練成根據(jù)輸入輸出預(yù)測(cè)模型的屬性。由于攻擊使用 ML 模型，因此在正確預(yù)測(cè)模型屬性時(shí)存在不確定性和誤差。這些攻擊被抽象到貝葉斯網(wǎng)絡(luò)中的 MLvsML 節(jié)點(diǎn)中，并推斷出層的數(shù)目、激活的類型、每層的參數(shù)數(shù)目和層的類型。

3.1.3 TimingSC

對(duì)于不了解目標(biāo)模型的弱對(duì)手，可以通過計(jì)算網(wǎng)絡(luò)的總執(zhí)行時(shí)間來推斷層數(shù)。該攻擊基于在一個(gè)層中的所有節(jié)點(diǎn)被并行計(jì)算的思想，而所有層都是按順序計(jì)算的，因此總的執(zhí)行時(shí)間與層的數(shù)目密切相關(guān)。在該框架中，這種攻擊被捕獲在節(jié)點(diǎn) “TimingSC” 中，并且只推斷神經(jīng)網(wǎng)絡(luò)的層數(shù)。

3.1.4 HardwareSC

對(duì)硬件進(jìn)行物理訪問的對(duì)手可以在模型在硬件上執(zhí)行期間監(jiān)視內(nèi)存訪問模式（內(nèi)存?zhèn)韧ǖ?#xff09;，并利用進(jìn)程之間的共享資源提取進(jìn)程詳細(xì)信息（緩存?zhèn)韧ǖ?#xff09;。

其他硬件詳細(xì)信息（如硬件性能計(jì)數(shù)器、緩存未命中和數(shù)據(jù)流）顯示了重要的內(nèi)部模型詳細(xì)信息。所有這些攻擊抽象為“硬件”節(jié)點(diǎn)，有助于推斷層數(shù)、激活類型、每層參數(shù)數(shù)和層類型。這與 “MLvsML” 相似，但是由于更強(qiáng)的對(duì)手模型，推斷出的信息更細(xì)粒度和更準(zhǔn)確。

3.1.5 PowerSC

在硬件上執(zhí)行神經(jīng)網(wǎng)絡(luò)的過程中，一個(gè)強(qiáng)大的對(duì)手可以訪問目標(biāo)硬件的物理地址，可以監(jiān)視消耗的功率來提取有關(guān)應(yīng)用程序的信息。給定功耗軌跡，攻擊者使用差分功率分析、相關(guān)功率分析和水平功率分析等算法推斷目標(biāo)黑盒模型細(xì)節(jié)。

這在框架內(nèi)被建模為 “PowerSC” 節(jié)點(diǎn)，并在成功執(zhí)行后，幫助對(duì)手推斷每層中的參數(shù)數(shù)目、參數(shù)值、總層數(shù)和激活函數(shù)的類型。

3.2 推斷模型屬性

神經(jīng)網(wǎng)絡(luò)有一個(gè)很大的超參數(shù)空間，每個(gè)超參數(shù)可以取不同范圍的可能值。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)細(xì)節(jié)在決定性能方面起著重要的作用。

• ObjHyperParam：訓(xùn)練神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)需要學(xué)習(xí)速率和動(dòng)量等多個(gè)超參數(shù)來控制參數(shù)的更新，而權(quán)值衰減則可以提高泛化能力。損失函數(shù)的選擇和優(yōu)化技術(shù)決定了模型的性能。

• Depth：神經(jīng)網(wǎng)絡(luò)越深，性能就越高，因?yàn)?ML 社區(qū)一直致力于將神經(jīng)網(wǎng)絡(luò)擴(kuò)展到大量的層。

• Nodes：每層參數(shù)的個(gè)數(shù)和模型深度影響神經(jīng)網(wǎng)絡(luò)的復(fù)雜度，進(jìn)而影響網(wǎng)絡(luò)的性能。

• Activation：激活函數(shù)的類型 ReLU、Sigmoid 或 Tanh 將每個(gè)節(jié)點(diǎn)的個(gè)中間矩陣向量計(jì)算映射到一個(gè)輸出值范圍。

• LayerType：卷積層、maxpool 層或全連通層在決定計(jì)算復(fù)雜度和性能方面起著重要作用。

3.3 提取模型知識(shí)

對(duì)于不同的攻擊，所提出的模型需要捕獲的知識(shí)提取程度不同。模型屬性為 ，其中 ，攻擊變量為 ，其中 。目的是推斷假設(shè)隨機(jī)變量，即知識(shí)提取度 K。最終的知識(shí)估計(jì) 是給定了了攻擊的手段 情況下，假設(shè)隨機(jī)變量 的概率。

在選擇不同的攻擊變量時(shí)，根據(jù)影響或關(guān)聯(lián)的屬性數(shù) 將最終提取的知識(shí)分為三類。

這些是在推斷目標(biāo)模型的不同屬性時(shí)，根據(jù)搜索空間范圍而選擇的主觀閾值。攻擊變量反過來影響中間信息變量（模型屬性）的概率分布，影響“模型知識(shí)”的最終概率分布。

通過變量消去法進(jìn)行推理后估計(jì)出的假設(shè)變量的合成概率，來評(píng)估不同的攻擊組合，可以利用所獲得的知識(shí)來概率推斷模型信息泄漏。

實(shí)驗(yàn)結(jié)果

4.1 Adversary 1

假設(shè)貝葉斯網(wǎng)絡(luò)模型捕捉了隨機(jī)變量之間的聯(lián)合概率分布，根據(jù)提取到的知識(shí)的可信度，對(duì)模型進(jìn)行查詢，以判斷不同攻擊的有效性。在對(duì)手 1 的情況下，假設(shè)對(duì)手很弱，并且只能對(duì)目標(biāo)模型的遠(yuǎn)程 API 訪問。

對(duì)手可以向目標(biāo)模型發(fā)送查詢（輸入圖像）并得到相應(yīng)的輸出預(yù)測(cè)。對(duì)手只能依靠遠(yuǎn)程執(zhí)行攻擊，包括：TimingSC、MLvsML 和 StealFunction 攻擊，這些攻擊可以根據(jù)各自的威脅模型進(jìn)行遠(yuǎn)程部署。

對(duì)應(yīng)于對(duì)手 1 的遠(yuǎn)程黑盒設(shè)置提取的知識(shí)概率如上表所示，與 MLvsML 相比，TimingSC 和 tealFunction 攻擊所推斷的屬性更少，相應(yīng)的提取“低”知識(shí)的置信度分別為 0.7681 和 0.7272。而對(duì)于像 MLvsML 這樣的強(qiáng)黑盒攻擊，所提取的知識(shí)被歸類為“中等”，其信念得分為 0.7983。

StealFunction 攻擊通常是在推斷目標(biāo)模型屬性以獲得近似體系結(jié)構(gòu)之后執(zhí)行的。對(duì)于第 2 行（表 1）中的單個(gè)攻擊的具體情況，考慮的是由對(duì)手選擇的隨機(jī)架構(gòu)。

4.2 Adversary 2

在對(duì)手 2 中假設(shè)一個(gè)更強(qiáng)的對(duì)手可以物理訪問執(zhí)行神經(jīng)網(wǎng)絡(luò)的硬件。然而，對(duì)手沒有 API 訪問權(quán)限來查詢模型，因此可以分析基于邊信道的超參數(shù)推斷攻擊。對(duì)手可以通過監(jiān)視硬件在執(zhí)行神經(jīng)網(wǎng)絡(luò)期間消耗的功率來執(zhí)行基于硬件的側(cè)信道攻擊，例如緩存?zhèn)刃诺馈⒋鎯?chǔ)器訪問模式和功率側(cè)信道。

與獨(dú)立執(zhí)行攻擊相比，使用 HardwareSC 和 PowerSC 相結(jié)合的信念改善并不顯著。從這一點(diǎn)可以推斷，這兩種攻擊在從目標(biāo)模型中提取知識(shí)方面同樣強(qiáng)大。

然而，結(jié)合這兩種攻擊，會(huì)發(fā)現(xiàn)對(duì)“高”知識(shí)的總體信念從 0.1024 增加到 0.1166。與 HardwareSC 和 MLvsML 攻擊相比，PowerSC 對(duì)于“中等”知識(shí)提取（0.8181 到 0.7983）有更高的信念。

4.3 Adversary 3

第三個(gè)設(shè)置是 AIRAVATA 框架的一部分，對(duì)手有物理訪問硬件和遠(yuǎn)程 API 查詢模型。這個(gè)假設(shè)的設(shè)置允許將來自上述兩個(gè)設(shè)置的攻擊結(jié)合起來，以估計(jì)提取目標(biāo)模型知識(shí)的總體信念。

如上表所示，將不同的攻擊組合在一起，對(duì)目標(biāo)模型提取“高”知識(shí)的最大置信度為 0.7354。通過選擇其他攻擊的仔細(xì)組合，可以推斷出相同的知識(shí)水平。

參考文獻(xiàn)

[1] M. S. Alvim, K. Chatzikokolakis, C. Palamidessi, and G. Smith, “Measuring information leakage using generalized gain functions,” in 2012 IEEE 25th Computer Security Foundations Symposium, June 2012, pp.265–279.?

[2] X. An, D. Jutla, and N. Cercone, “Privacy intrusion detection using dynamic bayesian networks,” in Proceedings of the 8th International Conference on Electronic Commerce.?

[3] E. T. Axelrad, P . J. Sticha, O. Brdiczka, and J. Shen, “A bayesian network model for predicting insider threats,” in 2013 IEEE Security and Privacy Workshops, May 2013, pp. 82–89.?

[4] L. Batina, S. Bhasin, D. Jap, and S. Picek, “Csi neural network: Using side-channels to recover your artificial neural network information,” Cryptology ePrint Archive, Report 2018/477, 2018, https://eprint.iacr.org/2018/477.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的AIRAVATA：量化机器学习中的参数泄露的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。