?PaperWeekly 原創 ·?作者｜孫裕道

學校｜北京郵電大學博士生

研究方向｜GAN圖像生成、情緒對抗樣本生成

論文標題：Quantifying (Hyper) Parameter Leakage in Machine Learning

論文鏈接：https://arxiv.org/abs/1910.14409

引言

AI 模型廣泛應用于各種多媒體應用中，在云計算上作為一種按需查詢付費的黑盒服務提供給用戶。這樣的黑盒模型對對手具有商業價值，所以會對專有模型進行反向工程，從而侵犯模型隱私和知識產權。對手會通過側信道泄漏提取模型架構或超參數，在合成數據集上訓練重構架構來竊取目標模型的功能。

核心思想

本文提出了一種新的概率框架 AIRAVATA 來估計模型抽取攻擊中的信息泄漏。該框架抓住了由于實驗的不確定性提取精確的目標模型是困難的事實，同時推斷模型的超參數和隨機性質的訓練竊取目標模型的功能。

本文使用貝葉斯網絡來捕捉在基于主觀概率概念的各種提取攻擊下目標模型估計的不確定性。該論文提供了一個實用的工具來推斷有關提取黑盒模型的可操作細節，并幫助確定最佳攻擊組合，從而最大限度地從目標模型中提取（或泄漏）知識。

AIRAVATA框架

本文所提出的 AIRAVATA 框架將各種攻擊和推斷的模型屬性表示為具有因果關系的隨機變量。如果對手選擇了攻擊，那么攻擊變量與貝葉斯網絡中推斷出的相應屬性之間存在聯系。AIRAVATA 框架的有效性分析在現實中具有一定的適用性。

下圖顯示了 AIRVATA 框架的細節，攻擊節點位于頂層，然后是推斷屬性，最后是對手提取的目標知識。模型知識（最后一層）是假設變量，其值與我們的問題有關。攻擊節點（頂層）是被觀測到的信息變量，并影響假設變量的概率分布。信息變量通過代表推斷屬性的中間變量（中間層）與假設變量相連。

3.1 攻擊變量

AIRAVATA 框架下的模型根據攻擊需求（對手模型）和推斷屬性的相似性將攻擊分成不同的隨機變量。

3.1.1 StealFunction

“StealFunction” 節點捕獲這些攻擊，并能夠推斷學習目標中使用的超參數以及估計模型參數的值。給定大量的輸入輸出對 ，根據已知變量求解未知變量的超定方程組，從目標函數中估計正則化超參數，而且所有的攻擊在使用主動學習或對合成數據的模型進行再訓練屬于功能竊取范疇。

3.1.2 ML vs ML

機器學習模型可以訓練成根據輸入輸出預測模型的屬性。由于攻擊使用 ML 模型，因此在正確預測模型屬性時存在不確定性和誤差。這些攻擊被抽象到貝葉斯網絡中的 MLvsML 節點中，并推斷出層的數目、激活的類型、每層的參數數目和層的類型。

3.1.3 TimingSC

對于不了解目標模型的弱對手，可以通過計算網絡的總執行時間來推斷層數。該攻擊基于在一個層中的所有節點被并行計算的思想，而所有層都是按順序計算的，因此總的執行時間與層的數目密切相關。在該框架中，這種攻擊被捕獲在節點 “TimingSC” 中，并且只推斷神經網絡的層數。

3.1.4 HardwareSC

對硬件進行物理訪問的對手可以在模型在硬件上執行期間監視內存訪問模式（內存側通道），并利用進程之間的共享資源提取進程詳細信息（緩存側通道）。

其他硬件詳細信息（如硬件性能計數器、緩存未命中和數據流）顯示了重要的內部模型詳細信息。所有這些攻擊抽象為“硬件”節點，有助于推斷層數、激活類型、每層參數數和層類型。這與 “MLvsML” 相似，但是由于更強的對手模型，推斷出的信息更細粒度和更準確。

3.1.5 PowerSC

在硬件上執行神經網絡的過程中，一個強大的對手可以訪問目標硬件的物理地址，可以監視消耗的功率來提取有關應用程序的信息。給定功耗軌跡，攻擊者使用差分功率分析、相關功率分析和水平功率分析等算法推斷目標黑盒模型細節。

這在框架內被建模為 “PowerSC” 節點，并在成功執行后，幫助對手推斷每層中的參數數目、參數值、總層數和激活函數的類型。

3.2 推斷模型屬性

神經網絡有一個很大的超參數空間，每個超參數可以取不同范圍的可能值。神經網絡的結構細節在決定性能方面起著重要的作用。

• ObjHyperParam：訓練神經網絡的目標函數需要學習速率和動量等多個超參數來控制參數的更新，而權值衰減則可以提高泛化能力。損失函數的選擇和優化技術決定了模型的性能。

• Depth：神經網絡越深，性能就越高，因為 ML 社區一直致力于將神經網絡擴展到大量的層。

• Nodes：每層參數的個數和模型深度影響神經網絡的復雜度，進而影響網絡的性能。

• Activation：激活函數的類型 ReLU、Sigmoid 或 Tanh 將每個節點的個中間矩陣向量計算映射到一個輸出值范圍。

• LayerType：卷積層、maxpool 層或全連通層在決定計算復雜度和性能方面起著重要作用。

3.3 提取模型知識

對于不同的攻擊，所提出的模型需要捕獲的知識提取程度不同。模型屬性為 ，其中 ，攻擊變量為 ，其中 。目的是推斷假設隨機變量，即知識提取度 K。最終的知識估計 是給定了了攻擊的手段 情況下，假設隨機變量 的概率。

在選擇不同的攻擊變量時，根據影響或關聯的屬性數 將最終提取的知識分為三類。

這些是在推斷目標模型的不同屬性時，根據搜索空間范圍而選擇的主觀閾值。攻擊變量反過來影響中間信息變量（模型屬性）的概率分布，影響“模型知識”的最終概率分布。

通過變量消去法進行推理后估計出的假設變量的合成概率，來評估不同的攻擊組合，可以利用所獲得的知識來概率推斷模型信息泄漏。

實驗結果

4.1 Adversary 1

假設貝葉斯網絡模型捕捉了隨機變量之間的聯合概率分布，根據提取到的知識的可信度，對模型進行查詢，以判斷不同攻擊的有效性。在對手 1 的情況下，假設對手很弱，并且只能對目標模型的遠程 API 訪問。

對手可以向目標模型發送查詢（輸入圖像）并得到相應的輸出預測。對手只能依靠遠程執行攻擊，包括：TimingSC、MLvsML 和 StealFunction 攻擊，這些攻擊可以根據各自的威脅模型進行遠程部署。

對應于對手 1 的遠程黑盒設置提取的知識概率如上表所示，與 MLvsML 相比，TimingSC 和 tealFunction 攻擊所推斷的屬性更少，相應的提取“低”知識的置信度分別為 0.7681 和 0.7272。而對于像 MLvsML 這樣的強黑盒攻擊，所提取的知識被歸類為“中等”，其信念得分為 0.7983。

StealFunction 攻擊通常是在推斷目標模型屬性以獲得近似體系結構之后執行的。對于第 2 行（表 1）中的單個攻擊的具體情況，考慮的是由對手選擇的隨機架構。

4.2 Adversary 2

在對手 2 中假設一個更強的對手可以物理訪問執行神經網絡的硬件。然而，對手沒有 API 訪問權限來查詢模型，因此可以分析基于邊信道的超參數推斷攻擊。對手可以通過監視硬件在執行神經網絡期間消耗的功率來執行基于硬件的側信道攻擊，例如緩存側信道、存儲器訪問模式和功率側信道。

與獨立執行攻擊相比，使用 HardwareSC 和 PowerSC 相結合的信念改善并不顯著。從這一點可以推斷，這兩種攻擊在從目標模型中提取知識方面同樣強大。

然而，結合這兩種攻擊，會發現對“高”知識的總體信念從 0.1024 增加到 0.1166。與 HardwareSC 和 MLvsML 攻擊相比，PowerSC 對于“中等”知識提取（0.8181 到 0.7983）有更高的信念。

4.3 Adversary 3

第三個設置是 AIRAVATA 框架的一部分，對手有物理訪問硬件和遠程 API 查詢模型。這個假設的設置允許將來自上述兩個設置的攻擊結合起來，以估計提取目標模型知識的總體信念。

如上表所示，將不同的攻擊組合在一起，對目標模型提取“高”知識的最大置信度為 0.7354。通過選擇其他攻擊的仔細組合，可以推斷出相同的知識水平。

參考文獻

[1] M. S. Alvim, K. Chatzikokolakis, C. Palamidessi, and G. Smith, “Measuring information leakage using generalized gain functions,” in 2012 IEEE 25th Computer Security Foundations Symposium, June 2012, pp.265–279.?

[2] X. An, D. Jutla, and N. Cercone, “Privacy intrusion detection using dynamic bayesian networks,” in Proceedings of the 8th International Conference on Electronic Commerce.?

[3] E. T. Axelrad, P . J. Sticha, O. Brdiczka, and J. Shen, “A bayesian network model for predicting insider threats,” in 2013 IEEE Security and Privacy Workshops, May 2013, pp. 82–89.?

[4] L. Batina, S. Bhasin, D. Jap, and S. Picek, “Csi neural network: Using side-channels to recover your artificial neural network information,” Cryptology ePrint Archive, Report 2018/477, 2018, https://eprint.iacr.org/2018/477.

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的AIRAVATA：量化机器学习中的参数泄露的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。