TVM 高效保護(hù)隱私 ML

這篇文章描述了Myelin，一個在值得信賴的硬件飛地中保護(hù)隱私的機(jī)器學(xué)習(xí)框架，以及TVM如何使Myelin快速。關(guān)鍵的想法是，TVM，不像其它流行的ML框架，將模型編譯成輕量級，優(yōu)化，免費依賴庫，可以適應(yīng)資源有限利用。

嘗試創(chuàng)建保護(hù)隱私的ML模型！查看 TVM可用的repo示例代碼。
目的：隱私保護(hù)ML
機(jī)器學(xué)習(xí)模型受益于龐大而多樣化的數(shù)據(jù)集。遺憾的是，使用此類數(shù)據(jù)集通常需要信任集中數(shù)據(jù)聚合器或計算提供商。對于敏感的應(yīng)用程序，如醫(yī)療保健和金融，這是不可取的，因為可能會損害患者的隱私或泄露商業(yè)機(jī)密。安全和隱私保護(hù)計算（包括可信執(zhí)行環(huán)境和差異隱私）的最新進(jìn)展為相互不信任的各方提供了一種方法，在不影響訓(xùn)練數(shù)據(jù)的情況下，高效訓(xùn)練機(jī)器學(xué)習(xí)模型。使用TVM快速保護(hù)隱私ML框架。

使用案例
? 私人 MLaaS：云提供商在數(shù)據(jù)上運行架構(gòu)。獲得模型輸出，數(shù)據(jù)保持私密性，云提供商知道無法竊取模型。
? 值得信賴的ML比賽：訓(xùn)練一個模型的比賽數(shù)據(jù)。競賽組織者向模型發(fā)送私人測試數(shù)據(jù)，并獲取可驗證的準(zhǔn)確性報告。模型保持安全，直到組織者決定購買。其他參與者不能通過測試數(shù)據(jù)訓(xùn)練作弊。
? 共享私人數(shù)據(jù)訓(xùn)練：（研究人員）希望對幾家醫(yī)院的數(shù)據(jù)進(jìn)行模型訓(xùn)練。直接共享太復(fù)雜了。相反，讓"受信任的第三方"訓(xùn)練隱私保護(hù)模式。
? 區(qū)塊鏈上的ML
背景

受信任的執(zhí)行環(huán)境
受信任的執(zhí)行環(huán)境（TEE） 基本上允許遠(yuǎn)程用戶在不向硬件提供商透露計算的情況下，在人的計算機(jī)上強(qiáng)制運行代碼。
技術(shù)上，TEE 提供了隔離/加密內(nèi)存和 CPU 寄存器的安全區(qū)域;也是一個值得信賴的隨機(jī)性來源。TEE 還可以發(fā)送已加載代碼的簽名證明，以便遠(yuǎn)程用戶可以驗證飛地是否正確加載。這個過程，稱為遠(yuǎn)程證明，可用于建立一個安全的通信通道進(jìn)入?yún)^(qū)域。然后，遠(yuǎn)程用戶可以提供私鑰、模型參數(shù)和訓(xùn)練數(shù)據(jù)等機(jī)密。
與安全多平價計算 （MPC）和全同構(gòu)加密 （FHE）等純加密方法相比，TEE 是幾個數(shù)量級更快，支持通用計算（即不只是算術(shù)操作）。也許唯一的缺點是信任硬件key（將密鑰集成到處理器）和加載軟件中的附加信任假設(shè)。
盡管存在信任假設(shè)，TEE 技術(shù)正變得越來越普遍，并在實際隱私保護(hù)方面發(fā)揮著重要作用。事實上，通用TEE已經(jīng)存在于商品硬件，如英特爾SGX和ARM信托區(qū)。此外，全開源 Keystone enclave即將上路。
差別隱私

差異隱私 （DP）提供了正式的保證，即在類似數(shù)據(jù)集上訓(xùn)練的模型，在非正式上是無法區(qū)分的，用戶的隱私不會因為選擇向模型貢獻(xiàn)數(shù)據(jù)而受到影響。
換句話說，鑒于算法在兩個數(shù)據(jù)集上的輸出僅在單個記錄中有所不同，差異隱私上限限制了對手確定哪個數(shù)據(jù)集的概率。使用為算法輸出增加噪音的機(jī)制，可以制作 DP 算法。噪聲量根據(jù)輸出取決于任何特定輸入的程度進(jìn)行校準(zhǔn)。熟悉假設(shè)測試，如果結(jié)果 A 和 B 各有概率 0.5，則應(yīng)用 DP 機(jī)制就像與概率分布的匯合：隱私位于誤報和假負(fù)率中。由于深度學(xué)習(xí)模型往往概括良好，噪音量往往低于預(yù)期。
在 TEE 中運行 DP 訓(xùn)練算法可確保忠實地應(yīng)用 DP 機(jī)制。
使用 TVM 高效保護(hù)隱私 ML
使用 TEE 工作的主要挑戰(zhàn)之一是，運行在內(nèi)部的代碼無法訪問不受信任的操作系統(tǒng)。這意味著受信任的軟件無法創(chuàng)建線程或執(zhí)行 I.O 。實際上結(jié)果，像 OpenBLAS 這樣的數(shù)字庫（更不用說像 PyTorch 和 TensorFlow 這樣的框架）不能直接在飛地中運行。
TEES 實際上具有與資源約束的硬件加速器類似的編程模型。這正是TVM的用之用！在隱私工作流程中，用戶首先用高級圖形規(guī)范語言定義整個訓(xùn)練圖。TVM編譯模型并輸出包含優(yōu)化數(shù)值內(nèi)核的靜態(tài)庫，這些內(nèi)核可以輕松加載到 TEE 中。由于內(nèi)核是自動生成的，并且具有嚴(yán)格的邊界檢查，暴露了低表面積的攻擊。由輕量級內(nèi)存安全銹runtime支持，也很容易被審查的安全性和正確性。
當(dāng)然，安全在實際適用時最有用。幸運的是，飛地中的 TVM 模塊具有與基于本地 CPU 的訓(xùn)練類似的性能。通過使用不受信任的runtime協(xié)調(diào)線程，單個 TVM 飛地可以充分利用其主機(jī)的資源。此外，不難想象一個安全參數(shù)服務(wù)器，協(xié)調(diào)了整個數(shù)據(jù)中心飛地的機(jī)器。
TVM 也為更細(xì)微的隱私保護(hù)算法提供更微妙的優(yōu)化機(jī)會。事實上，細(xì)粒格的調(diào)度功能允許使用差分隱私時加快速度。例如，從剪切每個訓(xùn)練示例的梯度，向每個添加噪音中，可以獲得最嚴(yán)格的 DP 界限。在自動完成框架中，這需要轉(zhuǎn)發(fā) minibatch 中每個示例的模型（盡管只需要一個向后傳遞）。使用 TVM，每個示例的漸變剪切很簡單：在批次和功能尺寸上，將每次權(quán)重更新，重排為單次減量，而是將減量分為兩部分。減少功能后，剪切和noising，然后最終的結(jié)果總結(jié)的例子，以獲得重量更新。因此，TVM 允許應(yīng)用差異隱私，而無需引入高于技術(shù)要求的開銷。此外，如果一個人真的想要得到真正的cost，可能融合剪裁和noising操作，應(yīng)用到位，以進(jìn)一步削減延遲和內(nèi)存的使用。

總結(jié)

以上是生活随笔為你收集整理的TVM 高效保护隐私 ML的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。