motivation：這篇文章是在模型訓(xùn)練階段添加滿足DP的噪聲從而達(dá)到隱私保護(hù)的目的，在之前讀的論文中，不同的數(shù)據(jù)集大小，優(yōu)化器，激活函數(shù)的不同都會(huì)影響整個(gè)模型的性能。看的比較多的就是在裁剪閾值C上進(jìn)行優(yōu)化，過大過小都不利于模型訓(xùn)練，所以需要找一個(gè)合適的閾值C。

在聯(lián)邦學(xué)習(xí)(FL)設(shè)置中，使用用戶級(jí)差分隱私(例如DP聯(lián)邦平均)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的現(xiàn)有方法涉及到通過將每個(gè)用戶的模型更新裁剪為某個(gè)常數(shù)值來限制其貢獻(xiàn)。

method：基于這樣的前提，文章提出了一種分位數(shù)的思想，用分位數(shù)去找一個(gè)合適的裁剪臨界值。左邊第一個(gè)公式中的參數(shù)伽馬就是分位數(shù)，通過令導(dǎo)數(shù)的期望為0可以找到一個(gè)與分位數(shù)相關(guān)的的C*（是X的γ分位數(shù)）。

公式4是假設(shè)在某輪中有m個(gè)X的樣本值(x1，…xm)。這一輪損失的平均導(dǎo)數(shù)是公式4，其中參數(shù)b代表最大值為C時(shí)樣本的平均概率分?jǐn)?shù)；根據(jù)梯度下降對裁剪閾值C進(jìn)行迭代更新。

右邊是文章算法的一個(gè)流程，對于sample出來的每一個(gè)用戶進(jìn)行客戶端訓(xùn)練，通過梯度下降和梯度裁剪得到返回值模型參數(shù)delta和參數(shù)b；因?yàn)槟Ｐ蛥?shù)和參數(shù)b是文章保護(hù)對象，所以添加噪聲進(jìn)行保護(hù)，通過貝塔參數(shù)對模型參數(shù)進(jìn)行更新，最后得到塞塔；并且對參數(shù)b進(jìn)行加噪，利用分位數(shù)和b來控制裁剪閾值的大小。

該方法密切跟蹤分位數(shù)，使用的隱私預(yù)算可以忽略不計(jì)，與其他聯(lián)邦學(xué)習(xí)技術(shù)(如壓縮和安全聚合)兼容，并與DP- fedavg有一個(gè)直接的聯(lián)合DP分析。實(shí)驗(yàn)表明，中值更新規(guī)范的自適應(yīng)剪切在一系列現(xiàn)實(shí)的聯(lián)邦學(xué)習(xí)任務(wù)中都能很好地工作，有時(shí)甚至優(yōu)于事后選擇的最佳固定剪切，而且不需要調(diào)整任何剪切超參數(shù)。
?

總結(jié)

以上是生活随笔為你收集整理的Differentially Private Learning with Adaptive Clipping的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。