motivation：這篇文章是在模型訓練階段添加滿足DP的噪聲從而達到隱私保護的目的，在之前讀的論文中，不同的數據集大小，優化器，激活函數的不同都會影響整個模型的性能。看的比較多的就是在裁剪閾值C上進行優化，過大過小都不利于模型訓練，所以需要找一個合適的閾值C。

在聯邦學習(FL)設置中，使用用戶級差分隱私(例如DP聯邦平均)訓練神經網絡的現有方法涉及到通過將每個用戶的模型更新裁剪為某個常數值來限制其貢獻。

method：基于這樣的前提，文章提出了一種分位數的思想，用分位數去找一個合適的裁剪臨界值。左邊第一個公式中的參數伽馬就是分位數，通過令導數的期望為0可以找到一個與分位數相關的的C*（是X的γ分位數）。

公式4是假設在某輪中有m個X的樣本值(x1，…xm)。這一輪損失的平均導數是公式4，其中參數b代表最大值為C時樣本的平均概率分數；根據梯度下降對裁剪閾值C進行迭代更新。

右邊是文章算法的一個流程，對于sample出來的每一個用戶進行客戶端訓練，通過梯度下降和梯度裁剪得到返回值模型參數delta和參數b；因為模型參數和參數b是文章保護對象，所以添加噪聲進行保護，通過貝塔參數對模型參數進行更新，最后得到塞塔；并且對參數b進行加噪，利用分位數和b來控制裁剪閾值的大小。

該方法密切跟蹤分位數，使用的隱私預算可以忽略不計，與其他聯邦學習技術(如壓縮和安全聚合)兼容，并與DP- fedavg有一個直接的聯合DP分析。實驗表明，中值更新規范的自適應剪切在一系列現實的聯邦學習任務中都能很好地工作，有時甚至優于事后選擇的最佳固定剪切，而且不需要調整任何剪切超參數。
?

總結

以上是生活随笔為你收集整理的Differentially Private Learning with Adaptive Clipping的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。