Tackling Data Heterogeneity in Federated Learning with Class Prototypes

作者舉了個栗子

分割線————————————————————————————————————————

當采用不平衡的訓練數(shù)據(jù)集進行訓練后，得到的Prototypes(虛線) 和 Representations(圓點)就很差。不同類樣本的特征都重疊了，也就不容易進行分類。當采用uniform head（是固定分類頭嗎？）后，該問題得以解決。因此作者說我們要發(fā)放一致且固定（uniform and fixed）的Prototypes（咋弄的哩？）來協(xié)助不平衡的數(shù)據(jù)集進行訓練。

作者提出方法

首先作者提了兩個問題：

怎么搞出來高質(zhì)量（彼此分得很開）的Prototypes？
通過一種方法初始化分類器頭，看不明白。

進行本地訓練時，固定分類器，只更新特征提取器部分。作者說這樣可以訓練更魯棒的表征。

看不懂。。。。。。
之后像服務(wù)器上傳模型參數(shù)和自己的Prototypes

怎么注入類之間的語義信息（比如狼和狗有點像，狼和汽車一點也不像）？
服務(wù)器收集到Client的原型后，對原型就行混合

大概意思就是這么回事吧，我是個廢物，看不懂。作者公布了代碼，看不明白。嚶嚶嚶。

雜談

我感覺這篇文章的核心思想就是通過自己的那套方法，增強不平衡訓練數(shù)據(jù)下訓練出來的表征。與上一篇的球聯(lián)邦學習動機相似，都是更好的把不平衡的訓練樣本的表征更好的區(qū)分開來。
頭疼，咱也不知道咋去分析這種問題。

總結(jié)

以上是生活随笔為你收集整理的Tackling Data Heterogeneity in Federated Learning with Class Prototypes, AAAI 2023的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。