「AI Drive」是由 PaperWeekly 和 biendata 共同發(fā)起的學(xué)術(shù)直播間，旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為，單向地輸出知識并不是一個最好的方式，而有效地反饋和交流可能會讓知識的傳播更加有意義，從而產(chǎn)生更大的價值。

本期 AI Drive，我們邀請到浙江大學(xué)計算機學(xué)院博士生馮浩哲，為大家在線解讀其發(fā)表于 ICML 2021 的最新工作：KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation。對本期主題感興趣的小伙伴，7 月 13 日（周二）晚 7 點，我們準(zhǔn)時相約 PaperWeekly B 站直播間。

直播信息

傳統(tǒng)的無監(jiān)督多源域適應(yīng)方法假設(shè)所有源域都可以直接訪問。然而，該假設(shè)忽略了隱私保護(hù)政策，即所有數(shù)據(jù)和計算都必須在本地進(jìn)行。在隱私保護(hù)要求下進(jìn)行域遷移存在三個挑戰(zhàn)：首先，最小化域間距離需獲取源域和目標(biāo)域的數(shù)據(jù)并進(jìn)行成對計算，而源域數(shù)據(jù)不可獲取。其次，通信成本和隱私安全限制了現(xiàn)有域遷移方法的應(yīng)用，例如域?qū)褂?xùn)練。最后，由于無法控制源域數(shù)據(jù)質(zhì)量，更易出現(xiàn)不相關(guān)或惡意的源域，從而導(dǎo)致負(fù)遷移。

為解決上述問題，我們提出一種滿足隱私保護(hù)要求的去中心化無監(jiān)督域遷移范式，稱為基于知識蒸餾的去中心化域適應(yīng)（KD3A），通過對不同源域的模型進(jìn)行知識蒸餾來進(jìn)行知識遷移。大量實驗表明，KD3A 顯著優(yōu)于其他前沿域遷移方法。此外，與其他去中心化的域遷移方法相比，KD3A 對負(fù)遷移具有魯棒性，并可將通信成本降低 100 倍。

論文標(biāo)題：

KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation

論文鏈接：

https://arxiv.org/abs/2011.09757

代碼鏈接：

https://github.com/FengHZ/KD3A

本次分享的具體內(nèi)容有：?

• 背景介紹：現(xiàn)有無監(jiān)督多源域適應(yīng) 方法的基本范式

• 研究動機：隱私保護(hù)法案簡介，法案約束下域遷移方法存在的三個挑戰(zhàn)

• 相關(guān)工作：聯(lián)邦對抗域遷移，無源 (Source-free) 域遷移

• 方法實現(xiàn)：基于知識蒸餾的去中心化域適應(yīng)方法

• 理論分析：算法實現(xiàn)與泛化誤差界

• 實驗結(jié)果：域適應(yīng)精度，對負(fù)遷移的魯棒性分析，通信成本分析

• 總結(jié)：論文總結(jié)，開源代碼介紹與未來展望

嘉賓介紹

?馮浩哲?/ 浙江大學(xué)博士生?

馮浩哲， 浙江大學(xué)計算機學(xué)院 CAD&CG 國家重點實驗室三年級博士生，導(dǎo)師陳為教授。主要研究方向為遷移學(xué)習(xí)，無監(jiān)督表征學(xué)習(xí)，以及隱私保護(hù)的模型訓(xùn)練。以第一作者身份在 AAAI /ICML /TKDE 上發(fā)表多篇論文，個人主頁為www.fenghz.xyz/about.

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進(jìn)行，掃描下方海報二維碼或點擊閱讀原文即可免費觀看。線上分享結(jié)束后，嘉賓還將在直播交流群內(nèi)實時 QA，在 PaperWeekly 微信公眾號后臺回復(fù)「AI Drive」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的直播 | ICML 2021论文解读：满足隐私保护要求的去中心化无监督域迁移范式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。