EFLS开源 | 阿里妈妈联邦学习解决方案详解
??項(xiàng)目背景
移動(dòng)互聯(lián)網(wǎng)時(shí)代出于隱私保護(hù)和數(shù)據(jù)安全，APP 之間的開放與互聯(lián)越來(lái)越少，使大量的信息孤島逐漸形成，限制了信息技術(shù)更好地服務(wù)廣大用戶的能力。2016年 Google 提出了以保護(hù)終端隱私為前提的機(jī)器學(xué)習(xí)方法——聯(lián)邦學(xué)習(xí)[1]。為了將聯(lián)邦學(xué)習(xí)理論更好地引入到阿里媽媽業(yè)務(wù)場(chǎng)景，發(fā)揮其隱私保護(hù)和算法理論的優(yōu)勢(shì)，阿里媽媽算法工程團(tuán)隊(duì)?與?阿里媽媽大外投廣告算法團(tuán)隊(duì)?于近期開源了 Elastic-Federated-Learning-Solution（彈性聯(lián)邦學(xué)習(xí)解決方案，以下簡(jiǎn)稱 EFLS）項(xiàng)目。該項(xiàng)目經(jīng)過(guò)阿里媽媽外投廣告業(yè)務(wù)與業(yè)界多個(gè)合作方深入大規(guī)模實(shí)踐，旨在沉淀歸納出聯(lián)邦學(xué)習(xí)場(chǎng)景下通用的解決方案及算法實(shí)踐經(jīng)驗(yàn)，希望未來(lái)可以對(duì)搜推廣業(yè)務(wù)在大規(guī)模稀疏場(chǎng)景下的聯(lián)邦學(xué)習(xí)應(yīng)用產(chǎn)生參考價(jià)值和加速作用。
本文將對(duì) EFLS 項(xiàng)目的業(yè)務(wù)價(jià)值、核心功能以及關(guān)鍵實(shí)現(xiàn)做簡(jiǎn)要介紹，希望給從事相關(guān)工作的同學(xué)帶來(lái)一點(diǎn)啟發(fā)和幫助，歡迎試用及交流討論。
GitHub地址：
https://github.com/alibaba/Elastic-Federated-Learning-Solution
??業(yè)務(wù)應(yīng)用
業(yè)務(wù)背景
目前聯(lián)邦學(xué)習(xí)技術(shù)已經(jīng)在金融領(lǐng)域大規(guī)模應(yīng)用，在廣告搜索推薦這種大規(guī)模稀疏場(chǎng)景領(lǐng)域的應(yīng)用和研究尚處于發(fā)展初期。作為 EFLS 的誕生地，阿里媽媽大外投業(yè)務(wù)具有如下特點(diǎn)：
伴隨著外部媒體短視頻流量異軍突起，商家有從媒體引流電商的需求，而商家在媒體直投存在后鏈路效果分析成本高、無(wú)法同時(shí)在多個(gè)媒體投放的問(wèn)題。阿里媽媽大外投能夠建立統(tǒng)一的外投能力，服務(wù)商家一鍵投放多個(gè)媒體，同時(shí)在商家營(yíng)銷服務(wù)上可以提供強(qiáng)大的營(yíng)銷效果分析能力解決商家在外部媒體投放的痛點(diǎn)。
不同于淘內(nèi)廣告建模中我們能獲取豐富的前鏈路行為，我們?cè)谕馔稄V告中對(duì)用戶在媒體端的前鏈路行為一無(wú)所知。由于企業(yè)數(shù)據(jù)互為商業(yè)機(jī)密，媒體不能共享用戶的內(nèi)容偏好，而我們也不能透出用戶的電商偏好，外投廣告系統(tǒng)無(wú)法像內(nèi)投場(chǎng)景能夠形成數(shù)據(jù)閉環(huán)進(jìn)行全鏈路優(yōu)化。
為了更好的服務(wù)商家，媒體和阿里媽媽都有通過(guò)個(gè)性化建模提升商家roi的效果優(yōu)化訴求，伴隨著越來(lái)越強(qiáng)的隱私監(jiān)管，雙方的合作必須在更加合規(guī)的隱私保護(hù)的前提下進(jìn)行。
應(yīng)用方案
如上圖所示（圖中術(shù)語(yǔ)釋義請(qǐng)見附錄2），阿里媽媽大外投業(yè)務(wù)的在線廣告投放階段，媒體方和電商方會(huì)在雙方嚴(yán)格保護(hù)其各自用戶隱私的前提下，基于聯(lián)邦學(xué)習(xí)訓(xùn)練的點(diǎn)擊轉(zhuǎn)化率預(yù)估模型和ocpx機(jī)制為用戶推薦感興趣的廣告，以保證用戶體驗(yàn)和商家的廣告投放效果。用戶根據(jù)興趣點(diǎn)擊后，將跳轉(zhuǎn)到電商平臺(tái)，電商側(cè)會(huì)存有商品特征、用戶歷史特征以及本次點(diǎn)擊收藏加購(gòu)成交等信息。由于隱私數(shù)據(jù)不能泄漏，從媒體方的廣告推薦到電商方的收藏加購(gòu)整個(gè)過(guò)程將被使用 instance_id 進(jìn)行標(biāo)識(shí)。在離線訓(xùn)練階段，媒體方與電商方將先通過(guò)在線模型產(chǎn)生的 log 結(jié)合 instance_id、加密設(shè)備id、廣告id 等生成樣本數(shù)據(jù)，隨后雙方將采用樣本集合求交，通過(guò)加密傳遞instance_id等標(biāo)簽的方式，將樣本數(shù)據(jù)對(duì)齊。樣本數(shù)據(jù)對(duì)齊后，媒體方與電商方將采用對(duì)齊的樣本數(shù)據(jù)，同時(shí)進(jìn)行模型訓(xùn)練。在訓(xùn)練過(guò)程中，有 label 的電商一方作為主導(dǎo)方，協(xié)同方媒體方會(huì)將一個(gè)訓(xùn)練的中間結(jié)果經(jīng)過(guò)隱私加密之后發(fā)送給主導(dǎo)方，主導(dǎo)方在計(jì)算反向的梯度之后，將協(xié)同方發(fā)送來(lái)的中間結(jié)果對(duì)應(yīng)的梯度經(jīng)過(guò)加密后發(fā)送給協(xié)同方，完成訓(xùn)練迭代。從而實(shí)現(xiàn)在不共享隱私數(shù)據(jù)的情況下，同時(shí)進(jìn)行媒體方與電商方的模型訓(xùn)練。
業(yè)務(wù)價(jià)值
依托于 EFLS，阿里媽媽 Unidesk 產(chǎn)品已助力珀萊雅、卡姿蘭、薇諾娜、花西子、修正等多個(gè)企業(yè)實(shí)現(xiàn)品牌和業(yè)務(wù)雙豐收。其中一些合作品牌在2個(gè)月時(shí)間內(nèi)獲得品牌 ROI 15% 的提升，經(jīng)營(yíng)效果提升明顯，且放量也在逐步提高。
EFLS 希望能夠?yàn)殡[私計(jì)算領(lǐng)域貢獻(xiàn)一份力量，在如今人們?cè)絹?lái)越注重隱私保護(hù)的大背景下，構(gòu)成在搜推廣的大規(guī)模稀疏場(chǎng)景下高效隱私計(jì)算的完整解決方案。接下來(lái)將重點(diǎn)介紹我們從業(yè)務(wù)中抽象和開源出來(lái)的 EFLS 的架構(gòu)與核心功能。
??項(xiàng)目架構(gòu)與核心功能
常用的聯(lián)邦學(xué)習(xí)主要有縱向聯(lián)邦學(xué)習(xí)和橫向聯(lián)邦學(xué)習(xí)兩種。當(dāng)兩個(gè)數(shù)據(jù)集的用戶特征重疊較多，而用戶重疊較少時(shí)，一般采用橫向聯(lián)邦學(xué)習(xí)，把數(shù)據(jù)集按照橫向（即用戶維度）切分，并取出雙方用戶特征相同而用戶不完全相同的部分?jǐn)?shù)據(jù)進(jìn)行訓(xùn)練。當(dāng)兩個(gè)數(shù)據(jù)集的用戶重疊較多而用戶特征重疊較少時(shí)，一般采用縱向聯(lián)邦學(xué)習(xí)把數(shù)據(jù)集按照縱向（即特征維度）切分，并取出雙方用戶相同而用戶特征不完全相同的那部分?jǐn)?shù)據(jù)進(jìn)行訓(xùn)練。[2]
EFLS v0.1 版本主要針對(duì)于兩方縱向聯(lián)邦學(xué)習(xí)場(chǎng)景，即支持兩個(gè)合作方在特征維度拓展樣本，并進(jìn)行聯(lián)合訓(xùn)練。在系統(tǒng)部分包含三個(gè)主要模塊：EFLS-Data（樣本集合求交）、EFLS-Train（聯(lián)邦聯(lián)合訓(xùn)練）以及 EFLS-Console（產(chǎn)品控制臺(tái)），在 EFLS-Algo 聯(lián)邦學(xué)習(xí)算法包部分提供了兩種在聯(lián)邦場(chǎng)景較為有效的算法模型。EFLS 的使用者可以在此基礎(chǔ)上根據(jù)自身情況自行生成樣本并選擇存儲(chǔ)方式，根據(jù)需要使用或者設(shè)計(jì)聯(lián)邦學(xué)習(xí)算法，并采用提供的 Web 控制臺(tái)管理與合作方的連接關(guān)系，并維護(hù)己方的樣本集合求交任務(wù)和聯(lián)邦聯(lián)合訓(xùn)練任務(wù)。
目前開源項(xiàng)目的核心功能主要有：
基于workflow的抽象開發(fā)的可視化web界面，便于進(jìn)行用戶、任務(wù)、數(shù)據(jù)和權(quán)限的管控，縮短開發(fā)周期。
基于Flink on K8S[4][5]云原生實(shí)現(xiàn)方案的樣本集合求交方案，方便資源按需調(diào)度和水平擴(kuò)展，最大能夠支持百億規(guī)模樣本數(shù)據(jù)求交。
輕型的樣本求交客戶端方案，適用于服務(wù)端搭建好后，快速測(cè)試Flink on K8S集群公網(wǎng)連通情況，以及數(shù)據(jù)量小的客戶端在不配置Flink環(huán)境的情況下快速部署與服務(wù)端進(jìn)行樣本集合求交任務(wù)。
采用簡(jiǎn)化協(xié)議、全C++通信實(shí)現(xiàn)的聯(lián)邦聯(lián)合訓(xùn)練框架，盡可能的提升訓(xùn)練性能。并實(shí)現(xiàn)了更精細(xì)的數(shù)據(jù)狀態(tài)恢復(fù)與模型加載校驗(yàn)機(jī)制，能夠保證任務(wù)恢復(fù)的模型一致性與數(shù)據(jù)的零損失。
針對(duì)縱向聯(lián)邦場(chǎng)景，業(yè)內(nèi)首次開源了基于水平聚合的聯(lián)邦學(xué)習(xí)方法和基于層次聚合的聯(lián)邦學(xué)習(xí)方法兩種算法模型，通過(guò)設(shè)計(jì)更高效的特征融合方法，充分發(fā)揮聯(lián)邦框架的算法能力。
??技術(shù)詳解
整個(gè)系統(tǒng)架構(gòu)從業(yè)務(wù)處理流程角度分為三個(gè)模塊: Data Store（樣本生成與存儲(chǔ)）、EFLS-Data（樣本集合求交）和EFLS-Train（聯(lián)邦聯(lián)合訓(xùn)練）。三個(gè)模塊基于云上基礎(chǔ)設(shè)施(OSS等)進(jìn)行數(shù)據(jù)讀取與存儲(chǔ)，采用開源框架（Flink）實(shí)現(xiàn)分布式處理，整體運(yùn)行在Kubernetes上。為方便用戶使用，采用WebConsole對(duì)接K8S服務(wù)接口，實(shí)現(xiàn)用戶管理，數(shù)據(jù)、模型和作業(yè)的可視化管控。
樣本集合求交
樣本生成后，需要將樣本根據(jù)標(biāo)簽求交對(duì)齊后，才能用于模型訓(xùn)練。
常規(guī)的流程分為樣本分桶、對(duì)應(yīng)桶樣本求交和結(jié)果檢驗(yàn)三步：
當(dāng)求交任務(wù)到達(dá)時(shí)，常駐的Master會(huì)按需調(diào)度資源。在樣本分桶流程中，Master調(diào)出n個(gè)worker，并行讀入樣本，將每個(gè)樣本根據(jù)其哈希值分入到m個(gè)桶中。
整個(gè)樣本集合求交任務(wù)被分治為了相應(yīng)桶之間的樣本集合求交任務(wù)。Master再次調(diào)度出m個(gè)worker，客戶端第i個(gè)桶的worker與服務(wù)端第i個(gè)桶的worker進(jìn)行連接并采取gRPC遠(yuǎn)程通信求交。
求交完成后，客戶端與服務(wù)端分別計(jì)算各自求交結(jié)果的checksum值，并通過(guò)gRPC通信傳輸進(jìn)行比較。
另外在一些業(yè)務(wù)場(chǎng)景中，可能需要使用諸如用戶昵稱等敏感字段作為關(guān)聯(lián)鍵進(jìn)行樣本集合求交，為避免此類隱私字段泄漏給聯(lián)邦合作方，EFLS支持了經(jīng)典的 Blind RSA-based PSI 協(xié)議[3]，即在gRPC數(shù)據(jù)傳輸前通過(guò)RSA加密等秘鑰方法，使得集合求交過(guò)程中聯(lián)邦雙方不能獲悉對(duì)方的原始信息。
聯(lián)邦模型訓(xùn)練
對(duì)于一個(gè)傳統(tǒng)的深度學(xué)習(xí)模型來(lái)說(shuō)，訓(xùn)練方持有全部的訓(xùn)練所需要的特征和模型，可獨(dú)自完成前后向計(jì)算、更新梯度完成一次訓(xùn)練迭代。而在縱向聯(lián)邦學(xué)習(xí)的場(chǎng)景下，訓(xùn)練所需要的數(shù)據(jù)特征和模型分別由兩個(gè)聯(lián)邦計(jì)算方持有，不對(duì)對(duì)方泄露。在訓(xùn)練過(guò)程中協(xié)同方會(huì)將一個(gè)訓(xùn)練的中間結(jié)果經(jīng)過(guò)隱私加密之后發(fā)送給主導(dǎo)方，主導(dǎo)方在計(jì)算反向的梯度之后，除了更新本方的參數(shù)，還需將協(xié)同方發(fā)送來(lái)的中間結(jié)果對(duì)應(yīng)的梯度經(jīng)過(guò)加密后發(fā)送給協(xié)同方，協(xié)同方使用該梯度進(jìn)行自身的參數(shù)更新。
EFLS-Train 基于社區(qū) Tensorflow1.15 版本開發(fā)，通過(guò)擴(kuò)展的方式實(shí)現(xiàn)了一套完整的聯(lián)邦學(xué)習(xí)訓(xùn)練方案。整個(gè)訓(xùn)練框架主要包括數(shù)據(jù)協(xié)同(聯(lián)邦Dataset)，安全通信層(gRPC)，隱私加密(保護(hù)前后向交互數(shù)據(jù))和高層訓(xùn)練API幾個(gè)部分。在保證數(shù)據(jù)安全的基礎(chǔ)上，我們還著重考慮了聯(lián)邦訓(xùn)練的性能和穩(wěn)定性，在數(shù)據(jù)交互協(xié)議、通信層和分布式容災(zāi)等方面進(jìn)行了多項(xiàng)優(yōu)化，保證聯(lián)邦訓(xùn)練任務(wù)能夠高效穩(wěn)定的運(yùn)行。
EFLS-Train 各核心模塊的主要功能如下：
數(shù)據(jù)協(xié)同：提供一套標(biāo)準(zhǔn)的聯(lián)邦Dataset接口，封裝主從雙方的數(shù)據(jù)讀取及協(xié)同邏輯，保證雙方訓(xùn)練樣本的一致性。通過(guò)記錄樣本讀取進(jìn)度，在發(fā)生錯(cuò)誤的情況下，訓(xùn)練任務(wù)能夠以最小的代價(jià)恢復(fù)到最近的狀態(tài)。
安全通信層：負(fù)責(zé)兩個(gè)聯(lián)邦計(jì)算方之間的通信，核心部分采用C++實(shí)現(xiàn)，通過(guò)gRPC的SSL接口保證了通信安全。
隱私加密模塊：同時(shí)支持對(duì)前向數(shù)據(jù)和后向梯度進(jìn)行加密保護(hù)，其中差分隱私加密方案允許用戶自定義加密程度，可以靈活的在安全和性能兩個(gè)方面進(jìn)行取舍
聯(lián)邦訓(xùn)練API：提供了類似Keras的高層API封裝，盡可能對(duì)用戶屏蔽了聯(lián)邦訓(xùn)練和普通訓(xùn)練的實(shí)現(xiàn)差異，讓用戶更容易上手使用。
聯(lián)邦算法創(chuàng)新
在外投廣告場(chǎng)景中，融合電商側(cè)和媒體側(cè)各自的特征優(yōu)勢(shì)，將媒體側(cè)學(xué)習(xí)到的用戶興趣引入到電商側(cè)模型中，可以充分發(fā)揮雙方特征優(yōu)勢(shì)來(lái)提升電商側(cè)模型預(yù)估效果。雙方的用戶原始數(shù)據(jù)出于保護(hù)用戶隱私的目的不能互傳。因此，在互不透出自身原始數(shù)據(jù)的情況下，我們希望利用媒體側(cè)學(xué)習(xí)到的特征表示來(lái)媒體側(cè)包含用戶豐富的媒體側(cè)特征，包括媒體興趣標(biāo)簽、轉(zhuǎn)發(fā)/點(diǎn)贊等社交行為，電商側(cè)包括用戶購(gòu)買興趣、電商行為等。如果能夠提升電商側(cè)模型預(yù)估能力，聯(lián)邦學(xué)習(xí)為這一訴求提供了解決方案，媒體側(cè)發(fā)送其模型學(xué)習(xí)到的能夠反映用戶在媒體側(cè)偏好的低維特征向量(而非原始特征)到電商側(cè)，電商側(cè)融合該特征向量后給出預(yù)估結(jié)果，并將梯度發(fā)送給媒體側(cè)來(lái)更新特征表示。在這個(gè)過(guò)程中，每一方僅擁有自身的用戶原始數(shù)據(jù)和模型參數(shù)，而不能獲取對(duì)方的信息。
我們將電商特征和媒體特征融合問(wèn)題定義為 Cross Domain 預(yù)估問(wèn)題。一種直接的方法是將媒體側(cè)發(fā)送過(guò)來(lái)的特征向量拼接到電商側(cè)特征向量的方式進(jìn)行整合，該方法顯然難以充分挖掘雙方特征的潛力。EFLS針對(duì)縱向聯(lián)邦場(chǎng)景，業(yè)內(nèi)首次開源了兩種算法模型，通過(guò)設(shè)計(jì)更高效的特征融合方法，充分發(fā)揮聯(lián)邦框架的算法能力。
基于水平聚合的聯(lián)邦學(xué)習(xí)方法： 傳統(tǒng)的縱向聯(lián)邦通常將媒體側(cè)和廣告主側(cè)特征簡(jiǎn)單進(jìn)行拼接，該方法難以充分挖掘雙方特征潛力。我們提出基于注意力機(jī)制的方法，將媒體側(cè)發(fā)送過(guò)來(lái)的特征向量與電商側(cè)模型的特征 進(jìn)行融合。注意力機(jī)制，是一種能讓模型對(duì)重要信息重點(diǎn)關(guān)注并充分學(xué)習(xí)吸收的方法。我們將電商側(cè)用戶、廣告、場(chǎng)景 Embedding ，與媒體側(cè)發(fā)送過(guò)來(lái)的特征向量通過(guò)多層感知機(jī)方式計(jì)算注意力權(quán)重，然后加權(quán)求和計(jì)算得到基于注意力的融合特征向量。通過(guò)上述水平融合方式，我們能夠直接令模型從 low-level 部分就開始吸收媒體特征，進(jìn)而充分融合來(lái)給出預(yù)估結(jié)果。
基于層次聚合的聯(lián)邦學(xué)習(xí)方法：為進(jìn)一步吸收媒體側(cè)模型的表征，我們提出基于層次表示自動(dòng)聚合的聯(lián)邦學(xué)習(xí)(AutoHERI)[7]方法。將媒體側(cè)特征向量層次化地聚合連接到電商側(cè)預(yù)估模型的中間層，以提升模型的特征學(xué)習(xí)能力。由于聚合連接的組合方式隨著網(wǎng)絡(luò)層數(shù)增長(zhǎng)而指數(shù)級(jí)增加，我們通過(guò)神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索技術(shù)，自動(dòng)搜索最優(yōu)的連接組合，使電商側(cè)模型學(xué)習(xí)到有效的特征聚合模式，整合不同域空間信息。通過(guò)高維空間融合方式，我們能夠從模型 high-level 部分自動(dòng)學(xué)習(xí)特征聚合，進(jìn)而通過(guò)利用更豐富的媒體側(cè)特征向量來(lái)給出更好的預(yù)估結(jié)果。
產(chǎn)品控制臺(tái)
聯(lián)邦學(xué)習(xí)過(guò)程中有多方參與，流程相對(duì)復(fù)雜，因此對(duì)隱私和權(quán)限管控要求較高，需要參與方頻繁協(xié)調(diào)。因此為了降低用戶使用成本，我們?cè)O(shè)計(jì)了一套聯(lián)邦學(xué)過(guò)程的抽象，在此基礎(chǔ)上開發(fā)了Web產(chǎn)品控制臺(tái)，支持使用者可視化地進(jìn)行用戶、任務(wù)、數(shù)據(jù)和權(quán)限的管控，提升聯(lián)邦學(xué)習(xí)樣本模型實(shí)驗(yàn)的迭代效率，縮短開發(fā)周期。
??未來(lái)規(guī)劃
接下來(lái) EFLS 計(jì)劃在系統(tǒng)功能方面支持可擴(kuò)展性更強(qiáng)的多方聯(lián)邦能力、自動(dòng)彈性伸縮能力以及面向高效隱私加密的性能優(yōu)化，同時(shí)在算法方面將考慮通過(guò)多方聯(lián)邦、聯(lián)邦圖學(xué)習(xí)等算法創(chuàng)新挖掘多場(chǎng)景異質(zhì)數(shù)據(jù)源中蘊(yùn)含的知識(shí)，并嘗試圖學(xué)習(xí)與加密算法高效融合的方法，確保在數(shù)據(jù)安全用戶隱私保護(hù)前提下，建立適用于搜推廣的召回、精排等模塊的預(yù)訓(xùn)練模型，探索研究針對(duì)樣本不足情況下，進(jìn)一步加強(qiáng)預(yù)訓(xùn)練階段對(duì)于外投廣告投放場(chǎng)景的感知能力。
附錄1：參考文獻(xiàn)
[1] McMahan H B, Moore E, Ramage D, et al. Communication-efficient learning of deep networks from decentralized data[C]// International Conference on Artificial Intelligence, 2017, 20(22): 1273-1282.
[2] Yang Q, Liu Y, Chen T, et al. Federated machine learning: Concept and applications[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2019, 10(2): 1-19.
[3] De Cristofaro E, Tsudik G. Practical Private Set Intersection Protocols with Linear Computational and Bandwidth Complexity[J]. IACR Cryptol. ePrint Arch., 2009, 2009: 491.
[4] flink官網(wǎng)：https://ci.apache.org/projects/flink/flink-docs-release-1.13/
[5] Kubernetes官網(wǎng)：https://kubernetes.io/docs/home/
[6] Dwork C. Differential privacy: A survey of results[C]// International Conference on Theory and Applications of Models of Computation. 2008: 1-19.
[7] Penghui Wei, Weimin Zhang, Zixuan Xu, Shaoguo Liu, Kuang-chih Lee, Bo Zheng. AutoHERI：Automated Hierarchical Representation Integration for Post-Click Conversion Rate Estimation. In Proc. of CIKM 2021 : The 30th ACM International Conference on Information and Knowledge Management. Virtual Event, QLD, Australia, November 1–5, 2021.
附錄2：術(shù)語(yǔ)釋義
ecpm：expected cost per mile，預(yù)估千次曝光成本
ecpc：expected cost per click，預(yù)估點(diǎn)擊成本
ctr: click through rate 點(diǎn)擊率
cvr：conversion rate 轉(zhuǎn)化率
bid：轉(zhuǎn)化出價(jià)
func：ocpx調(diào)價(jià)因子，調(diào)控廣告轉(zhuǎn)化成本
uid：加密的用戶id
adid：廣告id
instance_id：樣本唯一標(biāo)識(shí)
embedding：聯(lián)邦學(xué)習(xí)模型訓(xùn)練和交換的加密向量
關(guān)于我們
阿里媽媽算法工程團(tuán)隊(duì)?致力于打造面向搜推廣場(chǎng)景的業(yè)界領(lǐng)先的深度學(xué)習(xí)平臺(tái)，承擔(dān)著超大規(guī)模特征樣本工程、稀疏與多媒體模型訓(xùn)練及其高性能異構(gòu)計(jì)算加速、以及前沿算法領(lǐng)域全鏈路解決方案等關(guān)鍵職責(zé)。
歡迎有深度學(xué)習(xí)系統(tǒng)工程背景的同學(xué)加入。
阿里媽媽大外投廣告算法團(tuán)隊(duì)?是阿里集團(tuán)媒體推廣核心團(tuán)隊(duì)，依托于集團(tuán)龐大而真實(shí)的營(yíng)銷場(chǎng)景，以AI技術(shù)驅(qū)動(dòng)實(shí)現(xiàn)客戶商品營(yíng)銷，并承擔(dān)集團(tuán)App用戶增長(zhǎng)等業(yè)務(wù)需求。我們持續(xù)探索人工智能，聯(lián)邦學(xué)習(xí)，深度學(xué)習(xí)，強(qiáng)化學(xué)習(xí)，知識(shí)圖譜，圖學(xué)習(xí)等前沿技術(shù)在外投廣告和用增方面的落地應(yīng)用。在創(chuàng)造業(yè)務(wù)價(jià)值的同時(shí)，團(tuán)隊(duì)近1年也在CIKM、SIGIR、KDD等領(lǐng)域知名會(huì)議上發(fā)表過(guò)多篇論文，熱忱歡迎對(duì)廣告算法，推薦系統(tǒng)，NLP等方向感興趣的同學(xué)加入我們。
投遞簡(jiǎn)歷郵箱：alimama_tech@service.alibaba.com
END
歡迎關(guān)注「阿里媽媽技術(shù)」
瘋狂暗示↓↓↓↓↓↓↓
總結(jié)
以上是生活随笔為你收集整理的EFLS开源 | 阿里妈妈联邦学习解决方案详解的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 【阿里妈妈数据科学系列】第五篇：实验指标
- 下一篇： CurvLearn开源 | 阿里妈妈曲率