聯(lián)邦學(xué)習(xí)的體系我們在前期介紹過，這里我們簡單回顧一下縱向聯(lián)邦學(xué)習(xí)的定義：在兩個數(shù)據(jù)集的用戶重疊較多而用戶特征重疊較少的情況下，將數(shù)據(jù)集按照縱向 (即特征維度)切分，并取出雙方用戶相同而用戶特征不完全相同的那部分數(shù)據(jù)進行訓(xùn)練。這種方法叫做縱向聯(lián)邦學(xué)習(xí)。縱向聯(lián)邦學(xué)習(xí)就是將這些不同特征在加密的狀態(tài)下加以聚合，以增強模型能力的聯(lián)邦學(xué)習(xí)。目前，邏輯回歸模型，樹型結(jié)構(gòu)模型和神經(jīng)網(wǎng)絡(luò)模型等眾多機器學(xué)習(xí)模型已經(jīng)逐漸被證實能夠建立在這個聯(lián)邦學(xué)習(xí)體系上，本期我們詳細介紹一下聯(lián)邦學(xué)習(xí)中的邏輯回歸算法模型。邏輯回歸算法是這樣的一個過程：面對一個回歸或者分類問題，建立代價函數(shù)，然后通過優(yōu)化方法迭代求解出最優(yōu)的模型參數(shù)，然后測試驗證我們這個求解的模型的好壞。Logistic回歸雖然名字里帶“回歸”，但是它實際上是一種分類方法，主要用于兩分類問題(即輸出只有兩種，分別代表兩個類別)。Logistic方法主要應(yīng)用于研究某些事件發(fā)生的概率。因此，邏輯回歸模型是一種分類模型。現(xiàn)假設(shè)有一個二分類問題，輸出為y=0或者1，而線性回歸模型z=w^Tx+b是個實數(shù)值，因此我們希望有一個理想的階躍函數(shù)來巧妙實現(xiàn)z值到0/1值的轉(zhuǎn)化，機器學(xué)習(xí)經(jīng)常使用Sigmoid函數(shù)來實現(xiàn)這個目的：y’=1/1+e^-z。邏輯回歸的優(yōu)缺點有哪些？優(yōu)點：1)速度快，適合二分類問題；2)簡單易于理解，直接看到各個特征的權(quán)重；3)能容易地更新模型吸收新的數(shù)據(jù)。缺點：對數(shù)據(jù)和場景的適應(yīng)能力有局限性，不如決策樹算法適應(yīng)性那么強。聯(lián)邦學(xué)習(xí)體系的邏輯回歸模型有很多解決方案。如：FATE的方案是建立在第三方的基礎(chǔ)上，如下圖所示：

百度提出的方案雖然避免了第三方，但是經(jīng)過我們的論證，也存在數(shù)據(jù)/信息泄露問題。神譜科技的方案在設(shè)計當初就注意規(guī)避了第三方，而且有效解決了數(shù)據(jù)/信息泄露問題，這套方案是神譜科技自主創(chuàng)新并完成研發(fā)的去中心化的安全邏輯回歸算法，稱為：SeceumLR安全邏輯回歸算法，簡要說明如下圖所示。我們對SeceumLR算法進行了嚴格安全論證，確保不會泄露參與各方的隱私數(shù)據(jù)/信息。

上面是本期介紹聯(lián)邦學(xué)習(xí)體系下的邏輯回歸模型，方案中涉及的密碼學(xué)技術(shù)有很多，其中最重要的技術(shù)是安全多方計算(Secure Multi-Party Computation-SMPC/MPC)，下期我們主要介紹安全多方計算。

總結(jié)

以上是生活随笔為你收集整理的逻辑回归模型_联邦学习体系下——逻辑回归模型的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。