圆桌会回顾 | SecureBoost：挑战千万级别样本训练之性能提升篇
【私信獲取圓桌會(huì)視頻】
5月26日，FATE開源社區(qū)第九期圓桌會(huì)圓滿落幕。本次圓桌會(huì)，微眾陳偉敬為我們分享了SecureBoost：挑戰(zhàn)千萬(wàn)級(jí)別樣本訓(xùn)練之性能提升篇。
接下來(lái)帶大家回顧經(jīng)典問答環(huán)節(jié)，為新老朋友答疑解惑。
?
問答環(huán)節(jié)
?
● Q1：
想問下fast-sbt在不同數(shù)據(jù)上和hetero-sbt對(duì)比？
● A1：
以fast sbt的mix模式為例，mix模式下，一代用guest的特征建樹，一代用host的特征建樹，以此往復(fù)，這樣很像是跑hetero-sbt時(shí)對(duì)特征做一個(gè)列采樣。我們?cè)趲追輼永龜?shù)據(jù)上測(cè)試fast-sbt，最終達(dá)到的效果是差不多的，但是fast-sbt它可能會(huì)需要多跑一些代數(shù)，最終才能達(dá)到hetero-sbt的效果。
● Q2：
為什么沒有使用lightGBM的優(yōu)化呢，Xgboost只是lifewise，leafwise ?
● A2：
Xgboost是層優(yōu)先的，layer-wise，是一層一層的構(gòu)建的，lightgbm的是leafwise，lightgbm用到的goss, 直方圖相減FATE-1.6都是用到了的。
● Q3：
1.7的升級(jí)會(huì)在架構(gòu)上和1.6有很大差別嗎？還是側(cè)重于訓(xùn)練過程優(yōu)化？
● A3：
4月圓桌我們有對(duì)1.7進(jìn)行展望，有興趣可以去回顧（文末有鏈接），1.7fate-flow等會(huì)拆分，架構(gòu)會(huì)有比較大的變動(dòng)。
● Q4：
想問下sbt安全性問題，目前像mix模式, host方的完整樹結(jié)構(gòu)是需要發(fā)給guest，這會(huì)不會(huì)有一定安全性問題。
● A4：
mix模式，host樹結(jié)構(gòu)是不會(huì)發(fā)給guest的。
● Q5：
有沒有考慮實(shí)現(xiàn)密文下比大小的操作？這樣host就不需要回傳分裂點(diǎn)給guest。
● A5：
是在host做分裂點(diǎn)收益比較嗎？目前在同態(tài)加密的情況下，在host沒有辦法計(jì)算出分裂點(diǎn)收益，所以也就沒辦法進(jìn)行比較了。
● Q6：
用eggroll來(lái)做的計(jì)算框架，用單機(jī)standalone的時(shí)候，按照我的CPU的核數(shù)來(lái)分配的，就是單機(jī)的，后來(lái)我變成集群模式的時(shí)候，也是相當(dāng)于核數(shù)有幾臺(tái)就擴(kuò)充了幾臺(tái)，總核數(shù)都利用上，但是在效果上發(fā)現(xiàn)訓(xùn)練時(shí)長(zhǎng)甚至比原來(lái)單機(jī)的時(shí)間還要長(zhǎng)，不知道有沒有這方面的一個(gè)排查問題的思路？
● A6：
配置里面會(huì)有一些并發(fā)參數(shù)，有兩個(gè)參數(shù)，一個(gè)是 computing_partition: 數(shù)據(jù)的分塊，分了幾個(gè)partition；還有一個(gè)是task_cores：并行的時(shí)候，用上多少個(gè)核，如果沒有配上的話，確實(shí)有可能是跑得比較慢的，另外一個(gè)情況是集群模式下有調(diào)度和網(wǎng)絡(luò)傳輸開銷。
● Q7：
（接上一個(gè)問題）這兩個(gè)參數(shù)都是有配置的，而且配置了48，和我們的核數(shù)符合。
● A7：
在運(yùn)行Hetero-SBT的時(shí)候，我們這邊也碰到一種情況，partition越大的時(shí)候，寫出的時(shí)候，每個(gè)partition就會(huì)涉及一個(gè)加密直方圖寫出的過程，這個(gè)過程每個(gè)partition根據(jù)key將結(jié)果分發(fā)到不同的nodemanager上，這是一個(gè)shuffle的過程。那么這種情況下涉及IO開銷和調(diào)度開銷。所以當(dāng)你數(shù)據(jù)量不是很大，計(jì)算已經(jīng)很快了，那增大partition可能會(huì)導(dǎo)致其他方面有出現(xiàn)瓶頸。
● Q8：
（接上一個(gè)問題）所以其實(shí)有的時(shí)候是需要去減少分區(qū)數(shù)量？
● A8：
是的，數(shù)據(jù)量比較小，或者計(jì)算性能提升到極致后，會(huì)導(dǎo)致有其他瓶頸的情況出現(xiàn)。
● Q9：
（接上一個(gè)問題）所以你建議的一個(gè)優(yōu)化的方案就是說(shuō)適當(dāng)去減小分區(qū)數(shù)嗎？
● A9：
理論上來(lái)說(shuō)計(jì)算和IO調(diào)度等消耗是有一個(gè)平衡點(diǎn)的，并不是無(wú)限的增大資源，就一定會(huì)提升速度。
?
以下為本次圓桌會(huì)的部分內(nèi)容介紹，添加小助手可獲取詳細(xì)資料：
?
?
?
?
?
?
?
?
?
?
?
以上就是本次圓桌會(huì)互動(dòng)環(huán)節(jié)內(nèi)容。
想報(bào)名參與下一期的圓桌會(huì)？
或者對(duì)以上內(nèi)容還有疑問，
私信獲取協(xié)助。
總結(jié)
以上是生活随笔為你收集整理的圆桌会回顾 | SecureBoost：挑战千万级别样本训练之性能提升篇的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
