Angle和XBGoost以及Spark的性能对比
性能優(yōu)勢
新版本的Angel,添加了諸多新功能,最終的目的,就是讓算法工程師能更加從容地進(jìn)行算法優(yōu)化,融入更多的算法的Trick,讓算法的性能,得到了一個(gè)飛躍的提升。
相關(guān)性能的細(xì)節(jié)數(shù)據(jù),在Github的各個(gè)算法介紹文檔都可以看到,歡迎點(diǎn)擊文末“閱讀原文”移步GitHub。
1.GBDT
眾所周知,XGBoost的強(qiáng)項(xiàng)之一,就是GBDT算法,性能飛快,使用簡單,在眾多算法比賽中,是選手們的最愛。盡管如此,Angel的GBDT算法,卻還是超越了它,這是一個(gè)非常不錯(cuò)的性能背書。
-
性能比較
-
數(shù)據(jù):騰訊內(nèi)部某性別預(yù)測數(shù)據(jù)集,3.3×10^5 特征,1.2×10^8 樣本
-
詳細(xì)文檔:GBDT on Angel
2.LDA
眾所周知,LDA是一個(gè)非常消耗資源的主題模型算法,新一代的Angel,在LDA上的性能,不但超越了Spark,也已經(jīng)超越了之前開源過的Petuum。(由于Petuum已經(jīng)不開源多時(shí),所以比對數(shù)據(jù),這里就不再貼出了)
-
數(shù)據(jù):PubMED
-
詳細(xì)文檔:?LDA on Angel
3.GD-LR
LR是廣告推薦中廣泛應(yīng)用的一個(gè)算法,Angel分別提供了利用Gradient Descent、ADMM兩種優(yōu)化方法計(jì)算的LR算法。這兩種算法,無論是耗費(fèi)的資源,還是性能、收斂速度,都遠(yuǎn)比原生的Spark實(shí)現(xiàn)優(yōu)越。
-
GD-LR
-
數(shù)據(jù):?騰訊內(nèi)部某推薦數(shù)據(jù),5×10^7 特征,8×10^7 樣本
-
詳細(xì)文檔:?LR on Angel
-
ADMM-LR
-
數(shù)據(jù):騰訊內(nèi)部某推薦數(shù)據(jù),5千萬特征,1億樣本
總結(jié)
以上是生活随笔為你收集整理的Angle和XBGoost以及Spark的性能对比的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 推荐Android开源网络请求库OkGo
- 下一篇: Jupyter notebook imp