Angle和XBGoost以及Spark的性能对比
性能優勢
新版本的Angel,添加了諸多新功能,最終的目的,就是讓算法工程師能更加從容地進行算法優化,融入更多的算法的Trick,讓算法的性能,得到了一個飛躍的提升。
相關性能的細節數據,在Github的各個算法介紹文檔都可以看到,歡迎點擊文末“閱讀原文”移步GitHub。
1.GBDT
眾所周知,XGBoost的強項之一,就是GBDT算法,性能飛快,使用簡單,在眾多算法比賽中,是選手們的最愛。盡管如此,Angel的GBDT算法,卻還是超越了它,這是一個非常不錯的性能背書。
-
性能比較
-
數據:騰訊內部某性別預測數據集,3.3×10^5 特征,1.2×10^8 樣本
-
詳細文檔:GBDT on Angel
2.LDA
眾所周知,LDA是一個非常消耗資源的主題模型算法,新一代的Angel,在LDA上的性能,不但超越了Spark,也已經超越了之前開源過的Petuum。(由于Petuum已經不開源多時,所以比對數據,這里就不再貼出了)
-
數據:PubMED
-
詳細文檔:?LDA on Angel
3.GD-LR
LR是廣告推薦中廣泛應用的一個算法,Angel分別提供了利用Gradient Descent、ADMM兩種優化方法計算的LR算法。這兩種算法,無論是耗費的資源,還是性能、收斂速度,都遠比原生的Spark實現優越。
-
GD-LR
-
數據:?騰訊內部某推薦數據,5×10^7 特征,8×10^7 樣本
-
詳細文檔:?LR on Angel
-
ADMM-LR
-
數據:騰訊內部某推薦數據,5千萬特征,1億樣本
總結
以上是生活随笔為你收集整理的Angle和XBGoost以及Spark的性能对比的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 推荐Android开源网络请求库OkGo
- 下一篇: Jupyter notebook imp