感悟:微博深度学习平台架构和实践
TensorFlow、Caffe和MXNet是三大主流的深度學習開源框架:TensorFlow的優勢是社區最活躍,開源算法和模型最豐富;Caffe則是經典的圖形領域框架,使用簡單,在科研領域占有重要地位;MXNet在分布式性能上表現優異。PaddlePaddle、鯤鵬、Angel則是百度、阿里、騰訊分別推出的分布式計算框架。
?
騰訊深度學習平臺DI-X
?
騰訊深度學習平臺DI-X于2017年3月發布。DI-X基于騰訊云的大數據存儲與處理能力來提供一站式的機器學習和深度學習服務。DI-X支持TensorFlow、Caffe以及Torch等三大深度學習框架,主要基于騰訊云的GPU計算平臺。DI-X的設計理念是打造一個一站式的機器學習平臺,集開發、調試、訓練、預測、部署于一體, 讓算法科學家和數據科學家,無須關注機器學習(尤其是深度學習)的底層工程繁瑣的細節和資源,專注于模型和算法調優。
?
DI-X在騰訊內部使用了一年,其主要用于游戲流失率預測、用戶標簽傳播以及廣告點擊行為預測等。
?
阿里機器學習平臺PAI
?
阿里機器學習平臺PAI1.0于2015年發布,包括數據處理以及基礎的回歸、分類、聚類算法。阿里機器學習平臺PAI2.0于2017年3月發布,配備了更豐富的算法庫、更大規模的數據訓練和全面兼容開源的平臺化產品。深度學習是阿里機器學習平臺PAI2.0的重要功能,支持TensorFlow、Caffe、MXNet框架,這些框架與開源接口兼容。在數據源方面,PAI2.0支持非結構化、結構化等各種數據源;在計算資源方面,支持CPU、GPU、FPGA等異構計算資源;在工作流方面,支持模型訓練和預測一體化。?
?
PAI已經在阿里巴巴內部使用了2年。基于該平臺,在淘寶搜索中,搜索結果會基于商品和用戶的特征進行排序。
?
百度深度學習平臺
?
百度深度學習平臺是一個面向海量數據的深度學習平臺,基于PaddlePaddle和TensorFlow開源計算框架,支持GPU運算,為深度學習技術的研發和應用提供可靠性高、擴展靈活的云端托管服務。通過百度深度學習平臺,不僅可以輕松訓練神經網絡,實現情感分析、機器翻譯、圖像識別,也可以利用百度云的存儲和虛擬化產品直接將模型部署至應用環境。
微博深度學習平臺是微博機器學習平臺的重要組成部分,除繼承微博機器學習平臺的特性和功能以外,支持TensorFlow、Caffe等多種主流深度學習框架,支持GPU等高性能計算集群。微博深度學習平臺架構如圖1所示。(引用)
?
轉載于:https://www.cnblogs.com/xiaohaigege666/p/10519614.html
總結
以上是生活随笔為你收集整理的感悟:微博深度学习平台架构和实践的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: SpringBoot三招组合拳,手把手教
- 下一篇: 深度学习网络调试技巧