机器学习研究与开发平台的选择
目前機器學(xué)習(xí)可以說是百花齊放階段,不過如果要學(xué)習(xí)或者研究機器學(xué)習(xí),進而用到生產(chǎn)環(huán)境,對平臺,開發(fā)語言,機器學(xué)習(xí)庫的選擇就要費一番腦筋了。這里就我自己的機器學(xué)習(xí)經(jīng)驗做一個建議,僅供參考。
首先,對于平臺選擇的第一個問題是,你是要用于生產(chǎn)環(huán)境,也就是具體的產(chǎn)品中,還是僅僅是做研究學(xué)習(xí)用?
1. 生產(chǎn)環(huán)境中機器學(xué)習(xí)平臺的搭建
如果平臺是要用于生產(chǎn)環(huán)境的話,接著有一個問題,就是對產(chǎn)品需要分析的數(shù)據(jù)量的估計,如果數(shù)據(jù)量很大,那么需要選擇一個大數(shù)據(jù)平臺。否則的話只需要一個單機版的平臺就可以了。
1.1 生產(chǎn)環(huán)境中機器學(xué)習(xí)大數(shù)據(jù)平臺的搭建
生產(chǎn)環(huán)境里面大數(shù)據(jù)平臺,目前最主流的就是Spark平臺,加上輔助的分布式數(shù)據(jù)處理容器,比如YARN,或者Mesos.如果需要實時的收集在線數(shù)據(jù),那么就加上Kafka。簡言之,一個通用的大數(shù)據(jù)處理平臺就是集成Spark + YARN(Mesos) + Kafka. 我現(xiàn)在做的產(chǎn)品項目都是基于Spark + YARN+ Kafka的,目前來看,這個平臺選擇基本上是主流的方向。
當然,有人會說,這么多開源軟件,一起集成起來好麻煩,大坑肯定不少,有沒有一個通用的平臺,可以包括類似Spark + YARN+ Kafka的大數(shù)據(jù)平臺功能呢?目前據(jù)我所知,做的比較好的有CDAP(http://cdap.io)。它對Spark, YARN, Kafka還有一些主流的開源數(shù)據(jù)處理軟件進行了集成,開發(fā)者只需要在它上面封裝的一層API上做二次開發(fā)就可以了。這應(yīng)該是一個不錯的點子,不過目前還沒有看到商用的成功案例
《新程序員》:云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結(jié)
以上是生活随笔為你收集整理的机器学习研究与开发平台的选择的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 机器学习中的矩阵向量求导(四) 矩阵向量
- 下一篇: 日志和告警数据挖掘经验谈