分布式计算与机器学习
生活随笔
收集整理的這篇文章主要介紹了
分布式计算与机器学习
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
也算探索了幾個月吧,在給自己定位。
定位是,分布式系統(tǒng),機器學(xué)習(xí),自然語言處理,計算廣告,推薦。
這里的分布式不是指基礎(chǔ)計算平臺,比如分布式存儲之類的,而是指分布式計算。
公司不像實驗室可以給你一個高性能的巨型計算機,一個T的內(nèi)存,幾十個高性能CPU,在這個環(huán)境下,只需要像普通pc編寫程序即可。
公司有的是幾千臺普通電腦,用些電腦實現(xiàn)分布式計算。而這里的分布式有兩種形式,一種是hadoop類似的,但是這種方式比較簡單,無法實現(xiàn)復(fù)雜的算法,具體的說,就是每個計算任務(wù)最好都沒有交互。另外一種就是基于mpi,實現(xiàn)復(fù)雜,但是適合復(fù)雜模型的訓(xùn)練。
對于互聯(lián)網(wǎng)公司最賺錢的就是廣告點擊率預(yù)測,是一個邏輯斯特模型。
在公司中,一般是用hadoop處理數(shù)據(jù),比如特征抽取,mpi實現(xiàn)模型訓(xùn)練
總結(jié)
以上是生活随笔為你收集整理的分布式计算与机器学习的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: cookie mapping
- 下一篇: string 传参