2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

從畢業(yè)到現(xiàn)在一年多里確實(shí)學(xué)到了很多東西，但是就是自己太懶了，應(yīng)該把學(xué)到的東西整理下來才對。所以決定從現(xiàn)在開始慢慢整理工作中學(xué)到的東西，既是鞏固和梳理，也希望能夠分享出來和大家一起交流。

那我先自己介紹下吧，我給自己的定位是數(shù)據(jù)開發(fā)工程師，兩份工作中做的都是數(shù)據(jù)開發(fā)相關(guān)的東西，我對這個(gè)領(lǐng)域比較看好，相信未來的發(fā)展會(huì)越來越好。

去年10月份換了工作，之前一家公司是做社交媒體分析的，其實(shí)就是做data feed的。由于公司后期人員變動(dòng)的關(guān)系，所以整個(gè)產(chǎn)品的后臺技術(shù)我都有涉及，總結(jié)下主要有幾個(gè)部分：

1.數(shù)據(jù)爬取。

最簡單的就是用Jsoup這樣的 html解析器，但是有時(shí)候需要拿一些js返回的結(jié)果，需要在網(wǎng)頁上執(zhí)行點(diǎn)擊這類的操作，那么就需要用自動(dòng)化測試中常用的工具PhantomJs，selenium。

2.數(shù)據(jù)分析

爬蟲都是實(shí)時(shí)的，那么爬取回來的數(shù)據(jù)需要一個(gè)streaming一個(gè)框架來處理，之前用到的是strom,但現(xiàn)在發(fā)現(xiàn) storm還是重了一點(diǎn)，如果公司考慮一直都在AWS上的話，可以考慮Amazon Kinesis,這個(gè)無論是開發(fā)維護(hù)的角度還是機(jī)器成本的角度來看，都是不錯(cuò)的選擇。

當(dāng)然部分?jǐn)?shù)據(jù)還是需要去做一些運(yùn)算。這部分主要是用spark。

中間件部分主要用了Redis。

3.REST

主要用了restlet+Spring

現(xiàn)在的公司

1.推薦引擎

研究過PredictionIO，感覺DASE這樣的架構(gòu)很不錯(cuò)，邏輯清晰，還有把算法包做成的模板，這樣更換很方便。但是 customzing方面就不太好，小改動(dòng)還好，改改模板什么的沒有問題，但是你要去在這個(gè)DASE這個(gè)架構(gòu)上做一些修改，那就比較麻煩了，這么說吧：雖然是opensource, 但畢竟人家還是要賺錢的嘛。

之后考慮了多方面因素之后，我們決定自己開發(fā)，當(dāng)然也借鑒了PredictionIO的一些思想，計(jì)算部分也同樣采用了Spark的MLLib，現(xiàn)在系統(tǒng)已經(jīng)完成了，我個(gè)人比較滿意。

2.Streaming Job

目前還在搭建一個(gè)BI平臺，需要收集和處理app端的用戶行為數(shù)據(jù)， 那么我們考慮用Kinesis，開發(fā)確實(shí)節(jié)省很多時(shí)間，性能也不錯(cuò)。

轉(zhuǎn)載于:https://my.oschina.net/u/1450520/blog/604315

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的开始写博客,毕业一年的收获的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。