2015年有幸加入某大廠大數(shù)據(jù)項(xiàng)目，在此之前從沒有接觸過大數(shù)據(jù)這類高大上的技術(shù)，進(jìn)入大廠之后才發(fā)現(xiàn)，原來大廠在做研究項(xiàng)目，也就是商業(yè)化前的可行性論證，也只有大廠會(huì)花這么多人力、物力做這個(gè)。當(dāng)時(shí)物色了很多優(yōu)秀的人才，有海龜博士、國內(nèi)頂尖計(jì)算機(jī)專業(yè)碩士、資深大數(shù)據(jù)專家等等。但最終做了兩年不到，項(xiàng)目最終被解散，回過頭來總結(jié)經(jīng)驗(yàn)，雖然時(shí)間隔得有點(diǎn)遠(yuǎn)，但很有必要。

一、業(yè)務(wù)需求

空間更小，速度更快
當(dāng)時(shí)做這個(gè)項(xiàng)目的業(yè)務(wù)需求很簡單，就是“空間更小，速度更快”，據(jù)說當(dāng)時(shí)客戶都已經(jīng)找好了，農(nóng)行總行、騰訊都很看好我們這個(gè)項(xiàng)目，我們最終還帶著項(xiàng)目到農(nóng)行總行那邊去部署過，也算是很接近成功了，后來由于項(xiàng)目商業(yè)化立項(xiàng)沒通過，最終被并入公司另外一個(gè)商業(yè)化產(chǎn)品中。
其實(shí)進(jìn)入項(xiàng)目之后，第一個(gè)月完全不知所以然，項(xiàng)目的框架，hadoop、spark、mesos是什么，為什么要開發(fā)這么多項(xiàng)目，完全是霧里看花，等慢慢熟悉這個(gè)項(xiàng)目之后那是三個(gè)月后，我們有自己的第一個(gè)版本的項(xiàng)目出來，可以在自己的服務(wù)器上部署和使用了，雖然使用界面還不是特別友好，系統(tǒng)還有很多BUG，但是對(duì)技術(shù)和團(tuán)隊(duì)的信任，還是信心滿滿的一往直前。第一次迷茫的時(shí)候是進(jìn)項(xiàng)目六個(gè)月后，那個(gè)時(shí)候發(fā)現(xiàn)我們做的這個(gè)項(xiàng)目硬件依賴太強(qiáng)了，而且硬件項(xiàng)目的進(jìn)度一直延后，后來請(qǐng)美國的專家過來做了一段時(shí)間問題還是很多，軟件系統(tǒng)慢慢的逐步成型，但硬件系統(tǒng)始終有問題，項(xiàng)目出現(xiàn)分水嶺的時(shí)候是有一次跟中移動(dòng)去競(jìng)標(biāo)，當(dāng)時(shí)競(jìng)標(biāo)的結(jié)果是中標(biāo)了，硬件由于問題太多，短時(shí)間無法完全修復(fù)，最終還是流標(biāo)了。

項(xiàng)目卡死在散熱上
這個(gè)時(shí)候回過頭來梳理，軟件基于開源的基礎(chǔ)上去修修補(bǔ)補(bǔ)功能，雖然也遇到很多問題，但最后都被我們完全克服下來了。但硬件的傷卻無法短時(shí)間愈合，一直到項(xiàng)目終止的那一刻，還是有很多問題依然存在。當(dāng)時(shí)的業(yè)務(wù)需求是基于大數(shù)據(jù)技術(shù)（mesos+spark+zeppelin）提供一體機(jī)，把硬件加軟件的優(yōu)勢(shì)顯現(xiàn)出來，在設(shè)計(jì)硬件的時(shí)候把64個(gè)CPU放在一個(gè)1005030立方厘米的空間內(nèi)，散熱是個(gè)很大的問題，散熱問題會(huì)造成很多后期預(yù)想不到卻又無法定位到的問題，也許最終我們失敗的原因就在此。

二、總結(jié)

項(xiàng)目雖然終止了，但在這個(gè)項(xiàng)目過程中學(xué)習(xí)到的經(jīng)驗(yàn)終生難忘，能像該大廠這樣子投入做項(xiàng)目的很少，當(dāng)項(xiàng)目立項(xiàng)之后，各種資源和支持，我們當(dāng)時(shí)開發(fā)和測(cè)試的服務(wù)器都達(dá)到兩百多臺(tái)，內(nèi)存條按每臺(tái)服務(wù)器插滿24根算的話，我們保守估計(jì)使用到的內(nèi)存條兩千根，還有FPGA，固態(tài)硬盤等；但項(xiàng)目一旦沒通過立項(xiàng)，整個(gè)團(tuán)隊(duì)很快就完成人員分流、項(xiàng)目總結(jié)等等，執(zhí)行力很強(qiáng)。心態(tài)開放，虛心學(xué)習(xí)很重要。

這么優(yōu)秀的團(tuán)隊(duì)，能調(diào)動(dòng)這么多的資源，這么大力度的支持，最終項(xiàng)目還是沒完成，要想做成一件事有多難，就像要組裝一輛汽車需要擰100個(gè)螺絲，99個(gè)螺絲我們都擰好了，就是最后一個(gè)擰不上，車最后還是沒組裝好還是不能出廠；你要成功很難，100個(gè)螺絲都要擰好才行，缺一個(gè)都不行；但你要失敗太容易了，隨便一個(gè)螺絲沒擰好都能做到，所以做事我們要抱著敬畏的態(tài)度去做，擰好每件事的所有螺絲。

總結(jié)

以上是生活随笔為你收集整理的项目经验：某大厂大数据项目总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。