2015年有幸加入某大廠大數據項目，在此之前從沒有接觸過大數據這類高大上的技術，進入大廠之后才發現，原來大廠在做研究項目，也就是商業化前的可行性論證，也只有大廠會花這么多人力、物力做這個。當時物色了很多優秀的人才，有海龜博士、國內頂尖計算機專業碩士、資深大數據專家等等。但最終做了兩年不到，項目最終被解散，回過頭來總結經驗，雖然時間隔得有點遠，但很有必要。

一、業務需求

空間更小，速度更快
當時做這個項目的業務需求很簡單，就是“空間更小，速度更快”，據說當時客戶都已經找好了，農行總行、騰訊都很看好我們這個項目，我們最終還帶著項目到農行總行那邊去部署過，也算是很接近成功了，后來由于項目商業化立項沒通過，最終被并入公司另外一個商業化產品中。
其實進入項目之后，第一個月完全不知所以然，項目的框架，hadoop、spark、mesos是什么，為什么要開發這么多項目，完全是霧里看花，等慢慢熟悉這個項目之后那是三個月后，我們有自己的第一個版本的項目出來，可以在自己的服務器上部署和使用了，雖然使用界面還不是特別友好，系統還有很多BUG，但是對技術和團隊的信任，還是信心滿滿的一往直前。第一次迷茫的時候是進項目六個月后，那個時候發現我們做的這個項目硬件依賴太強了，而且硬件項目的進度一直延后，后來請美國的專家過來做了一段時間問題還是很多，軟件系統慢慢的逐步成型，但硬件系統始終有問題，項目出現分水嶺的時候是有一次跟中移動去競標，當時競標的結果是中標了，硬件由于問題太多，短時間無法完全修復，最終還是流標了。

項目卡死在散熱上
這個時候回過頭來梳理，軟件基于開源的基礎上去修修補補功能，雖然也遇到很多問題，但最后都被我們完全克服下來了。但硬件的傷卻無法短時間愈合，一直到項目終止的那一刻，還是有很多問題依然存在。當時的業務需求是基于大數據技術（mesos+spark+zeppelin）提供一體機，把硬件加軟件的優勢顯現出來，在設計硬件的時候把64個CPU放在一個1005030立方厘米的空間內，散熱是個很大的問題，散熱問題會造成很多后期預想不到卻又無法定位到的問題，也許最終我們失敗的原因就在此。

二、總結

項目雖然終止了，但在這個項目過程中學習到的經驗終生難忘，能像該大廠這樣子投入做項目的很少，當項目立項之后，各種資源和支持，我們當時開發和測試的服務器都達到兩百多臺，內存條按每臺服務器插滿24根算的話，我們保守估計使用到的內存條兩千根，還有FPGA，固態硬盤等；但項目一旦沒通過立項，整個團隊很快就完成人員分流、項目總結等等，執行力很強。心態開放，虛心學習很重要。

這么優秀的團隊，能調動這么多的資源，這么大力度的支持，最終項目還是沒完成，要想做成一件事有多難，就像要組裝一輛汽車需要擰100個螺絲，99個螺絲我們都擰好了，就是最后一個擰不上，車最后還是沒組裝好還是不能出廠；你要成功很難，100個螺絲都要擰好才行，缺一個都不行；但你要失敗太容易了，隨便一個螺絲沒擰好都能做到，所以做事我們要抱著敬畏的態度去做，擰好每件事的所有螺絲。

總結

以上是生活随笔為你收集整理的项目经验：某大厂大数据项目总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。