點擊上方 "大數據肌肉猿"關注,?星標一起成長

后臺回復【加群】，進入高質量學習交流群

2021年大數據肌肉猿公眾號獎勵制度

今天分享學習經歷的是一位學習群的小伙伴，他畢業之后做過微商、服務員、銷售、外賣小哥等，后面去培訓機構培訓運維，最后轉的大數據開發。薪資也從最開始的4K，到現在的年薪40W。

部分offer

一、不堪回首的奮斗往事

2016年6月從湖南某二本文科專業畢業之后在老家做了半年的微商

2017年2月南下深圳，先是做過維也納酒店的前臺服務員，貸款中介公司的電話銷售，自如友家的服務管家，后來還去跑過美團外賣，以及在樂凱撒餐廳做過披薩，在這一年多的時間里，平均月收入只有4K。

2018年9月參加某機構線下Python培訓半年。

2019年3月入職深圳某A公司從事Python運維工作，月薪9.7K。

2020年1月離職在家自學大數據，在此非常感謝@無精瘋 峰哥當時的耐心指導和幫忙規劃學習路線，三個月后成功轉型大數據，入職深圳某B公司從事數據倉庫開發工作，月薪17K。

2020年10月離職后入職深圳某C公司從事大數據開發工作，月薪21K

2021年4月經峰哥再次指導，成功入職深圳某世界500強企業，擔任高級大數據工程師職位，月薪27K，總包40W。

二、大數據轉型時期的學習路線

第一階段：學完第一階段就可以開始找數據倉庫開發相關的崗位了（市場上40%的崗位可以投了）

1、Java基礎：JavaSE

2、SQL課程：MySQL【重點】

3、Linux基礎

4、Hadoop框架：HDFS、MapReduce、Yarn【重點】

5、Hive【重點】

6、HBase

7、輔助框架：Flume、Sqoop、Azkaban

8、大數據項目實戰（一）：基于Hive的離線數倉項目【重點中的重點】

第二階段：學完第二階段就可以找大數據開發相關的崗位了（市場上75%的崗位都可以投了）

1、Scala基礎

2、Spark框架：SparkSQL、SparkStreaming【重點】

3、Kafka消息隊列

4、大數據項目實戰（二）：基于Spark的實時+數倉項目【重點中的重點】

第三階段：學完第三階段就可以找所有和數據開發相關的崗位了（市場上90%的崗位都可以投了）

1、Flink【重點】

2、Redis

3、大數據一些其它的輔助框架（Kylin、Druid、Presto、Impala、ClickHouse等）

4、大數據項目實戰（三）：基于Flink的實時ETL和數倉項目【重點中的重點】

第四階段：（進一線互聯網大廠必備的技能）

1、計算機基礎和數據結構算法

2、Java底層和部分框架源碼

三、企業面試真題

1、請詳細描述下hive中shuffle的優化？

2、hive在集群過程中怎么解決數據傾斜？

3、hive導致數據傾斜的可能性(哪些操作會導致)-->分桶 join key 分布不均勻的大量空值導致如何解決？

4、悲觀鎖和樂觀鎖的區別以及CAS樂觀鎖怎么實現，或者有哪些其他方式？

5、編程的設計模式舉例一下，用過哪些，什么場景下使用的？

6、你對實時計算這塊的理解是怎么樣的？

7、Sparkstreaming突然斷掉了怎么辦？怎么保證數據消費至少一次和精確一次？

8、Sparkstreaming消費kafka數據怎么手動維護offset ？Offset保存到什么數據庫？處理的順序是什么？以及程序剛上線第一次從kafka消費這是怎樣的流程？

9、Spark解決了哪些問題讓你很有成就感？

10、Spark發生了數據傾斜你會怎么做？

11、Sparkstreaming的背壓機制，除了設置背壓參數為true之外還需要做什么？

12、Spark性能調優？

13、跑spark作業的時候，給到executor的個數是10個，每個executor的核數是2個，請問跑這個作業時并行度設置為多大比較合適？

14、這么做是為了避免shuffle操作，shuffle為什么會存在數據傾斜？

15、為什么會有shuffle的存在？shuffle操作的意義又是什么？

16、Java中的ArrayList的底層數據結構？LinkedList？

17、創建一個ArrayList里面的空間有多大？

18、讓你設計一個容器類，比如ArrayList，你怎么去實現？

19、HashMap的數據結構是什么？為什么要這么設計？

20、數組和鏈表的區別是什么？

21、你們每天需要同步的數據量有多大？

22、Druid的工作原理？

23、每天集群的數據增量有多大？

24、業務數據量有多大？每日訂單量有多少？

25、各大數據組件在各機器上是怎么分配的？

26、離線和實時分別是怎么分層設計的？

27、維表數據的加載和更新？

28、生產環境中Kafka要增加topic分區的時候怎么操作？

29、數倉中每層用的數據存儲格式分別是什么？

30、Hive中兩個大表進行join的時候有什么優化方法？

31、JVM的垃圾回收器有哪些？你們用的哪種？

32、項目架構流程圖：手畫+講解

33、Druid和Kylin做一個技術選型你會考慮哪些因素？

34、現有一個n*m的方格，每個格子里有一個100以內的隨機數字，現在需要從方格的最左上角走到最右下角，只能往下和往右走，如何計算出數字之和最大的一條路線？

35、流處理：用戶如果在10s內，同時連續輸入同樣一句話超過5次，就認為是惡意刷屏，請您寫出檢測刷屏用戶的代碼？

四、總結

在大學畢業之后，我花了足足3年的時間僅僅才實現月薪從4K到9.7K，而后面僅僅花了3個月的時間就實現了月薪從9.7K到17K，以及最近1年的時間已經實現從17K到27K，對此，我最想說的四句話就是：

1、選擇大于努力，知識改變命運；

2、找準自己的賽道，然后努力奔跑，做到足夠自律，在這個過程中你可能會很痛苦，但是不要輕言放棄；

3、想獲得更快速的成功，還得需要高人的指點和貴人的相助；

4、越努力，越幸運！

--end--

掃描下方二維碼添加好友，備注【交流】 可私聊交流，也可進資源豐富學習群更文不易，點個“在看”支持一下????

總結

以上是生活随笔為你收集整理的从酒店服务员到世界500强大数据工程师，月薪4K到年薪40W，我经历了什么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。