點(diǎn)擊上方 "大數(shù)據(jù)肌肉猿"關(guān)注,?星標(biāo)一起成長(zhǎng)

后臺(tái)回復(fù)【加群】，進(jìn)入高質(zhì)量學(xué)習(xí)交流群

2021年大數(shù)據(jù)肌肉猿公眾號(hào)獎(jiǎng)勵(lì)制度

今天分享學(xué)習(xí)經(jīng)歷的是一位學(xué)習(xí)群的小伙伴，他畢業(yè)之后做過微商、服務(wù)員、銷售、外賣小哥等，后面去培訓(xùn)機(jī)構(gòu)培訓(xùn)運(yùn)維，最后轉(zhuǎn)的大數(shù)據(jù)開發(fā)。薪資也從最開始的4K，到現(xiàn)在的年薪40W。

部分offer

一、不堪回首的奮斗往事

2016年6月從湖南某二本文科專業(yè)畢業(yè)之后在老家做了半年的微商

2017年2月南下深圳，先是做過維也納酒店的前臺(tái)服務(wù)員，貸款中介公司的電話銷售，自如友家的服務(wù)管家，后來還去跑過美團(tuán)外賣，以及在樂凱撒餐廳做過披薩，在這一年多的時(shí)間里，平均月收入只有4K。

2018年9月參加某機(jī)構(gòu)線下Python培訓(xùn)半年。

2019年3月入職深圳某A公司從事Python運(yùn)維工作，月薪9.7K。

2020年1月離職在家自學(xué)大數(shù)據(jù)，在此非常感謝@無精瘋 峰哥當(dāng)時(shí)的耐心指導(dǎo)和幫忙規(guī)劃學(xué)習(xí)路線，三個(gè)月后成功轉(zhuǎn)型大數(shù)據(jù)，入職深圳某B公司從事數(shù)據(jù)倉庫開發(fā)工作，月薪17K。

2020年10月離職后入職深圳某C公司從事大數(shù)據(jù)開發(fā)工作，月薪21K

2021年4月經(jīng)峰哥再次指導(dǎo)，成功入職深圳某世界500強(qiáng)企業(yè)，擔(dān)任高級(jí)大數(shù)據(jù)工程師職位，月薪27K，總包40W。

二、大數(shù)據(jù)轉(zhuǎn)型時(shí)期的學(xué)習(xí)路線

第一階段：學(xué)完第一階段就可以開始找數(shù)據(jù)倉庫開發(fā)相關(guān)的崗位了（市場(chǎng)上40%的崗位可以投了）

1、Java基礎(chǔ)：JavaSE

2、SQL課程：MySQL【重點(diǎn)】

3、Linux基礎(chǔ)

4、Hadoop框架：HDFS、MapReduce、Yarn【重點(diǎn)】

5、Hive【重點(diǎn)】

6、HBase

7、輔助框架：Flume、Sqoop、Azkaban

8、大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)（一）：基于Hive的離線數(shù)倉項(xiàng)目【重點(diǎn)中的重點(diǎn)】

第二階段：學(xué)完第二階段就可以找大數(shù)據(jù)開發(fā)相關(guān)的崗位了（市場(chǎng)上75%的崗位都可以投了）

1、Scala基礎(chǔ)

2、Spark框架：SparkSQL、SparkStreaming【重點(diǎn)】

3、Kafka消息隊(duì)列

4、大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)（二）：基于Spark的實(shí)時(shí)+數(shù)倉項(xiàng)目【重點(diǎn)中的重點(diǎn)】

第三階段：學(xué)完第三階段就可以找所有和數(shù)據(jù)開發(fā)相關(guān)的崗位了（市場(chǎng)上90%的崗位都可以投了）

1、Flink【重點(diǎn)】

2、Redis

3、大數(shù)據(jù)一些其它的輔助框架（Kylin、Druid、Presto、Impala、ClickHouse等）

4、大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)（三）：基于Flink的實(shí)時(shí)ETL和數(shù)倉項(xiàng)目【重點(diǎn)中的重點(diǎn)】

第四階段：（進(jìn)一線互聯(lián)網(wǎng)大廠必備的技能）

1、計(jì)算機(jī)基礎(chǔ)和數(shù)據(jù)結(jié)構(gòu)算法

2、Java底層和部分框架源碼

三、企業(yè)面試真題

1、請(qǐng)?jiān)敿?xì)描述下hive中shuffle的優(yōu)化？

2、hive在集群過程中怎么解決數(shù)據(jù)傾斜？

3、hive導(dǎo)致數(shù)據(jù)傾斜的可能性(哪些操作會(huì)導(dǎo)致)-->分桶 join key 分布不均勻的大量空值導(dǎo)致如何解決？

4、悲觀鎖和樂觀鎖的區(qū)別以及CAS樂觀鎖怎么實(shí)現(xiàn)，或者有哪些其他方式？

5、編程的設(shè)計(jì)模式舉例一下，用過哪些，什么場(chǎng)景下使用的？

6、你對(duì)實(shí)時(shí)計(jì)算這塊的理解是怎么樣的？

7、Sparkstreaming突然斷掉了怎么辦？怎么保證數(shù)據(jù)消費(fèi)至少一次和精確一次？

8、Sparkstreaming消費(fèi)kafka數(shù)據(jù)怎么手動(dòng)維護(hù)offset ？Offset保存到什么數(shù)據(jù)庫？處理的順序是什么？以及程序剛上線第一次從kafka消費(fèi)這是怎樣的流程？

9、Spark解決了哪些問題讓你很有成就感？

10、Spark發(fā)生了數(shù)據(jù)傾斜你會(huì)怎么做？

11、Sparkstreaming的背壓機(jī)制，除了設(shè)置背壓參數(shù)為true之外還需要做什么？

12、Spark性能調(diào)優(yōu)？

13、跑spark作業(yè)的時(shí)候，給到executor的個(gè)數(shù)是10個(gè)，每個(gè)executor的核數(shù)是2個(gè)，請(qǐng)問跑這個(gè)作業(yè)時(shí)并行度設(shè)置為多大比較合適？

14、這么做是為了避免shuffle操作，shuffle為什么會(huì)存在數(shù)據(jù)傾斜？

15、為什么會(huì)有shuffle的存在？shuffle操作的意義又是什么？

16、Java中的ArrayList的底層數(shù)據(jù)結(jié)構(gòu)？LinkedList？

17、創(chuàng)建一個(gè)ArrayList里面的空間有多大？

18、讓你設(shè)計(jì)一個(gè)容器類，比如ArrayList，你怎么去實(shí)現(xiàn)？

19、HashMap的數(shù)據(jù)結(jié)構(gòu)是什么？為什么要這么設(shè)計(jì)？

20、數(shù)組和鏈表的區(qū)別是什么？

21、你們每天需要同步的數(shù)據(jù)量有多大？

22、Druid的工作原理？

23、每天集群的數(shù)據(jù)增量有多大？

24、業(yè)務(wù)數(shù)據(jù)量有多大？每日訂單量有多少？

25、各大數(shù)據(jù)組件在各機(jī)器上是怎么分配的？

26、離線和實(shí)時(shí)分別是怎么分層設(shè)計(jì)的？

27、維表數(shù)據(jù)的加載和更新？

28、生產(chǎn)環(huán)境中Kafka要增加topic分區(qū)的時(shí)候怎么操作？

29、數(shù)倉中每層用的數(shù)據(jù)存儲(chǔ)格式分別是什么？

30、Hive中兩個(gè)大表進(jìn)行join的時(shí)候有什么優(yōu)化方法？

31、JVM的垃圾回收器有哪些？你們用的哪種？

32、項(xiàng)目架構(gòu)流程圖：手畫+講解

33、Druid和Kylin做一個(gè)技術(shù)選型你會(huì)考慮哪些因素？

34、現(xiàn)有一個(gè)n*m的方格，每個(gè)格子里有一個(gè)100以內(nèi)的隨機(jī)數(shù)字，現(xiàn)在需要從方格的最左上角走到最右下角，只能往下和往右走，如何計(jì)算出數(shù)字之和最大的一條路線？

35、流處理：用戶如果在10s內(nèi)，同時(shí)連續(xù)輸入同樣一句話超過5次，就認(rèn)為是惡意刷屏，請(qǐng)您寫出檢測(cè)刷屏用戶的代碼？

四、總結(jié)

在大學(xué)畢業(yè)之后，我花了足足3年的時(shí)間僅僅才實(shí)現(xiàn)月薪從4K到9.7K，而后面僅僅花了3個(gè)月的時(shí)間就實(shí)現(xiàn)了月薪從9.7K到17K，以及最近1年的時(shí)間已經(jīng)實(shí)現(xiàn)從17K到27K，對(duì)此，我最想說的四句話就是：

1、選擇大于努力，知識(shí)改變命運(yùn)；

2、找準(zhǔn)自己的賽道，然后努力奔跑，做到足夠自律，在這個(gè)過程中你可能會(huì)很痛苦，但是不要輕言放棄；

3、想獲得更快速的成功，還得需要高人的指點(diǎn)和貴人的相助；

4、越努力，越幸運(yùn)！

--end--

掃描下方二維碼添加好友，備注【交流】 可私聊交流，也可進(jìn)資源豐富學(xué)習(xí)群更文不易，點(diǎn)個(gè)“在看”支持一下????

總結(jié)

以上是生活随笔為你收集整理的从酒店服务员到世界500强大数据工程师，月薪4K到年薪40W，我经历了什么？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。