大数据入门学习框架
文章目錄
大數據入門學習框架
前言
一、大數據基礎
二、大數據必學Java基礎
三、ZooKeeper
四、大數據環境搭建
五、Hadoop
六、Hive
七、HBase
八、Kafka
九、Scala
十、Spark
十一、Flink
十二、核心面試題
最后要重塑認知
窮困一生的五個毛病
大數據入門學習框架
前言
利用框架的力量，看懂游戲規則，才是入行的前提
大多數人不懂，不會，不做，才是你的機會，你得行動，不能畏首畏尾
選擇才是拉差距關鍵，風向，比你流的汗水重要一萬倍，逆風劃船要累死人的
為什么選擇學習大數據開發，不選擇Java開發？
借棋弈做比喻，智商高的不要選擇五子琪，要選擇圍棋，它能長久地吸引你。
不都是在棋盤上一顆黑子一顆白子地下嗎?因為圍棋更復雜，能夠掌握如此復雜的技藝、產生穩定輸出的棋手、讓我們更佩服。選擇學習大數據開發也如此，能讓你的職業生涯走得更遠，少走彎路。
還有一點就是現在大數據等于趨勢，一個向上趨勢的行業會讓你賺得比其他行業多。
上面這些看似沒用，但又至關重要，這里我就不在強調作用，有興趣的同學可以看看我的大數據學習探討話題：
學習框架的重要性
我是怎么堅持學習的???????
怎么確定學習目標
這個欄目為初學者全面整理入門的大數據必學知識，內容是按照體系劃分的，集合190多篇高質量文章帶你認識大數據，掌握入門的規則。
只要跟著順序去學，把里面的體系知識掌握了，你才能真正的入門大數據，前提得自律加堅持，趕快行動吧。
一、大數據基礎
1、大數據概念
2、大數據的特點（5v）
3、大數據應用場景
4、大數據業務分析基本步驟
5、分布式技術
二、大數據必學Java基礎
注意：這是另外的付費欄目，一般學習大數據的，默認你都是有Java和Python等語言的基礎，需要你提前學好基礎語言的知識。這里Java語言基礎最為重要，所以單獨寫了一個Java的基礎知識欄目給沒有Java基礎的同學優先學習，如果你本身就有獨立Java開發能力，可以跳過這一塊內容。
欄目地址：https://blog.csdn.net/xiaoweite1/category_11894631.html
三、ZooKeeper
1、ZooKeeper基本知識
2、ZooKeeper集群搭建
3、Zookeeper數據模型和節點類型
4、ZooKeeper的shell操作
5、ZooKeeper Java API操作
6、ZooKeeper選舉機制
四、大數據環境搭建
1、Hadoop編譯
2、分布式環境搭建
五、Hadoop
1、Hadoop介紹
2、Hadoop發展簡史和特性優點
3、Hadoop國內外應用
4、Hadoop發行版公司
5、Hadoop架構
6、Hadoop集群搭建
7、HDFS分布式文件系統簡介
8、HDFS的Shell命令行使用
9、HDFS的高級使用命令
10、HDFS的數據讀寫流程
11、HDFS的元數據輔助管理
12、HDFS的API操作
13、HDFS其他功能
14、HDFS的高可用機制
15、Hadoop的聯邦機制 Federation
16、MapReduce計算模型介紹
17、MapReduce編程規范及示例編寫
18、MapReduce程序運行模式和深入解析
19、MapReduce分區
20、MapReduce的排序和序列化
21、MapReuce的Combineer
22、MapReduce的自定義分組
23、MapReduce的運行機制詳解
24、MapReduce高階訓練
25、YARN通俗介紹和基本架構
26、YARN三大組件介紹
27、YARN運行流程
28、YARN的調度器Scheduler
29、關于YARN常用參數設置
30、Hadoop3.x的介紹
六、Hive
1、Hive基本概念
2、Hive的三種安裝模式和MySQL搭配使用
3、Hive數據庫和表操作
4、Hive查詢語法
5、Hive的內置函數
6、Hive的表生成函數
7、Hive的開窗函數
8、Hive自定義函數
9、Hive的數據壓縮
10、Hive的數據存儲格式
11、Hive調優
12、Hive綜合案例
13、手撕這十道HiveSQL題吊打面試官
七、HBase
1、HBase基本簡介
2、HBase集群安裝操作
3、HBase數據模型
4、HBase的相關操作-客戶端命令式
5、HBase的相關操作JavaAPI方式
6、HBase的高可用
7、Hbase的架構
8、Apache Phoenix的基本介紹
9、Apache Phoenix的安裝
10、Apache Phoenix的基本入門操作
11、Apache Phoenix的視圖操作
12、Apache Phoenix 二級索引
13、HBase讀取和存儲數據的流程
14、HBase的原理及其相關的工作機制
15、HBase的Bulk Load批量加載操作
16、HBase的協處理器(Coprocessor)
17、HBase全面調優
18、使用HBase的陌陌案例
八、Kafka
1、消息隊列和Kafka的基本介紹
2、Kafka特點總結和架構
3、Kafka的集群搭建以及shell啟動命令腳本編寫
4、kafka的shell命令使用
5、Kafka的java API編寫
6、安裝Kafka-Eagle
7、Kafka的分片和副本機制
8、Kafka如何保證數據不丟失
9、kafka消息存儲及查詢機制原理
10、kafka生產者數據分發策略
11、Kafka的消費者負載均衡機制和數據積壓問題
12、Kafka配額限速機制
九、Scala
注意：這是另外的付費欄目，工作上如果需要用到可以學一下。
欄目地址：大數據必學語言Scala
十、Spark
1、框架概述
2、四大特點
3、框架模塊初步了解
4、三種常見的運行模式
5、環境搭建本地模式 Local
6、環境搭建集群模式 Standalone
7、應用架構基本了解
8、環境搭建集群模式 Standalone HA
9、Spark On Yarn兩種模式總結
10、環境搭建集群模式 Spark on YARN
11、應用開發基于IDEA集成環境
12、Spark Core的RDD詳解
13、Spark Core的RDD創建
14、Spark Core的RDD操作
15、Spark Core的RDD常用算子
16、Spark Core的RDD算子練習
17、Spark Core的RDD持久化
18、Spark Core的RDD Checkpoint
19、Spark Core的共享變量
20、Spark Core外部數據源引入
21、Spark Core案例-SogouQ日志分析
22、內核原理
23、SparkSQL 概述
24、SparkSQL數據抽象
25、SparkSQL的RDD、DF、DS相關操作
26、SparkSQL數據處理分析
27、SparkSQL案例花式查詢和WordCount
28、SparkSQL案例三電影評分數據分析
29、SparkSQL案例四開窗函數
30、SparkSQL自定義UDF函數
31、Spark On Hive
32、SparkSQL的External DataSource
33、SparkSQL分布式SQL引擎
34、Spark Streaming概述
35、SparkStreaming數據抽象 DStream
36、SparkStreaming實戰案例一 WordCount
37、SparkStreaming實戰案例二 UpdateStateByKey
38、SparkStreaming實戰案例三 狀態恢復 擴展
39、SparkStreaming實戰案例四 窗口函數
40、SparkStreaming實戰案例五 TopN-transform
41、SparkStreaming實戰案例六 自定義輸出 foreachRDD
42、SparkStreaming的Kafka快速回顧與整合說明
43、SparkStreaming整合Kafka 0.10 開發使用
44、Structured Streaming概述
45、Structured Streaming Sources 輸入源
46、Structured Streaming Operations 操作
47、Structured Streaming Sink 輸出
48、Structured Streaming 輸出終端/位置
49、Structured Streaming 整合 Kafka
50、Structured Streaming 案例一實時數據ETL架構
51、Structured Streaming 物聯網設備數據分析
52、Structured Streaming 事件時間窗口分析
53、Structured Streaming Deduplication
54、擴展閱讀 SparkSQL底層如何執行
55、Spark的關鍵技術回顧
十一、Flink
1、乘風破浪的Flink-Flink概述
2、Flink用武之地
3、Flink安裝部署 Local本地模式
4、Standalone獨立集群模式
5、Standalone-HA高可用集群模式
6、Flink On Yarn模式
7、參數總結
8、Flink入門案例
9、Flink原理初探
10、流處理相關概念
11、流批一體API Source
12、流批一體API Transformation
13、流批一體API Sink
14、流批一體API Connectors JDBC
15、流批一體API Connectors Kafka
16、流批一體API Connectors Redis
17、Flink四大基石
18、Flink Window操作
19、案例一 基于時間的滾動和滑動窗口
20、案例二 基于數量的滾動和滑動窗口
21、案例三 會話窗口
22、Time與Watermaker
23、Watermaker案例演示
24、Allowed Lateness案例演示
25、Flink 狀態管理
26、???????State代碼示例
27、Flink 容錯機制 Checkpoint
28、Flink 容錯機制 自動重啟策略和恢復
29、Flink 容錯機制 Savepoint
30、Flink ???????Table API & SQL 介紹
31、Table與SQL案例準備 依賴和???????程序結構
32、Table與SQL案例準備 API
33、???????Table與SQL相關概念
34、???????Table與SQL ??????案例一
35、???????Table與SQL ??????案例二
36、???????Table與SQL ??????案例三
37、???????Table與SQL ??????案例四
38、???????Table與SQL ??????案例五 FlinkSQL整合Hive
39、???????Table與SQL ??????總結 Flink-SQL常用算子
40、???????Flink模擬雙十一實時大屏統計
41、???????Flink實現訂單自動好評
42、???????BroadcastState
43、擴展閱讀 關于并行度
44、??????擴展閱讀 End-to-End Exactly-Once
45、??????擴展閱讀 雙流Join
46、擴展閱讀 異步IO
47、擴展閱讀 File Sink
48、擴展閱讀 Streaming File Sink
十二、核心面試題
1、HDFS核心高頻面試題
2、Hadoop的聯邦機制核心高頻面試題
持續更新中。。。
最后要重塑認知
窮困一生的五個毛病
第一個毛病，急功近利
經常有人問看哪幾本書可以改變人生，答案是看哪幾本都不行，人生不是由幾本書決定的，也不是由幾個人決定的，它是幾十本書甚至幾百本構建出來的一個體系，是需要逐漸地嘗試、逐漸地摸索、逐漸地碰壁，最后總結出一套適合自己的方法論。
第二個毛病，線性規劃
很多人的人生是線性的，他們特別喜歡規劃，恨不得一直規劃到85歲。
但凡你多了解這個世界，就知道任何細致末節的規劃都是沒有用的。因為真實的世界是充滿變數的，有的是十年磨一劍，而九年卻看不到任何變化。有的是你拼盡全力準備，卻根本等不來決戰的機會。有的是你費盡心機算對每一個細節，一抬頭，卻錯過了未來的風口。
規劃源于確定，確定源于習慣，習慣源于讀書時候的潛移默化。
60年前還沒有家用電腦，50年前還沒有網絡，40年前還沒有Java語言，30年前還沒有智能手機，20年前還沒有大數據，哪一個在你的規劃之內呢？
第三個毛病，自我視角
所有的角度都是自己：我怎么怎么樣，我做了什么什么，我學這個為什么還是沒掌握，主語永遠都是我。他們從來不會切換視角，從來不研究學這到底要做什么，這個知識最為主要的是什么，滿腦子都想著怎么提高技能。
你得換位思考，學這個知識為了就業，那你就有應付面試官的能力，掌握高頻的面試知識點。
進入公司得做項目，所以你需要提高自己的項目實戰能力，基于不同的業務場景做練習。而不是對各種知識細致末節的都要學，最終都沒掌握好。
第四個毛病，追求免費
真正的知識一定是很貴很貴的，絕對不是你買一本書就能學得到的，也絕對不是你看一些免費的東西就可以到手的。
任何一本數據庫架構的書，都不超過100塊錢，為什么一個頂級的架構工程師，可以年薪千萬？
這其中的原因是真正的知識才是拉開距離的關鍵。能讓你花錢買到，就已經很不錯了。
世界是要等價交換的，你想得到一個最珍貴的東西，就得拿自己最珍貴的東西去換，絕對不是交9.9塊錢的費用學了半個月就能成頂級架構師，幻想財務自由。
這個世界上最貴的東西就是“免費”，那些能拿錢去計算的，明碼標價讓你覺得貴的，才是信息成本最低、最便宜的方式。
第五個毛病，不懂放棄
有些人這個也想要，那個也想要，這個也舍不得，那個也舍不得，永遠處在猶豫的狀態當中。
找一個公司，既想待遇高，又想福利好、加班少、還要專業對口，還得有發展前景，能再給點期權就更好，這樣的結果就是永遠找不到合適的行業。
世界上沒有完美，就算你考到700分，清華和北大也只能選一個，永遠要為了一個更重要的，放棄不那么重要的。
成功很難，但是失敗很容易，五個毛病，照做就行。
- 📢博客主頁：https://lansonli.blog.csdn.net
- 📢歡迎點贊 👍 收藏 ?留言 📝 如有錯誤敬請指正！
- 📢本文由 Lansonli 原創，首發于 CSDN博客🙉
- 📢停下休息的時候不要忘了別人還在奔跑，希望大家抓緊時間學習，全力奔赴更美好的生活?
總結
- 上一篇： 提升职加薪的标准话术与禁忌
- 下一篇： 硅谷外卖安装axios报错