大数据学习之路
????????這個(gè)系列是大數(shù)據(jù)相關(guān)知識(shí)，大致包含以下方面，第一個(gè)階段是linux和高并發(fā)基本知識(shí)；第二個(gè)是hadoop體系的離線(xiàn)計(jì)算；第三個(gè)階段是spark體系的分布式計(jì)算；第四個(gè)階段是Flink流處理計(jì)算相關(guān)知識(shí)；第五階段是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘相關(guān)部分
0.寫(xiě)在前面
淺談數(shù)據(jù)相關(guān)工作及其技術(shù)棧、崗位特點(diǎn)和核心競(jìng)爭(zhēng)力https://blank.blog.csdn.net/article/details/108195911
阿里云DataWorks數(shù)據(jù)集成（DataX）架構(gòu)&實(shí)踐分享https://blank.blog.csdn.net/article/details/120550724
1.linux和高并發(fā)基本知識(shí)
1.1 linux操作系統(tǒng)
1.1.1 linux和高并發(fā)-linux操作系統(tǒng)-linux虛擬機(jī)的安裝
1.1.2 linux和高并發(fā)-linux操作系統(tǒng)-linux網(wǎng)絡(luò)配置
1.1.3 linux和高并發(fā)-linux操作系統(tǒng)-linux簡(jiǎn)單命令學(xué)習(xí)
1.1.4 linux和高并發(fā)-linux操作系統(tǒng)-linux文件系統(tǒng)
1.2 linux基本命令
1.2.1 linux和高并發(fā)-linux基本命令-linux文件系統(tǒng)命令
1.2.2 linux和高并發(fā)-linux基本命令-vi全屏文本編輯器
1.2.3 linux和高并發(fā)-linux基本命令-正則表達(dá)式
1.2.4 linux和高并發(fā)-linux基本命令-文本分析
1.2.5 linux和高并發(fā)-linux基本命令-linux用戶(hù)與權(quán)限
1.2.6 linux和高并發(fā)-linux基本命令-linux環(huán)境變量配置說(shuō)明
1.3 linux軟件安裝
1.3.1 linux和高并發(fā)-linux軟件安裝-linux編譯安裝
1.3.2 linux和高并發(fā)-linux軟件安裝-rpm軟件安裝
1.3.3 linux和高并發(fā)-linux軟件安裝-yum安裝及配置
1.4 shell編程
1.4.1 linux和高并發(fā)-shell編程-bash
1.4.2 linux和高并發(fā)-shell編程-文本流及重定向
1.4.3 linux和高并發(fā)-shell編程-變量
1.4.4 linux和高并發(fā)-shell編程-引用和邏輯判斷
1.4.5 linux和高并發(fā)-shell編程-表達(dá)式（算術(shù)表達(dá)式+條件表達(dá)式）
1.4.6 linux和高并發(fā)-shell編程-添加用戶(hù)腳本
1.4.7 linux和高并發(fā)-shell編程-流程控制
1.4.8 linux和高并發(fā)-shell編程-shell腳本編程總結(jié)
1.4.9 linux和高并發(fā)-shell編程-shell分發(fā)腳本
1.4.10 linux和高并發(fā)-shell編程-Zookeeper啟動(dòng)腳本（啟動(dòng)，停止，查看狀態(tài)）
1.4.11 linux和高并發(fā)-shell編程-查看集群進(jìn)程腳本
1.4.12 linux和高并發(fā)-shell編程-ha-hadoop腳本編寫(xiě)
1.5 網(wǎng)絡(luò)基礎(chǔ)知識(shí)
1.5.1 linux和高并發(fā)-網(wǎng)絡(luò)基礎(chǔ)知識(shí)-高并發(fā)與負(fù)載均衡之理論
1.5.2 linux和高并發(fā)-網(wǎng)絡(luò)基礎(chǔ)知識(shí)-網(wǎng)絡(luò)TCP/IP基礎(chǔ)知識(shí)
1.6 lvs集群和高并發(fā)
1.6.1 linux和高并發(fā)-lvs集群和高并發(fā)-lvs中3種模型推導(dǎo)
1.6.2 linux和高并發(fā)-lvs集群和高并發(fā)-lvs功能配置介紹
1.6.3 linux和高并發(fā)-lvs集群和高并發(fā)-lvs中DR模型實(shí)驗(yàn)
1.7 nginx集群和高并發(fā)
1.7.1 linux和高并發(fā)-nginx集群和高并發(fā)-反向代理概念
1.7.2 linux和高并發(fā)-nginx集群和高并發(fā)-Nginx的安裝和配置
1.7.3 linux和高并發(fā)-nginx集群和高并發(fā)-Nginx反向代理和負(fù)載均衡實(shí)戰(zhàn)
1.8 keepalived和單點(diǎn)故障
1.8.1 linux和高并發(fā)-keepalived和單點(diǎn)故障-keepalived概念
1.8.2 linux和高并發(fā)-keepalived和單點(diǎn)故障-keepalived安裝和實(shí)驗(yàn)
2.hadoop體系之離線(xiàn)計(jì)算
2.1 hdfs分布式文件系統(tǒng)
2.1.0 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-基本環(huán)境配置
2.1.1 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-hadoop簡(jiǎn)介
2.1.2 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-存儲(chǔ)模型（hdfs分布式存儲(chǔ)系統(tǒng)）
2.1.3 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-副本機(jī)制+node工作機(jī)制+HDFS文件讀寫(xiě)過(guò)程
2.1.4 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-架構(gòu)模型
2.1.5 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-偽分布式安裝
2.1.6 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-全分布式安裝
2.1.6 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-全分布式安裝（2）
2.1.6 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-全分布式安裝hadoop2.7.7（3）
2.1.7 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-hdfs命令行使用和API操作
2.1.8 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-HA(高可用)-Hadoop集群環(huán)境搭建
2.1.9 hadoop體系之離線(xiàn)計(jì)算-hdfs分布式文件系統(tǒng)-Hadoop數(shù)據(jù)壓縮
2.2 mapreduce分布式計(jì)算
2.2.1 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-mapreduce架構(gòu)概念
2.2.2 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-WordCount案例
2.2.3 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-MapReduce分區(qū)
2.2.4 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-MapReduce序列化和排序
2.2.5 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-MapReduce中的計(jì)數(shù)器
2.2.6 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-規(guī)約Combiner
2.2.7 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-流量統(tǒng)計(jì)之統(tǒng)計(jì)求和
2.2.8 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-流量統(tǒng)計(jì)之上行流量倒序排序（遞減排序）
2.2.9 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-流量統(tǒng)計(jì)之手機(jī)號(hào)碼分區(qū)
2.2.10 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-MapReduce運(yùn)行機(jī)制總結(jié)
2.2.11 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-案例：Reduce端實(shí)現(xiàn)Join
2.2.12 hadoop體系之離線(xiàn)計(jì)算-mapreduce分布式計(jì)算-hadoop常見(jiàn)問(wèn)題總結(jié)（hdfs+yarn+mapreduce）
2.3 Hive-數(shù)據(jù)倉(cāng)庫(kù)工具
2.3.1 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-什么是數(shù)據(jù)倉(cāng)庫(kù)？
2.3.2 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-Hive基本概念和架構(gòu)分析
2.3.3 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-Hive的安裝和交互方式
2.3.3 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-Hive的安裝和交互方式(2)
2.3.4 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-Hive數(shù)據(jù)庫(kù)操作
2.3.5 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-Hive表操作
2.3.6 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-Hive查詢(xún)語(yǔ)法
2.3.7 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-Hive函數(shù)
2.3.8 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-Hive常見(jiàn)問(wèn)題總結(jié)
2.3.9 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-hql實(shí)現(xiàn)wordcount操作
2.3.10 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-MaxCompute SQL調(diào)優(yōu)
2.3.11 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-MaxCompute SQL多維聚合求PV和UV
2.3.12 hadoop體系之離線(xiàn)計(jì)算-Hive數(shù)據(jù)倉(cāng)庫(kù)-HIVE的嚴(yán)格模式
2.8 Hbase（列存儲(chǔ)數(shù)據(jù)庫(kù)）-NoSQL數(shù)據(jù)庫(kù)
2.8.1 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase簡(jiǎn)介
2.8.2 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase安裝和配置
2.8.3 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase Shell操作
2.8.4 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase java_api操作
2.8.5 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase高級(jí)-詳細(xì)架構(gòu)
2.8.6 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase高級(jí)-HBase寫(xiě)流程
2.8.7 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase高級(jí)-HBase-數(shù)據(jù)Flush過(guò)程
2.8.8 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase高級(jí)-HBase讀流程
2.8.9 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase高級(jí)-HBase-StoreFile Compaction合并流程
2.8.10 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase高級(jí)-HBase-Region Split拆分
2.8.11 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase高級(jí)-HBase利用MapReduce
2.8.12 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase高級(jí)-HBase與Hive交互
2.8.13 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase的優(yōu)化
2.8.14 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-HBase常見(jiàn)問(wèn)題總結(jié)
2.8.15 hadoop體系之離線(xiàn)計(jì)算-HBase數(shù)據(jù)庫(kù)-項(xiàng)目實(shí)戰(zhàn)：微博
2.4?Zookeeper-分布式服務(wù)框架
2.4.1 hadoop體系之離線(xiàn)計(jì)算-Zookeeper分布式服務(wù)框架-初識(shí)ZooKeeper
2.4.2 hadoop體系之離線(xiàn)計(jì)算-Zookeeper分布式服務(wù)框架-單機(jī)環(huán)境和集群環(huán)境搭建
2.4.3 hadoop體系之離線(xiàn)計(jì)算-Zookeeper分布式服務(wù)框架-解釋Zookeeper的選舉機(jī)制
3.spark體系之分布式計(jì)算
3.1?scala分布式計(jì)算機(jī)開(kāi)發(fā)語(yǔ)言
3.1.1 spark體系之分布式計(jì)算-scala編程-scala介紹和安裝（win+linux）
3.1.2 spark體系之分布式計(jì)算-scala編程-scala基礎(chǔ)
3.1.3 spark體系之分布式計(jì)算-scala編程-scala函數(shù)
3.1.4 spark體系之分布式計(jì)算-scala編程-scala字符串
3.1.5 spark體系之分布式計(jì)算-scala編程-scala中的集合（數(shù)組array、list、set、map、元組）
3.1.6 spark體系之分布式計(jì)算-scala編程-scala中trait特性
3.1.7 spark體系之分布式計(jì)算-scala編程-scala中模式匹配match
3.2?spark-core之離線(xiàn)計(jì)算
3.2.1 spark體系之分布式計(jì)算-spark-core之離線(xiàn)計(jì)算-初識(shí)Spark
3.2.2 spark體系之分布式計(jì)算-spark-core之離線(xiàn)計(jì)算-Spark-Local模式環(huán)境搭建
3.2.3 spark體系之分布式計(jì)算-spark-core之離線(xiàn)計(jì)算-Spark-Standalone普通模式+HA模式
3.2.4 spark體系之分布式計(jì)算-spark-core之離線(xiàn)計(jì)算-計(jì)算WordCount（java版【eclipse】+scala版本【IDEA】）
3.2.5 spark體系之分布式計(jì)算-spark-core之離線(xiàn)計(jì)算-HA-Spark集群環(huán)境搭建(Yarn模式)
3.3?spark-sql
3.4?spark-stream流式計(jì)算
3.5?STORM流式框架
4.Flink-流處理框架
4.1 Flink基礎(chǔ)知識(shí)
4.1.1?Flink-流處理框架-Flink簡(jiǎn)介
4.1.2 Flink-流處理框架-wordCount的批處理和流處理
4.1.3?Flink-流處理框架-Flink-Local模式環(huán)境搭建
4.1.4?Flink-流處理框架-Flink集群環(huán)境搭建(Standalone模式)
4.1.5?Flink-流處理框架-HA-Flink集群環(huán)境搭建(Standalone模式)
4.1.6?Flink-流處理框架-HA-Flink集群環(huán)境搭建(Yarn模式)
4.1.7 Flink-流處理框架-Flink On Yarn三種部署方式
4.1.8?Flink-流處理框架-Flink運(yùn)行架構(gòu)
4.1.9?Flink-流處理框架-Flink流處理API之Environment
4.1.10?Flink-流處理框架-Flink流處理API之Source數(shù)據(jù)源
4.1.11?Flink-流處理框架-Flink流處理API之Transform轉(zhuǎn)換算子
4.1.12?Flink-流處理框架-Flink流處理API之支持的數(shù)據(jù)類(lèi)型總結(jié)
4.1.13?Flink-流處理框架-Flink流處理API之實(shí)現(xiàn) UDF 函數(shù)（更細(xì)粒度的控制流）
4.1.14 Flink-流處理框架-Flink流處理API之?dāng)?shù)據(jù)重分區(qū)操作
4.1.15 Flink-流處理框架-Flink流處理API之sink輸出操作
4.1.16 Flink-流處理框架-Window API之Windows概述
4.1.17 Flink-流處理框架-Window API之窗口分配器
4.1.18 Flink-流處理框架-Window API之窗口函數(shù)window function
4.1.19 Flink-流處理框架-Flink中的時(shí)間語(yǔ)義和watermark水位線(xiàn)
4.1.20 Flink-流處理框架-ProcessFunction API（底層 API）
4.1.21?Flink-流處理框架-Flink中的狀態(tài)管理之算子狀態(tài)+鍵控狀態(tài)
4.1.22?Flink-流處理框架-Flink中的狀態(tài)管理之狀態(tài)編程-溫度跳變報(bào)警
4.1.23 Flink-流處理框架-Flink中的狀態(tài)管理之狀態(tài)后端
4.1.24 Flink-流處理框架-Flink中的容錯(cuò)機(jī)制之狀態(tài)一致性級(jí)別和端到端的狀態(tài)一致性
4.1.25 Flink-流處理框架-Flink中的容錯(cuò)機(jī)制之Flink+Kafka 端到端狀態(tài)一致性的保證
4.1.26?Flink-流處理框架-Flink中的容錯(cuò)機(jī)制之檢查點(diǎn)（checkpoint）
4.1.27 Flink-流處理框架-檢查點(diǎn)恢復(fù)+flink檢查點(diǎn)算法+保存點(diǎn)
4.1.28 Flink-流處理框架-Flink使用Lambda表達(dá)式引發(fā)了泛型擦除問(wèn)題
4.2 Table API 和 Flink SQL
4.2.1 Flink-流處理框架-Table API 與 SQL-基本概念和簡(jiǎn)單實(shí)例程序
4.2.2 Flink-流處理框架-Table API 與 SQL-基本程序結(jié)構(gòu)（創(chuàng)建表環(huán)境+在 Catalog 中注冊(cè)表）
4.2.3 Flink-流處理框架-Table API 與 SQL-流轉(zhuǎn)表+表轉(zhuǎn)流+創(chuàng)建臨時(shí)視圖（Temporary View）
4.2.4 Flink-流處理框架-Table API 與 SQL-表的查詢(xún)
4.2.5 Flink-流處理框架-Table API 與 SQL-表的輸出
4.2.6 Flink-流處理框架-Table API 與 SQL-查看表的執(zhí)行計(jì)劃
4.2.7 Flink-流處理框架-Table API 與 SQL-流處理中的特殊概念之動(dòng)態(tài)表+持續(xù)查詢(xún)
4.2.8 Flink-流處理框架-Table API 與 SQL-流處理中的特殊概念之時(shí)間特性
4.2.9 Flink-流處理框架-Table API 與 SQL-流處理中的特殊概念之窗口（Windows）
4.2.10 Flink-流處理框架-Table API 與 SQL-函數(shù)（Functions）之內(nèi)置函數(shù)
4.2.11 Flink-流處理框架-Table API 與 SQL-函數(shù)（Functions）之用戶(hù)自定義函數(shù) UDF
4.3?Flink CDC數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步
4.3.1 Flink-流處理框架-Flink CDC數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步-何為CDC？
4.3.2 Flink-流處理框架-Flink CDC數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步-何為Flink CDC？
4.3.3 Flink-流處理框架-Flink CDC數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步-Flink CDC實(shí)操-DataStream方式
4.3.4 Flink-流處理框架-Flink CDC數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步-Flink CDC實(shí)操-DataStream方式-自定義反序列化器實(shí)現(xiàn)
4.3.5 Flink-流處理框架-Flink CDC數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)同步-Flink CDC實(shí)操-FlinkSQL方式
4.4 Flink實(shí)踐
4.4.1?
5.數(shù)據(jù)庫(kù)相關(guān)
5.1?NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）
5.1.1 NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-NoSQL概述
5.1.2?NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-Redis介紹和安裝
5.1.3 NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-五大數(shù)據(jù)類(lèi)型
5.1.4 NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-三種特殊數(shù)據(jù)類(lèi)型
5.1.5 NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-Redis中的事務(wù)操作和監(jiān)控
5.1.6 NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-基礎(chǔ)API之Jedis 詳解
5.1.7?NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-SpringBoot整合Redis
5.1.8 NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-Redis配置詳解
5.1.9 NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-Redis持久化
5.1.10?NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-Redis實(shí)現(xiàn)發(fā)布訂閱
5.1.11 NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-Redis主從復(fù)制
5.1.12?NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-Redis哨兵模式
5.1.13?NoSQL數(shù)據(jù)庫(kù)-Redis（鍵值key-value）-Redis緩存穿透、緩存擊穿、緩存雪崩
6.消息隊(duì)列相關(guān)
6.1?kafka分布式消息隊(duì)列
6.1.1 kafka分布式消息隊(duì)列-Kafka概述
6.1.2 kafka分布式消息隊(duì)列-Kafka集群環(huán)境搭建和命令行操作
6.1.3 kafka分布式消息隊(duì)列-Kafka架構(gòu)深入
7.數(shù)據(jù)同步相關(guān)
7.1 Flume-日志收集系統(tǒng)（實(shí)時(shí)）
7.1.1 hadoop體系之離線(xiàn)計(jì)算-Flume日志收集系統(tǒng)-Flume介紹
7.1.1(2) hadoop體系之離線(xiàn)計(jì)算-Flume日志收集系統(tǒng)-Flume安裝及基本使用
7.1.2 hadoop體系之離線(xiàn)計(jì)算-Flume日志收集系統(tǒng)-Flume實(shí)戰(zhàn)（Telnet案例）
7.1.3 hadoop體系之離線(xiàn)計(jì)算-Flume日志收集系統(tǒng)-Flume實(shí)戰(zhàn)（采集目錄+采集日志）
7.1.4 hadoop體系之離線(xiàn)計(jì)算-Flume日志收集系統(tǒng)-Agent級(jí)聯(lián)
7.1.5 hadoop體系之離線(xiàn)計(jì)算-Flume日志收集系統(tǒng)-Flume高可用方案
7.1.6 hadoop體系之離線(xiàn)計(jì)算-Flume日志收集系統(tǒng)-Flume的負(fù)載均衡
7.1.7 hadoop體系之離線(xiàn)計(jì)算-Flume日志收集系統(tǒng)-Flume案例分析（攔截器）
7.2 DataX-數(shù)據(jù)同步工具（實(shí)時(shí)+離線(xiàn)）
7.3?Sqoop-Hadoop和數(shù)據(jù)庫(kù)數(shù)據(jù)遷移工具（離線(xiàn)）
7.3.1 hadoop體系之離線(xiàn)計(jì)算-sqoop數(shù)據(jù)遷移工具-sqoop簡(jiǎn)介
7.3.2 hadoop體系之離線(xiàn)計(jì)算-sqoop數(shù)據(jù)遷移工具-sqoop安裝
7.3.3 hadoop體系之離線(xiàn)計(jì)算-sqoop數(shù)據(jù)遷移工具-sqoop實(shí)戰(zhàn)（導(dǎo)入+導(dǎo)出）
7.4?Maxwell-數(shù)據(jù)庫(kù)同步工具（實(shí)時(shí)）
7.5 Canal-數(shù)據(jù)庫(kù)同步工具（實(shí)時(shí)）
8.工作流調(diào)度相關(guān)
8.1 Azkaban-工作流調(diào)度系統(tǒng)
8.1.1 hadoop體系之離線(xiàn)計(jì)算-Azkaban工作流調(diào)度系統(tǒng)-Azkaban介紹
8.1.2 hadoop體系之離線(xiàn)計(jì)算-Azkaban工作流調(diào)度系統(tǒng)-Azkaban的安裝（單服務(wù)模式+雙服務(wù)模式）
8.1.3 hadoop體系之離線(xiàn)計(jì)算-Azkaban工作流調(diào)度系統(tǒng)-Azkaban多例實(shí)戰(zhàn)
8.2?Oozie-工作流調(diào)度
8.3?DolphinScheduler-工作流任務(wù)調(diào)度平臺(tái)
8.4?Airflow-調(diào)度和監(jiān)控的工作流
?未完待續(xù).....
總結(jié)
- 上一篇： ChIP-seq 数据分析1 ChIP-
- 下一篇： 计算机应用基础员工工资表,利用VBA编写