一文讀懂大數據平臺——寫給大數據開發初學者的話!

• ?
• 
  

文|miao君

導讀：

第一章：初識Hadoop

第二章：更高效的WordCount

第三章：把別處的數據搞到Hadoop上

第四章：把Hadoop上的數據搞到別處去

第五章：快一點吧，我的SQL

第六章：一夫多妻制

第七章：越來越多的分析任務

第八章：我的數據要實時

第九章：我的數據要對外

第十章：牛逼高大上的機器學習

經常有初學者會問，自己想往大數據方向發展，該學哪些技術，學習路線是什么樣的，覺得大數據很火，就業很好，薪資很高……首先，如果你確定了想往這個方面發展，先考慮自己的過去從業經歷、專業、興趣是什么。計算機專業——操作系統、硬件、網絡、服務器？軟件專業——軟件開發、編程、寫代碼？還是數學、統計學專業——對數據和數字特別感興趣？

其實這就是想告訴你大數據的三個發展方向，平臺搭建/優化/運維/監控、大數據開發/設計/架構、數據分析/挖掘。

先扯一下大數據的4V特征：

• 數據量大，TB->PB
• 數據類型繁多，結構化、非結構化文本、日志、視頻、圖片、地理位置等；
• 商業價值高，但是這種價值需要在海量數據之上，通過數據分析與機器學習更快速的挖掘出來；
• 處理時效性高，海量數據的處理需求不再局限在離線計算當中。

現如今，正式為了應對大數據的這幾個特點，開源的大數據框架越來越多，越來越強，先列舉一些常見的：

文件存儲：Hadoop HDFS、Tachyon、KFS

離線計算：Hadoop MapReduce、Spark

流式、實時計算：Storm、Spark Streaming、S4、Heron

K-V、NOSQL數據庫：HBase、Redis、MongoDB

資源管理：YARN、Mesos

日志收集：Flume、Scribe、Logstash、Kibana

消息系統：Kafka、StormMQ、ZeroMQ、RabbitMQ

查詢分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分布式協調服務：Zookeeper

集群管理與監控：Ambari、Ganglia、Nagios、Cloudera Manager

數據挖掘、機器學習：Mahout、Spark MLLib

數據同步：Sqoop

任務調度：Oozie

······

第一章：初識Hadoop

1.1 學會百度與Google

不論遇到什么問題，先試試搜索并自己解決。

Google首選，翻不過去的，就用百度吧。

1.2 參考資料首選官方文檔

特別是對于入門來說，官方文檔永遠是首選文檔。

相信搞這塊的大多是文化人，英文湊合就行，實在看不下去的，請參考第一步。

1.3 先讓Hadoop跑起來

Hadoop可以算是大數據存儲和計算的開山鼻祖，現在大多開源的大數據框架都依賴Hadoop或者與它能很好的兼容。

關于Hadoop,你至少需要搞清楚以下是什么：

• Hadoop 1.0、Hadoop 2.0
• MapReduce、HDFS
• NameNode、DataNode
• JobTracker、TaskTracker
• Yarn、ResourceManager、NodeManager

自己搭建Hadoop，請使用第一步和第二步，能讓它跑起來就行。

建議先使用安裝包命令行安裝，不要使用管理工具安裝。

另外：Hadoop1.0知道它就行了，現在都用Hadoop 2.0.

1.4 嘗試使用Hadoop

• HDFS目錄操作命令；
• 上傳、下載文件命令；
• 提交運行MapReduce示例程序；
• 打開Hadoop WEB界面，查看Job運行狀態，查看Job運行日志。
• 知道Hadoop的系統日志在哪里。

1.5了解它們的原理

MapReduce：如何分而治之；

HDFS：數據到底在哪里，什么是副本；

Yarn到底是什么，它能干什么；

NameNode到底在干些什么；

ResourceManager到底在干些什么；

1.6 自己寫一個MapReduce程序

仿照WordCount例子，自己寫一個（照抄也行）WordCount程序，

打包并提交到Hadoop運行。

不會Java的話，Shell、Python都可以，有個東西叫Hadoop Streaming。

如果能認真完成了以上幾步，恭喜你，你的一只腳已經進來了。

第二章：更高效的WordCount

2.1 學點SQL吧

如果不懂數據庫的童鞋先學習使用SQL句。

2.2 SQL版WordCount

在1.6中，你寫（或者抄）的WordCount一共有幾行代碼？

如果用SQL的話：

SELECT word,COUNT(1) FROM wordcount GROUP BY word;

這便是SQL的魅力，編程需要幾十行，甚至上百行代碼，SQL一句就搞定；使用SQL處理分析Hadoop上的數據，方便、高效、易上手、更是趨勢。不論是離線計算還是實時計算，越來越多的大數據處理框架都在積極提供SQL接口。

2.3 安裝配置Hive

Hive算是數據倉庫工具，安裝不難，網上有很多教程，配置完成后，可以正常進入Hive命令行。

2.4 試試使用Hive

嘗試在Hive中創建wordcount表，并運行2.2中的SQL語句。在Hadoop WEB界面中找到剛才運行的SQL任務。看SQL查詢結果是否和1.4中MapReduce中的結果一致。

明明寫的是SQL，為什么Hadoop WEB界面中看到的是MapReduce任務？

2.5 學會Hive的基本命令

創建、刪除表；加載數據到表；下載Hive表的數據；并學習更多關于Hive的語法和命令。

以上如果按照第一章和第二章的流程認真完整的走了一遍后，應該已經具備以下技能和知識點：

0和Hadoop2.0的區別

MapReduce的原理（還是那個經典的題目，一個10G大小的文件，給定1G大小的內存，如何使用Java程序統計出現次數最多的10個單詞及次數）；

HDFS讀寫數據的流程；向HDFS中PUT數據；從HDFS中下載數據；

自己會寫簡單的MapReduce程序，運行出現問題，知道在哪里查看日志；

會寫簡單的SELECT、WHERE、GROUP BY等SQL語句；

Hive SQL轉換成MapReduce的大致流程；

Hive中常見的語句：創建表、刪除表、往表中加載數據、分區、將表中數據下載到本地；

從上面的學習，你已經了解到，HDFS是Hadoop提供的分布式存儲框架，它可以用來存儲海量數據，MapReduce是Hadoop提供的分布式計算框架，它可以用來統計和分析HDFS上的海量數據，而Hive則是SQL On Hadoop，Hive提供了SQL接口，開發人員只需要編寫簡單易上手的SQL語句，Hive負責把SQL翻譯成MapReduce，提交運行。

此時，你的認知中“大數據平臺”是這樣的：

那么問題來了，海量數據如何到HDFS上呢？

第三章：把別處的數據搞到Hadoop上

此處也可以叫做數據采集，把各個數據源的數據采集到Hadoop上。

3.1 HDFS PUT命令

put命令在實際環境中也比較常用，通常配合shell、python等腳本語言來使用。建議需熟練掌握。

3.2 HDFS API

HDFS提供了寫數據的API，自己用編程語言將數據寫入HDFS，put命令本身也是使用API。

實際環境中一般自己較少編寫程序使用API來寫數據到HDFS，通常都是使用其他框架封裝好的方法。比如：Hive中的INSERT語句，Spark中的saveAsTextfile等。

可以嘗試了解原理，試著寫幾個Demo。

3.3 Sqoop

Sqoop是一個主要用于Hadoop/Hive與傳統關系型數據庫Oracle/MySQL/SQLServer等之間進行數據交換的開源框架。

就像Hive把SQL翻譯成MapReduce一樣，Sqoop把你指定的參數翻譯成MapReduce，提交到Hadoop運行，完成Hadoop與其他數據庫之間的數據交換。

自己下載和配置Sqoop（建議先使用Sqoop1，Sqoop2比較復雜）。

了解Sqoop常用的配置參數和方法。

使用Sqoop完成從MySQL同步數據到HDFS；

使用Sqoop完成從MySQL同步數據到Hive表；

PS：如果后續選型確定使用Sqoop作為數據交換工具，那么建議熟練掌握，否則，了解和會用Demo即可。

3.4 Flume

Flume是一個分布式的海量日志采集和傳輸框架，因為“采集和傳輸框架”，所以它并不適合關系型數據庫的數據采集和傳輸。Flume可以實時的從網絡協議、消息系統、文件系統采集日志，并傳輸到HDFS上。因此，如果你的業務有這些數據源的數據，并且需要實時的采集，那么就應該考慮使用Flume。

下載和配置Flume。使用Flume監控一個不斷追加數據的文件，并將數據傳輸到HDFS；

PS：Flume的配置和使用較為復雜，如果你沒有足夠的興趣和耐心，可以先跳過Flume。

3.5 阿里開源的DataX

之所以介紹這個，是因為以前某公司客戶目前使用的Hadoop與關系型數據庫數據交換的工具，就是之前基于DataX開發的，個人感覺非常好用。現在DataX已經是3.0版本，支持很多數據源。你也可以在其之上做二次開發。

PS：有興趣的可以研究和使用一下，對比一下它與Sqoop。

至此，你的“大數據平臺”應該是這樣的：

第四章：把Hadoop上的數據搞到別處去

前面介紹了如何把數據源的數據采集到Hadoop上，數據到Hadoop上之后，便可以使用Hive和MapReduce進行分析了。那么接下來的問題是，分析完的結果如何從Hadoop上同步到其他系統和應用中去呢？

其實此處的方法和第三章基本一致的。

4.1 HDFS GET命令

把HDFS上的文件GET到本地。需要熟練掌握。

4.2 HDFS API

原理同3.2.

4.3 Sqoop

原理同3.3。

使用Sqoop完成將HDFS上的文件同步到MySQL；

使用Sqoop完成將Hive表中的數據同步到MySQL；

4.4 DataX

原理同3.4

此時，“你的大數據平臺”應該是這樣的：

走完第三章和第四章的流程，那么你應該已經具備以下技能和知識點：

• 知道如何把已有的數據采集到HDFS上，包括離線采集和實時采集；
• 知道sqoop（或者還有DataX）是HDFS和其他數據源之間的數據交換工具；
• 知道flume可以用作實時的日志采集；

至此，對于大數據平臺，應該已經掌握如何搭建Hadoop集群，把數據采集到Hadoop上，使用Hive和MapReduce來分析數據，把分析結果同步到其他數據源。

接下來的問題就是，Hive使用的越來越多，你會發現很多不愉快的地方，特別是速度慢，

大多情況下，明明我的數據量很小，它都要申請資源，啟動MapReduce來執行。

第五章：快一點吧，我的SQL

其實大家都已經發現Hive后臺使用MapReduce作為執行引擎，實在是有點慢。因此SQL On Hadoop的框架越來越多，按我的了解，最常用的按照流行度依次為SparkSQL、Impala和Presto.這三種框架基于半內存或者全內存，提供了SQL接口來快速查詢分析Hadoop上的數據。

目前我們的方案使用的是SparkSQL，至于為什么用SparkSQL，原因大概如下：

• 使用Spark還做了其他事情，不想引入過多的框架；
• Impala對內存的需求太大，沒有過多資源部署；

5.1 關于Spark和SparkSQL

什么是Spark，什么是SparkSQL。

Spark有的核心概念及名詞解釋。

SparkSQL和Spark是什么關系，SparkSQL和Hive是什么關系。

SparkSQL為什么比Hive跑的快。

可參考：SparkSQL與Hive on Spark的比較

5.2 如何部署和運行SparkSQL

Spark有哪些部署模式？

如何在Yarn上運行SparkSQL？

使用SparkSQL查詢Hive中的表。

可參考：Spark – lxw的大數據田地

PS: Spark不是一門短時間內就能掌握的技術，因此建議在了解了Spark之后，可以先從SparkSQL入手，循序漸進。

如果認真完成了上面的學習和實踐，此時，你的”大數據平臺”應該是這樣的：

第六章：一夫多妻制

其實我想說的是數據的一次采集、多次消費。

在實際業務場景下，特別是對于一些監控日志，想即時的從日志中了解一些指標（關于實時計算，后面章節會有介紹），這時候，從HDFS上分析就太慢了，盡管是通過Flume采集的，但Flume也不能間隔很短就往HDFS上滾動文件，這樣會導致小文件特別多。

為了滿足數據的一次采集、多次消費的需求，這里要說的便是Kafka。

6.1 關于Kafka

Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。這些數據通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。

6.2 如何部署和使用Kafka

使用單機部署Kafka，并成功運行自帶的生產者和消費者例子。

使用Java程序自己編寫并運行生產者和消費者程序。

Flume和Kafka的集成，使用Flume監控日志，并將日志數據實時發送至Kafka。

關于Kafka，可以參考 ：Kafka – lxw的大數據田地

至此，“大數據平臺”應該擴充成這樣：

這時，使用Flume采集的數據，不是直接到HDFS上，而是先到Kafka，Kafka中的數據可以由多個消費者同時消費，其中一個消費者，就是將數據同步到HDFS。

總結：

為什么Spark比MapReduce快。

使用SparkSQL代替Hive，更快的運行SQL。

使用Kafka完成數據的一次收集，多次消費架構。

自己可以寫程序完成Kafka的生產者和消費者。

前面的學習已經掌握了大數據平臺中的數據采集、數據存儲和計算、數據交換等大部分技能，而這其中的每一步，都需要一個任務（程序）來完成，各個任務之間又存在一定的依賴性，比如，必須等數據采集任務成功完成后，數據計算任務才能開始運行。如果一個任務執行失敗，需要給開發運維人員發送告警，同時需要提供完整的日志來方便查錯。

第七章：越來越多的分析任務

不僅僅是分析任務，數據采集、數據交換同樣是一個個的任務。這些任務中，有的是定時觸發，有點則需要依賴其他任務來觸發。當平臺中有幾百上千個任務需要維護和運行時候，僅僅靠crontab遠遠不夠了，這時便需要一個調度監控系統來完成這件事。調度監控系統是整個數據平臺的中樞系統，類似于AppMaster，負責分配和監控任務。

7.1 Apache Oozie

1. Oozie是什么？有哪些功能？

2. Oozie可以調度哪些類型的任務（程序）？

3. Oozie可以支持哪些任務觸發方式？

4.安裝配置Oozie。

7.2 其他開源的任務調度系統

Azkaban

light-task-scheduler

alibaba/zeus

……

此時：

第八章：數據要實時

在第六章介紹Kafka的時候提到了一些需要實時指標的業務場景，實時基本可以分為絕對實時和準實時，絕對實時的延遲要求一般在毫秒級，準實時的延遲要求一般在秒、分鐘級。對于需要絕對實時的業務場景，用的比較多的是Storm，對于其他準實時的業務場景，可以是Storm，也可以是Spark Streaming。當然，如果可以的話，也可以自己寫程序來做。

8.1 Storm

1. 什么是Storm？有哪些可能的應用場景？

2. Storm由哪些核心組件構成，各自擔任什么角色？

3. Storm的簡單安裝和部署。

4. 自己編寫Demo程序，使用Storm完成實時數據流計算。

8.2 Spark Streaming

1. 什么是Spark Streaming，它和Spark是什么關系？

2. Spark Streaming和Storm比較，各有什么優缺點？

3. 使用Kafka + Spark Streaming，完成實時計算的Demo程序。

此時：

至此，大數據平臺底層架構已經成型了，其中包括了數據采集、數據存儲與計算（離線和實時）、數據同步、任務調度與監控這幾大模塊。接下來是時候考慮如何更好的對外提供數據了。

第九章：數據要對外

通常對外（業務）提供數據訪問，大體上包含以下方面：

離線：比如，每天將前一天的數據提供到指定的數據源（DB、FILE、FTP）等；

離線數據的提供可以采用Sqoop、DataX等離線數據交換工具。

實時：比如，在線網站的推薦系統，需要實時從數據平臺中獲取給用戶的推薦數據，這種要求延時非常低（50毫秒以內）。

根據延時要求和實時數據的查詢需要，可能的方案有：HBase、Redis、MongoDB、ElasticSearch等。

OLAP分析：OLAP除了要求底層的數據模型比較規范，另外，對查詢的響應速度要求也越來越高，可能的方案有：Impala、Presto、SparkSQL、Kylin。如果你的數據模型比較規模，那么Kylin是最好的選擇。

即席查詢：即席查詢的數據比較隨意，一般很難建立通用的數據模型，因此可能的方案有：Impala、Presto、SparkSQL。

這么多比較成熟的框架和方案，需要結合自己的業務需求及數據平臺技術架構，選擇合適的。原則只有一個：越簡單越穩定的，就是最好的。

如果你已經掌握了如何很好的對外（業務）提供數據，那么你的“大數據平臺”應該是這樣的：

第十章：牛逼高大上的機器學習

這里本人也沒有接觸太多，稍微講一下我們的業務場景應用，遇到的能用機器學習解決的問題大概這么三類：

分類問題：包括二分類和多分類，二分類就是解決了預測的問題，就像預測一封郵件是否垃圾郵件；多分類解決的是文本的分類；

聚類問題：從用戶搜索過的關鍵詞，對用戶進行大概的歸類。

推薦問題：根據用戶的歷史瀏覽和點擊行為進行相關推薦。

大多數行業，使用機器學習解決的，也就是這幾類問題。

入門學習線路：

數學基礎；

機器學習實戰（Machine Learning in Action），懂Python最好；

SparkMlLib提供了一些封裝好的算法，以及特征處理、特征選擇的方法。

那么把機器學習部分加進 “大數據平臺”。

總結

以上是生活随笔為你收集整理的一文读懂大数据平台——写给大数据开发初学者的话!的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。