阿里巴巴采用了 15 個節(jié)點組成的 Hadoop 集群，用于處理從數(shù)據(jù)庫中導出的商業(yè)數(shù)據(jù)的排序和組合。

Ebay 使用了 32 個節(jié)點組成的集群，包括 8 * 532 個計算核心以及 5.3 PB 的存儲。該公司大量使用了 Java 編寫的 MapReduce 應用，以及 Pig 、 Hive 和 HBase 的組合應用以研究搜索優(yōu)化。

Facebook 主要使用 Hadoop 來存儲內部日志和結構化數(shù)據(jù)源的副本，并且將其作為數(shù)據(jù)報告、數(shù)據(jù)分析和機器學習的數(shù)據(jù)源。

什么是Hadoop？

Apache Hadoop 是一款支持數(shù)據(jù)密集型分布式應用并以 Apache 2.0 許可協(xié)議發(fā)布的開源軟件框架。

Hadoop 框架透明地為應用提供可靠性和數(shù)據(jù)移動。它實現(xiàn)了名為 MapReduce 的編程范式：應用程序被分割成許多小部分，而每個部分都能在集群中的任意節(jié)點上執(zhí)行或重新執(zhí)行。

此外，Hadoop 還提供了分布式文件系統(tǒng)，用以存儲所有計算節(jié)點的數(shù)據(jù)，這為整個集群帶來了非常高的帶寬。

核心概念

Hadoop 項目主要包含了以下四個模塊：

1. Hadoop 通用模塊(Hadoop Common): 為其他 Hadoop 模塊提供支持的公共實用程序。

2. Hadoop 分布式文件系統(tǒng)(HDFS, Hadoop Distributed File System)：提供對應用程序數(shù)據(jù)的高吞吐量訪問的分布式文件系統(tǒng)。

3. Hadoop YARN: 任務調度和集群資源管理框架。

4. Hadoop MapReduce: 基于 YARN 的大規(guī)模數(shù)據(jù)集并行計算框架。

對于初次學習 Hadoop 的用戶而言，應重點關注 HDFS 和 MapReduce。作為一個分布式計算框架，HDFS 承載了該框架對于數(shù)據(jù)的存儲需求，而 MapReduce 滿足了該框架對于數(shù)據(jù)的計算需求。

下圖是 Hadoop 集群的基本架構：

Hadoop 生態(tài)體系

如同 Facebook 在 Hadoop 的基礎上衍生了 Hive 數(shù)據(jù)倉庫一樣，社區(qū)中還有大量與之相關的開源項目，下面列出了一些近期比較活躍的項目：

HBase：一個可伸縮的、支持大表的結構化數(shù)據(jù)存儲的分布式數(shù)據(jù)庫。

Hive：提供數(shù)據(jù)匯總和臨時查詢的數(shù)據(jù)倉庫基礎框架。

Pig：用于并行計算的高級數(shù)據(jù)流語言和執(zhí)行框架。

ZooKeeper：適用于分布式應用的高性能協(xié)調服務。

Spark：一個快速通用的 Hadoop 數(shù)據(jù)計算引擎，具有簡單和富有表達力的編程模型，支持數(shù)據(jù) ETL(提取、轉換和加載)、機器學習、流處理和圖形計算等方面的應用。

值得特別關注的是，Spark 這一分布式內存計算框架就是脫胎于 Hadoop 體系的，它對 HDFS 、YARN 等組件有了良好的繼承，同時也改進了 Hadoop 現(xiàn)存的一些不足。部分學習者可能會對 Hadoop 和 Spark 的使用場景重疊產生疑問，但學習 Hadoop 的工作模式和編程模型，將有利于加深對 Spark 框架的理解，這也是本系列課程首先學習 Hadoop 的原因。

部署 Hadoop

Hadoop 主要有以下三種部署模式：

單機模式：在單臺計算機上以單個進程的模式運行。

偽分布式模式：在單臺計算機上以多個進程的模式運行。該模式可以在單節(jié)點下模擬“多節(jié)點”的場景。

完全分布式模式：在多臺計算機上分別以單個進程的模式運行。

具體的部署步驟以及詳細的教程大家可以點擊文末 進行學習，因為內容還是比較廣泛和充實的：

• 實驗1：Hadoop 簡介與安裝部署

• 挑戰(zhàn)1：Hadoop 系統(tǒng)部署

• 實驗2：HDFS 架構與操作

• 實驗3：MapReduce 原理與實踐

• 挑戰(zhàn)2：使用 MapReduce 進行日志分析

• 實驗4：YARN 架構

• 挑戰(zhàn)3：用 Hadoop 計算圓周率

• 實驗5：HBase 基礎

• 挑戰(zhàn)4：HBase 數(shù)據(jù)導入

• 實驗6：Sqoop 數(shù)據(jù)遷移

• 挑戰(zhàn)5：HBase 實現(xiàn) Web 日志場景數(shù)據(jù)處理

• 實驗7：Solr 基礎實戰(zhàn)

• 實驗8：Hive 基礎實戰(zhàn)

• 挑戰(zhàn)6：導入數(shù)據(jù)到 Hive

• 實驗9：Flume 基礎實戰(zhàn)

• 實驗10：Flume、HDFS 和 Hive 實現(xiàn)日志收集和分析

• 挑戰(zhàn)7：用 Flume 和 MapReduce 進行日志分析

• 實驗11：Kafka 基礎實戰(zhàn)

• 挑戰(zhàn)8：按需部署 Kafka

• 實驗12：使用 Flume 和 Kafka 實現(xiàn)實時日志收集

• 實驗13：Pig 基礎實戰(zhàn)

只要是你有一定的計算機基礎和 Java 基礎，并且對 Hadoop 感興趣，相信都是可以完整地學下來的，大家加油！

相關閱讀

8個爽滑的Windows小軟件，不好用你拿王思蔥砸死我

60人，42天，死磕機器學習，結果如下。

武俠版編程語言...Java像張無忌還是令狐沖？

大量機器學習&深度學習資料

技術變現(xiàn)，到底怎么變？

總結

以上是生活随笔為你收集整理的hadoop yarn 获取日志_赵丽颖固然漂亮，可这份Hadoop核心教程也不差啊！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。