阿里巴巴采用了 15 個節點組成的 Hadoop 集群，用于處理從數據庫中導出的商業數據的排序和組合。

Ebay 使用了 32 個節點組成的集群，包括 8 * 532 個計算核心以及 5.3 PB 的存儲。該公司大量使用了 Java 編寫的 MapReduce 應用，以及 Pig 、 Hive 和 HBase 的組合應用以研究搜索優化。

Facebook 主要使用 Hadoop 來存儲內部日志和結構化數據源的副本，并且將其作為數據報告、數據分析和機器學習的數據源。

什么是Hadoop？

Apache Hadoop 是一款支持數據密集型分布式應用并以 Apache 2.0 許可協議發布的開源軟件框架。

Hadoop 框架透明地為應用提供可靠性和數據移動。它實現了名為 MapReduce 的編程范式：應用程序被分割成許多小部分，而每個部分都能在集群中的任意節點上執行或重新執行。

此外，Hadoop 還提供了分布式文件系統，用以存儲所有計算節點的數據，這為整個集群帶來了非常高的帶寬。

核心概念

Hadoop 項目主要包含了以下四個模塊：

1. Hadoop 通用模塊(Hadoop Common): 為其他 Hadoop 模塊提供支持的公共實用程序。

2. Hadoop 分布式文件系統(HDFS, Hadoop Distributed File System)：提供對應用程序數據的高吞吐量訪問的分布式文件系統。

3. Hadoop YARN: 任務調度和集群資源管理框架。

4. Hadoop MapReduce: 基于 YARN 的大規模數據集并行計算框架。

對于初次學習 Hadoop 的用戶而言，應重點關注 HDFS 和 MapReduce。作為一個分布式計算框架，HDFS 承載了該框架對于數據的存儲需求，而 MapReduce 滿足了該框架對于數據的計算需求。

下圖是 Hadoop 集群的基本架構：

Hadoop 生態體系

如同 Facebook 在 Hadoop 的基礎上衍生了 Hive 數據倉庫一樣，社區中還有大量與之相關的開源項目，下面列出了一些近期比較活躍的項目：

HBase：一個可伸縮的、支持大表的結構化數據存儲的分布式數據庫。

Hive：提供數據匯總和臨時查詢的數據倉庫基礎框架。

Pig：用于并行計算的高級數據流語言和執行框架。

ZooKeeper：適用于分布式應用的高性能協調服務。

Spark：一個快速通用的 Hadoop 數據計算引擎，具有簡單和富有表達力的編程模型，支持數據 ETL(提取、轉換和加載)、機器學習、流處理和圖形計算等方面的應用。

值得特別關注的是，Spark 這一分布式內存計算框架就是脫胎于 Hadoop 體系的，它對 HDFS 、YARN 等組件有了良好的繼承，同時也改進了 Hadoop 現存的一些不足。部分學習者可能會對 Hadoop 和 Spark 的使用場景重疊產生疑問，但學習 Hadoop 的工作模式和編程模型，將有利于加深對 Spark 框架的理解，這也是本系列課程首先學習 Hadoop 的原因。

部署 Hadoop

Hadoop 主要有以下三種部署模式：

單機模式：在單臺計算機上以單個進程的模式運行。

偽分布式模式：在單臺計算機上以多個進程的模式運行。該模式可以在單節點下模擬“多節點”的場景。

完全分布式模式：在多臺計算機上分別以單個進程的模式運行。

具體的部署步驟以及詳細的教程大家可以點擊文末 進行學習，因為內容還是比較廣泛和充實的：

• 實驗1：Hadoop 簡介與安裝部署

• 挑戰1：Hadoop 系統部署

• 實驗2：HDFS 架構與操作

• 實驗3：MapReduce 原理與實踐

• 挑戰2：使用 MapReduce 進行日志分析

• 實驗4：YARN 架構

• 挑戰3：用 Hadoop 計算圓周率

• 實驗5：HBase 基礎

• 挑戰4：HBase 數據導入

• 實驗6：Sqoop 數據遷移

• 挑戰5：HBase 實現 Web 日志場景數據處理

• 實驗7：Solr 基礎實戰

• 實驗8：Hive 基礎實戰

• 挑戰6：導入數據到 Hive

• 實驗9：Flume 基礎實戰

• 實驗10：Flume、HDFS 和 Hive 實現日志收集和分析

• 挑戰7：用 Flume 和 MapReduce 進行日志分析

• 實驗11：Kafka 基礎實戰

• 挑戰8：按需部署 Kafka

• 實驗12：使用 Flume 和 Kafka 實現實時日志收集

• 實驗13：Pig 基礎實戰

只要是你有一定的計算機基礎和 Java 基礎，并且對 Hadoop 感興趣，相信都是可以完整地學下來的，大家加油！

相關閱讀

8個爽滑的Windows小軟件，不好用你拿王思蔥砸死我

60人，42天，死磕機器學習，結果如下。

武俠版編程語言...Java像張無忌還是令狐沖？

大量機器學習&深度學習資料

技術變現，到底怎么變？

總結

以上是生活随笔為你收集整理的hadoop yarn 获取日志_赵丽颖固然漂亮，可这份Hadoop核心教程也不差啊！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。