1、大數據概述

大數據（big data），IT行業術語，是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據的主要特點（4V）是：

數據量大（Volume）

數據類別復雜（Variety）

數據處理速度快（Velocity）

和數據真實性高（Veracity）

還有的將大數據特點定義為6V模型，即增加了Valence（連接）、Value（價值）2V。

大數據相關的技術、框架：

• 計算框架 離線計算：Hadoop MapReduce、Spark 實時計算：Storm、Spark Streaming、Flink
• 存儲框架 文件存儲：Hadoop HDFS、Tachyon、KFS NOSQL數據庫：HBase、MongoDB、Redis 全文檢索：ES、Solr
• 資源管理 YARN、Mesos
• 日志收集 Flume、Logstash
• 消息系統 Kafka、StormMQ、ZeroMQ、RabbitMQ
• 查詢分析 Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Kylin、Druid

2、Hadoop

Hadoop 在大數據技術體系中的地位至關重要，Hadoop 是大數據技術的基礎，對Hadoop基礎知識的掌握的扎實程度，會決定在大數據技術道路上走多遠。

hadoop是什么？

• Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。
• 主要解決數據存儲和海量數據的分析計算問題。
• 廣義上說，Hadoop通常指一個廣泛的概念——Hadoop生態圈。

Hadoop的優勢！

• 高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。
• 高擴展性。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的，這些集簇可以方便地擴展到數以千計的節點中。
• 高效性。Hadoop能夠在節點之間動態地移動數據，并保證各個節點的動態平衡，因此處理速度非常快。
• 高容錯性。Hadoop能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配。
• 低成本。與一體機、商用數據倉庫以及QlikView、Yonghong
  Z-Suite等數據集市相比，hadoop是開源的，項目的軟件成本因此會大大降低。

Hadoop帶有用Java語言編寫的框架，因此運行在 Linux 生產平臺上是非常理想的。

hadoop的組成！

• HDFS: Hadoop Distributed File System 分布式文件系統
• YARN: Yet Another Resource Negotiator 資源管理調度系統
• Mapreduce：分布式運算框架

總結

以上是生活随笔為你收集整理的初识Hadoop：大数据与Hadoop概述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。