一.大數據組件分類:

1.計算類: hadoop,spark,flink,hive

2.傳輸類:kafka,flume,redis

3.存儲類:hbase,mongodb,Cassandra

4.調度類:zookeeper 5.配置類:mesos,yarn

二.流行的框架SMACK

Spark Mesos Akka Cassandra Kafka

三.Apache

Zookeeper 分布式調度

Spark 計算

Kafka 中心化傳輸整合數據,面向服務

Cassandra 線性增加容量,節省資源,consistency可調節

Mesos 分布式任務調度系統,智能調度硬件資源

四.大數據大數據對框架和工具的要求:

高可用性,高性能,高可擴展性

五.常見大數據架構包括:

數據注入層(webserver等)

數據存儲層

數據處理層

六.大數據技術人員兩個大方向

做大規模高并發的線上服務

做大數據分析

七.大數據指的是規模超過現有數據庫工具獲取、存儲、管理和分析能力的數據集，并同時強調并不是超過某個特定數量級的數據集才是大數據

八.國際數據公司（IDC）用四個維度的特征來定義大數據，即數據集的規模（Volume）、數據流動的速度（Velocity）、數據類型的多少（Variety）和數據價值的大小（Value）

轉載于:https://www.cnblogs.com/fanshudada/p/10846485.html

總結

以上是生活随笔為你收集整理的大数据组件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。