引言

主要基于對現階段一些常用的大數據開源框架技術的整理，只是一些簡單的介紹，并不是詳細技術梳理。可能會有疏漏，發現再整理。參考的太多，就不一一列出來了。這只是作為一個梳理，對以后選型或者擴展的做個參考。

目錄

系統平臺 （Hadoop、CDH、HDP） 監控管理 （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle） 文件系統 （HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio） 資源調度 （YARN、Mesos、） 協調框架 （ZooKeeper 、Etcd、Consul） 數據存儲 （HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、CouchDB、Kudu、CarbonData） 數據處理 （MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron） 查詢分析（Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix） 數據收集 （Flume、Filebeat、Logstash、Chukwa ） 數據交換 （Sqoop 、Kettle、DataX 、NiFi） 消息系統 （Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ） 任務調度 （Azkaban、Oozie、Airflow） 數據治理 （Ranger 、Sentry、Atlas） 可視化 （Kibana 、D3.js、ECharts） 數據挖掘 （Mahout 、MADlib 、Spark ML、TensorFlow、Keras） 云平臺 （Amazon S3、GCP、Microsoft Azure） 與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的大数据开源框架整理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。