日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 综合教程 >内容正文

综合教程

史上最全的“大数据”学习资源(上)(山东数漫江湖)

發(fā)布時(shí)間:2023/12/13 综合教程 28 生活家
生活随笔 收集整理的這篇文章主要介紹了 史上最全的“大数据”学习资源(上)(山东数漫江湖) 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

資源列表:

關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)
框架
分布式編程
分布式文件系統(tǒng)
文件數(shù)據(jù)模型
Key -Map數(shù)據(jù)模型
鍵-值數(shù)據(jù)模型
圖形數(shù)據(jù)模型
NewSQL數(shù)據(jù)庫(kù)
列式數(shù)據(jù)庫(kù)
時(shí)間序列數(shù)據(jù)庫(kù)
類SQL處理
數(shù)據(jù)攝取
服務(wù)編程
調(diào)度
機(jī)器學(xué)習(xí)
基準(zhǔn)測(cè)試
安全性
系統(tǒng)部署
應(yīng)用程序
搜索引擎與框架
MySQL的分支和演化
PostgreSQL的分支和演化
Memcached的分支和演化
嵌入式數(shù)據(jù)庫(kù)
商業(yè)智能
數(shù)據(jù)可視化
物聯(lián)網(wǎng)和傳感器
文章
論文
視頻

關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS)

MySQL:世界最流行的開(kāi)源數(shù)據(jù)庫(kù);
PostgreSQL:世界最先進(jìn)的開(kāi)源數(shù)據(jù)庫(kù);
Oracle數(shù)據(jù)庫(kù):對(duì)象-關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)。

框架

Apache Hadoop:分布式處理架構(gòu),結(jié)合了MapReduce(并行處理)、YARN(作業(yè)調(diào)度)和HDFS(分布式文件系統(tǒng));
Tigon:高吞吐量實(shí)時(shí)流處理框架。

分布式編程

AddThis Hydra:最初在AddThis上開(kāi)發(fā)的分布式數(shù)據(jù)處理和存儲(chǔ)系統(tǒng);

AMPLab SIMR:用在Hadoop MapReduce v1上運(yùn)行Spark;
Apache Beam:為統(tǒng)一的模型以及一套用于定義和執(zhí)行數(shù)據(jù)處理工作流的特定SDK語(yǔ)言;
Apache Crunch:一個(gè)簡(jiǎn)單的Java API,用于執(zhí)行在普通的MapReduce實(shí)現(xiàn)時(shí)比較單調(diào)的連接、數(shù)據(jù)聚合等任務(wù);
Apache DataFu:由LinkedIn開(kāi)發(fā)的針對(duì)Hadoop and和Pig的用戶定義的函數(shù)集合;
Apache Flink:具有高性能的執(zhí)行時(shí)間和自動(dòng)程序優(yōu)化;
Apache Gora:內(nèi)存中的數(shù)據(jù)模型和持久性框架;
Apache Hama:BSP(整體同步并行)計(jì)算框架;
Apache MapReduce:在集群上使用并行、分布式算法處理大數(shù)據(jù)集的編程模型;

Apache Pig:Hadoop中,用于處理數(shù)據(jù)分析程序的高級(jí)查詢語(yǔ)言;

Apache REEF:用來(lái)簡(jiǎn)化和統(tǒng)一低層大數(shù)據(jù)系統(tǒng)的保留性評(píng)估執(zhí)行框架;

Apache S4:S4中流處理與實(shí)現(xiàn)的框架;

Apache Spark:內(nèi)存集群計(jì)算框架;

Apache Spark Streaming:流處理框架,同時(shí)是Spark的一部分;

Apache Storm:Twitter流處理框架,也可用于YARN;

Apache Samza:基于Kafka和YARN的流處理框架;

Apache Tez:基于YARN,用于執(zhí)行任務(wù)中的復(fù)雜DAG(有向無(wú)環(huán)圖);

Apache Twill:基于YARN的抽象概念,用于減少開(kāi)發(fā)分布式應(yīng)用程序的復(fù)雜度;

Cascalog:數(shù)據(jù)處理和查詢庫(kù);
Cheetah:在MapReduce之上的高性能、自定義數(shù)據(jù)倉(cāng)庫(kù);

Concurrent Cascading:在Hadoop上的數(shù)據(jù)管理/分析框架;

Damballa Parkour:用于Clojure的MapReduce庫(kù);

Datasalt Pangool:可選擇的MapReduce范例;

DataTorrent StrAM:為實(shí)時(shí)引擎,用于以盡可能暢通的方式、最小的開(kāi)支和對(duì)性能最小的影響,實(shí)現(xiàn)分布式、異步、實(shí)時(shí)的內(nèi)存大數(shù)據(jù)計(jì)算;

Facebook Corona:為Hadoop做優(yōu)化處理,從而消除單點(diǎn)故障;

Facebook Peregrine:MapReduce框架;

Facebook Scuba:分布式內(nèi)存數(shù)據(jù)存儲(chǔ);

Google Dataflow:創(chuàng)建數(shù)據(jù)管道,以幫助其分析框架;

Netflix PigPen:為MapReduce,用于編譯成Apache Pig;

Nokia Disco:由Nokia開(kāi)發(fā)的MapReduc獲取、轉(zhuǎn)換和分析數(shù)據(jù);

Google MapReduce:MapReduce框架;

Google MillWheel:容錯(cuò)流處理框架;

JAQL:用于處理結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)工作的聲明性編程語(yǔ)言;

Kite:為一組庫(kù)、工具、實(shí)例和文檔集,用于使在Hadoop的生態(tài)系統(tǒng)上建立系統(tǒng)更加容易;

Metamarkets Druid:用于大數(shù)據(jù)集的實(shí)時(shí)e框架;

Onyx:分布式云計(jì)算;

Pinterest Pinlater:異步任務(wù)執(zhí)行系統(tǒng);

Pydoop:用于Hadoop的Python MapReduce和HDFS API;

Rackerlabs Blueflood:多租戶分布式測(cè)度處理系統(tǒng);

Stratosphere:通用集群計(jì)算框架;

Streamdrill:用于計(jì)算基于不同時(shí)間窗口的事件流的活動(dòng),并找到最活躍的一個(gè);

Tuktu:易于使用的用于分批處理和流計(jì)算的平臺(tái),通過(guò)Scala、Akka和Play所建;

Twitter Scalding:基于Cascading,用于MapReduce工作的Scala庫(kù);
Twitter Summingbird:在Twitter上使用Scalding和Storm串流MapReduce;

Twitter TSAR:Twitter上的時(shí)間序列聚合器。

分布式文件系統(tǒng)

Apache HDFS:在多臺(tái)機(jī)器上存儲(chǔ)大型文件的方式;
BeeGFS:以前是FhGFS,并行分布式文件系統(tǒng);
Ceph Filesystem:設(shè)計(jì)的軟件存儲(chǔ)平臺(tái);
Disco DDFS:分布式文件系統(tǒng);
Facebook Haystack:對(duì)象存儲(chǔ)系統(tǒng);
Google Colossus:分布式文件系統(tǒng)(GFS2);
Google GFS:分布式文件系統(tǒng);
Google Megastore:可擴(kuò)展的、高度可用的存儲(chǔ);
GridGain:兼容GGFS、Hadoop內(nèi)存的文件系統(tǒng);
Lustre file system:高性能分布式文件系統(tǒng);
Quantcast File System QFS:開(kāi)源分布式文件系統(tǒng);
Red Hat GlusterFS:向外擴(kuò)展的附網(wǎng)存儲(chǔ)(Network-attachedStorage)文件系統(tǒng);
Seaweed-FS:簡(jiǎn)單的、高度可擴(kuò)展的分布式文件系統(tǒng);
Alluxio:以可靠的存儲(chǔ)速率在跨集群框架上文件共享;
Tahoe-LAFS:分布式云存儲(chǔ)系統(tǒng);

文件數(shù)據(jù)模型

Actian Versant:商用的面向?qū)ο髷?shù)據(jù)庫(kù)管理系統(tǒng);
Crate Data:是一個(gè)開(kāi)源的大規(guī)模可擴(kuò)展的數(shù)據(jù)存儲(chǔ),需要零管理模式;
Facebook Apollo:Facebook的Paxos算法,類似于NoSQL數(shù)據(jù)庫(kù);
jumboDB:基于Hadoop的面向文檔的數(shù)據(jù)存儲(chǔ);
LinkedIn Espresso:可橫向擴(kuò)展的面向文檔的NoSQL數(shù)據(jù)存儲(chǔ);
MarkLogic:模式不可知的企業(yè)版NoSQL數(shù)據(jù)庫(kù)技術(shù);
MongoDB:面向文檔的數(shù)據(jù)庫(kù)系統(tǒng);
RavenDB:一個(gè)事務(wù)性的,開(kāi)源文檔數(shù)據(jù)庫(kù);
RethinkDB:支持連接查詢和群組依據(jù)等查詢的文檔型數(shù)據(jù)庫(kù)。

Key Map數(shù)據(jù)模型

注意:業(yè)內(nèi)存在一些術(shù)語(yǔ)混亂,有兩個(gè)不同的東西都叫做“列式數(shù)據(jù)庫(kù)”。這里列出的有一些是圍繞“key-map”數(shù)據(jù)模型而建的分布式、持續(xù)型數(shù)據(jù)庫(kù),其中所有的數(shù)據(jù)都有(可能綜合了)鍵,并與映射中的鍵-值對(duì)相關(guān)聯(lián)。在一些系統(tǒng)中,多個(gè)這樣的值映射可以與鍵相關(guān)聯(lián),并且這些映射被稱為“列族”(具有映射值的鍵被稱為“列”)。

另一組也可稱為“列式數(shù)據(jù)庫(kù)”的技術(shù)因其存儲(chǔ)數(shù)據(jù)的方式而有別于前一組,它在磁盤上或在存儲(chǔ)器中——而不是以傳統(tǒng)方式,即所有既定鍵的鍵值都相鄰著、逐行存儲(chǔ)。這些系統(tǒng)也彼此相鄰來(lái)存儲(chǔ)所有列值,但是要得到給定列的所有值卻不需要以前那么繁復(fù)的工作。

前一組在這里被稱為“key map數(shù)據(jù)模型”,這兩者和Key-value數(shù)據(jù)模型之間的界限是相當(dāng)模糊的。后者對(duì)數(shù)據(jù)模型有更多的存儲(chǔ)格式,可在列式數(shù)據(jù)庫(kù)中列出。若想了解更多關(guān)于這兩種模型的區(qū)分,可閱讀Daniel Abadi的博客:Distinguishing two major types of Column Stores。

Apache Accumulo:內(nèi)置在Hadoop上的分布式鍵/值存儲(chǔ);
Apache Cassandra:由BigTable授權(quán),面向列的分布式數(shù)據(jù)存儲(chǔ);
Apache HBase:由BigTable授權(quán),面向列的分布式數(shù)據(jù)存儲(chǔ);
Facebook HydraBase:Facebook所開(kāi)發(fā)的HBase的衍化品;
Google BigTable:面向列的分布式數(shù)據(jù)存儲(chǔ);
Google Cloud Datastore:為完全管理型的無(wú)模式數(shù)據(jù)庫(kù),用于存儲(chǔ)在BigTable上非關(guān)系型數(shù)據(jù);
Hypertable:由BigTable授權(quán),面向列的分布式數(shù)據(jù)存儲(chǔ);
InfiniDB:通過(guò)MySQL的接口訪問(wèn),并使用大規(guī)模并行處理進(jìn)行并行查詢;
Tephra:用于HBase處理;
Twitter Manhattan:Twitter的實(shí)時(shí)、多租戶分布式數(shù)據(jù)庫(kù)。

鍵-值數(shù)據(jù)模型

Aerospike:支持NoSQL的閃存優(yōu)化,數(shù)據(jù)存儲(chǔ)在內(nèi)存。開(kāi)源,“'C'(不是Java或Erlang)中的服務(wù)器代碼可精確地調(diào)整從而避免上下文切換和內(nèi)存拷貝”。
Amazon DynamoDB:分布式鍵/值存儲(chǔ),Dynamo論文的實(shí)現(xiàn);
Edis:為替代Redis的協(xié)議兼容的服務(wù)器;
ElephantDB:專門研究Hadoop中數(shù)據(jù)導(dǎo)出的分布式數(shù)據(jù)庫(kù);
EventStore:分布式時(shí)間序列數(shù)據(jù)庫(kù);
GridDB:適用于存儲(chǔ)在時(shí)間序列中的傳感器數(shù)據(jù);
LinkedIn Krati:簡(jiǎn)單的持久性數(shù)據(jù)存儲(chǔ),擁有低延遲和高吞吐量;
Linkedin Voldemort:分布式鍵/值存儲(chǔ)系統(tǒng);
Oracle NoSQL Database:Oracle公司開(kāi)發(fā)的分布式鍵值數(shù)據(jù)庫(kù);
Redis:內(nèi)存中的鍵值數(shù)據(jù)存儲(chǔ);
Riak:分散式數(shù)據(jù)存儲(chǔ);
Storehaus:Twitter開(kāi)發(fā)的異步鍵值存儲(chǔ)的庫(kù);
Tarantool:一個(gè)高效的NoSQL數(shù)據(jù)庫(kù)和Lua應(yīng)用服務(wù)器;
TiKV:由Google Spanner和HBase授權(quán),Rust提供技術(shù)支持的分布式鍵值數(shù)據(jù)庫(kù);
TreodeDB:可復(fù)制、共享的鍵-值存儲(chǔ),能提供多行原子寫入。

圖形數(shù)據(jù)模型

Apache Giraph:基于Hadoop的Pregel實(shí)現(xiàn);
Apache Spark Bagel:可實(shí)現(xiàn)Pregel,為Spark的一部分;
ArangoDB:多層模型分布式數(shù)據(jù)庫(kù);
DGraph:一個(gè)可擴(kuò)展的、分布式、低時(shí)延、高吞吐量的圖形數(shù)據(jù)庫(kù),旨在為Google生產(chǎn)水平規(guī)模和吞吐量提供足夠的低延遲,用于TB級(jí)的結(jié)構(gòu)化數(shù)據(jù)的實(shí)時(shí)用戶查詢;
Facebook TAO:TAO是facebook廣泛用來(lái)存儲(chǔ)和服務(wù)于社交圖形的分布式數(shù)據(jù)存儲(chǔ);
GCHQ Gaffer:GCHQ中的Gaffer是一個(gè)易于存儲(chǔ)大規(guī)模圖形的框架,其中節(jié)點(diǎn)和邊緣都有統(tǒng)計(jì)數(shù)據(jù);
Google Cayley:開(kāi)源圖形數(shù)據(jù)庫(kù);
Google Pregel:圖形處理框架;
GraphLab PowerGraph:核心C ++ GraphLab API和建立在GraphLab API之上的高性能機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工具包的集合;
GraphX:Spark中的彈性分布式圖形系統(tǒng);
Gremlin:圖形追蹤語(yǔ)言;
Infovore:以RDF為中心的Map / Reduce框架;
Intel GraphBuilder:在Hadoop上構(gòu)建大規(guī)模圖形的工具;
MapGraph:用于在GPU上大規(guī)模并行圖形處理;
Neo4j:完全用Java寫入的圖形數(shù)據(jù)庫(kù);
OrientDB:文檔和圖形數(shù)據(jù)庫(kù);
Phoebus:大型圖形處理框架;
Titan:建于Cassandra的分布式圖形數(shù)據(jù)庫(kù);
Twitter FlockDB:分布式圖形數(shù)據(jù)庫(kù)。

NewSQL數(shù)據(jù)庫(kù)

Actian Ingres:由商業(yè)支持,開(kāi)源的SQL關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng);
Amazon RedShift:基于PostgreSQL的數(shù)據(jù)倉(cāng)庫(kù)服務(wù);
BayesDB:面向統(tǒng)計(jì)數(shù)值的SQL數(shù)據(jù)庫(kù);
CitusDB:通過(guò)分區(qū)和復(fù)制橫向擴(kuò)展PostgreSQL;
Cockroach:可擴(kuò)展、地址可復(fù)制、交易型的數(shù)據(jù)庫(kù);
Datomic:旨在產(chǎn)生可擴(kuò)展、靈活的智能應(yīng)用的分布式數(shù)據(jù)庫(kù);
FoundationDB:由F1授意的分布式數(shù)據(jù)庫(kù);
Google F1:建立在Spanner上的分布式SQL數(shù)據(jù)庫(kù);
Google Spanner:全球性的分布式半關(guān)系型數(shù)據(jù)庫(kù);
H-Store:是一個(gè)實(shí)驗(yàn)性主存并行數(shù)據(jù)庫(kù)管理系統(tǒng),用于聯(lián)機(jī)事務(wù)處理(OLTP)應(yīng)用的優(yōu)化;
Haeinsa:基于Percolator,HBase的線性可擴(kuò)展多行多表交易庫(kù);
HandlerSocket:MySQL/MariaDB的NoSQL插件;
InfiniSQL:無(wú)限可擴(kuò)展的RDBMS;
MemSQL:內(nèi)存中的SQL數(shù)據(jù)庫(kù),其中有優(yōu)化的閃存列存儲(chǔ);
NuoDB:SQL / ACID兼容的分布式數(shù)據(jù)庫(kù);
Oracle TimesTen in-Memory Database:內(nèi)存中具有持久性和可恢復(fù)性的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng);
Pivotal GemFire XD:內(nèi)存中低延時(shí)的分布式SQL數(shù)據(jù)存儲(chǔ),可為內(nèi)存列表數(shù)據(jù)提供SQL接口,在HDFS中較持久化;
SAP HANA:是在內(nèi)存中面向列的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng);
SenseiDB:分布式實(shí)時(shí)半結(jié)構(gòu)化的數(shù)據(jù)庫(kù);
Sky:用于行為數(shù)據(jù)的靈活、高性能分析的數(shù)據(jù)庫(kù);
SymmetricDS:用于文件和數(shù)據(jù)庫(kù)同步的開(kāi)源軟件;
Map-D:為GPU內(nèi)存數(shù)據(jù)庫(kù),也為大數(shù)據(jù)分析和可視化平臺(tái);
TiDB:TiDB是分布式SQL數(shù)據(jù)庫(kù),基于谷歌F1的設(shè)計(jì)靈感;
VoltDB:自稱為最快的內(nèi)存數(shù)據(jù)庫(kù)。

列式數(shù)據(jù)庫(kù)

注意:請(qǐng)?jiān)阪I-值數(shù)據(jù)模型閱讀相關(guān)注釋。

Columnar Storage:解釋什么是列存儲(chǔ)以及何時(shí)會(huì)需要用到它;
Actian Vector:面向列的分析型數(shù)據(jù)庫(kù);
C-Store:面向列的DBMS;
MonetDB:列存儲(chǔ)數(shù)據(jù)庫(kù);
Parquet:Hadoop的列存儲(chǔ)格式;
Pivotal Greenplum:專門設(shè)計(jì)的、專用的分析數(shù)據(jù)倉(cāng)庫(kù),類似于傳統(tǒng)的基于行的工具,提供了一個(gè)列式工具;
Vertica:用來(lái)管理大規(guī)模、快速增長(zhǎng)的大量數(shù)據(jù),當(dāng)用于數(shù)據(jù)倉(cāng)庫(kù)時(shí),能夠提供非常快的查詢性能;
Google BigQuery:谷歌的云產(chǎn)品,由其在Dremel的創(chuàng)始工作提供支持;
Amazon Redshift:亞馬遜的云產(chǎn)品,它也是基于柱狀數(shù)據(jù)存儲(chǔ)后端。

時(shí)間序列數(shù)據(jù)庫(kù)

Cube:使用MongoDB來(lái)存儲(chǔ)時(shí)間序列數(shù)據(jù);
Axibase Time Series Database:在HBase之上的分布式時(shí)間序列數(shù)據(jù)庫(kù),它包括內(nèi)置的Rule Engine、數(shù)據(jù)預(yù)測(cè)和可視化;
Heroic:基于Cassandra和Elasticsearch的可擴(kuò)展的時(shí)間序列數(shù)據(jù)庫(kù);
InfluxDB:分布式時(shí)間序列數(shù)據(jù)庫(kù);
Kairosdb:類似于OpenTSDB但會(huì)考慮到Cassandra;
OpenTSDB:在HBase上的分布式時(shí)間序列數(shù)據(jù)庫(kù);
Prometheus:一種時(shí)間序列數(shù)據(jù)庫(kù)和服務(wù)監(jiān)測(cè)系統(tǒng);
Newts:一種基于Apache Cassandra的時(shí)間序列數(shù)據(jù)庫(kù)。

類SQL處理

Actian SQL for Hadoop:高性能交互式的SQL,可訪問(wèn)所有的Hadoop數(shù)據(jù);
Apache Drill:由Dremel授意的交互式分析框架;
Apache HCatalog:Hadoop的表格和存儲(chǔ)管理層;
Apache Hive:Hadoop的類SQL數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng);
Apache Optiq:一種框架,可允許高效的查詢翻譯,其中包括異構(gòu)性及聯(lián)合性數(shù)據(jù)的查詢;
Apache Phoenix:Apache Phoenix是HBase的SQL驅(qū)動(dòng);
Cloudera Impala:由Dremel授意的交互式分析框架;
Concurrent Lingual:Cascading中的類SQL查詢語(yǔ)言;
Datasalt Splout SQL:用于大數(shù)據(jù)集的完整的SQL查詢工具;
Facebook PrestoDB:分布式SQL查詢工具;
Google BigQuery:交互式分析框架,Dremel的實(shí)現(xiàn);
Pivotal HAWQ:Hadoop的類SQL的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng);
RainstorDB:用于存儲(chǔ)大規(guī)模PB級(jí)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫(kù);
Spark Catalyst:用于Spark和Shark的查詢優(yōu)化框架;
SparkSQL:使用Spark操作結(jié)構(gòu)化數(shù)據(jù);
Splice Machine:一個(gè)全功能的Hadoop上的SQLRDBMS,并帶有ACID事務(wù);
Stinger:用于Hive的交互式查詢;
Tajo:Hadoop的分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng);
Trafodion:為企業(yè)級(jí)的SQL-on-HBase針對(duì)大數(shù)據(jù)的事務(wù)或業(yè)務(wù)工作負(fù)載的解決方案。

數(shù)據(jù)攝取

Amazon Kinesis:大規(guī)模數(shù)據(jù)流的實(shí)時(shí)處理;
Apache Chukwa:數(shù)據(jù)采集系統(tǒng);
Apache Flume:管理大量日志數(shù)據(jù)的服務(wù);
Apache Kafka:分布式發(fā)布-訂閱消息系統(tǒng);
Apache Sqoop:在Hadoop和結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)區(qū)之間傳送數(shù)據(jù)的工具;
Cloudera Morphlines:幫助Solr、HBase和HDFS完成ETL的框架;
Facebook Scribe:流日志數(shù)據(jù)聚合器;
Fluentd:采集事件和日志的工具;
Google Photon:實(shí)時(shí)連接多個(gè)數(shù)據(jù)流的分布式計(jì)算機(jī)系統(tǒng),具有高可擴(kuò)展性和低延遲性;
Heka:開(kāi)源流處理軟件系統(tǒng);
HIHO:用Hadoop連接不同數(shù)據(jù)源的框架;
Kestrel:分布式消息隊(duì)列系統(tǒng);
LinkedIn Databus:對(duì)數(shù)據(jù)庫(kù)更改捕獲的事件流;
LinkedIn Kamikaze:壓縮已分類整型數(shù)組的程序包;
LinkedIn White Elephant:日志聚合器和儀表板;
Logstash:用于管理事件和日志的工具;
Netflix Suro:像基于Chukwa的Storm和Samza一樣的日志聚合器;
Pinterest Secor:是實(shí)現(xiàn)Kafka日志持久性的服務(wù);
Linkedin Gobblin:LinkedIn的通用數(shù)據(jù)攝取框架;
Skizze:是一種數(shù)據(jù)存儲(chǔ)略圖,使用概率性數(shù)據(jù)結(jié)構(gòu)來(lái)處理計(jì)數(shù)、略圖等相關(guān)的問(wèn)題;
StreamSets Data Collector:連續(xù)大數(shù)據(jù)采集的基礎(chǔ)設(shè)施,可簡(jiǎn)單地使用IDE。

總結(jié)

以上是生活随笔為你收集整理的史上最全的“大数据”学习资源(上)(山东数漫江湖)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。