隨著大數(shù)據(jù)越來(lái)越被重視，數(shù)據(jù)采集的挑戰(zhàn)變的尤為突出。今天為大家介紹幾款數(shù)據(jù)采集平臺(tái)：

　　Apache Flume

　　Fluentd

　　Logstash

　　Chukwa

　　Scribe

　　Splunk Forwarder

　　大數(shù)據(jù)平臺(tái)與數(shù)據(jù)采集

　　任何完整的大數(shù)據(jù)平臺(tái)，一般包括以下的幾個(gè)過(guò)程：

　　數(shù)據(jù)采集

　　數(shù)據(jù)存儲(chǔ)

　　數(shù)據(jù)處理

　　數(shù)據(jù)展現(xiàn)(可視化，報(bào)表和監(jiān)控)

　　

　　其中，數(shù)據(jù)采集是所有數(shù)據(jù)系統(tǒng)必不可少的，隨著大數(shù)據(jù)越來(lái)越被重視，數(shù)據(jù)采集的挑戰(zhàn)也變的尤為突出。這其中包括：

　　數(shù)據(jù)源多種多樣

　　數(shù)據(jù)量大，變化快

　　如何保證數(shù)據(jù)采集的可靠性的性能

　　如何避免重復(fù)數(shù)據(jù)

　　如何保證數(shù)據(jù)的質(zhì)量

　　我們今天就來(lái)看看當(dāng)前可用的六款數(shù)據(jù)采集的產(chǎn)品，重點(diǎn)關(guān)注它們是如何做到高可靠，高性能和高擴(kuò)展。

　　分享之前我還是要推薦下我自己創(chuàng)建的大數(shù)據(jù)學(xué)習(xí)交流Qun531629188

　　無(wú)論是大牛還是想轉(zhuǎn)行想學(xué)習(xí)的大學(xué)生小編我都挺歡迎，晚上20:10都有一節(jié)【免費(fèi)的】

　　大數(shù)據(jù)直播課程，專注大數(shù)據(jù)分析方法,大數(shù)據(jù)編程，大數(shù)據(jù)倉(cāng)庫(kù)，大數(shù)據(jù)案例，人工智能,數(shù)據(jù)挖掘都是純干貨分享，

　　1、Apache Flume

　　官網(wǎng)：https://flume.apache.org/

　　Flume 是Apache旗下的一款開(kāi)源、高可靠、高擴(kuò)展、容易管理、支持客戶擴(kuò)展的數(shù)據(jù)采集系統(tǒng)。 Flume使用JRuby來(lái)構(gòu)建，所以依賴Java運(yùn)行環(huán)境。

　　Flume最初是由Cloudera的工程師設(shè)計(jì)用于合并日志數(shù)據(jù)的系統(tǒng)，后來(lái)逐漸發(fā)展用于處理流數(shù)據(jù)事件。

　　

　　Flume設(shè)計(jì)成一個(gè)分布式的管道架構(gòu)，可以看作在數(shù)據(jù)源和目的地之間有一個(gè)Agent的網(wǎng)絡(luò)，支持?jǐn)?shù)據(jù)路由。

　　

　　每一個(gè)agent都由Source，Channel和Sink組成。

　　Source

　　Source負(fù)責(zé)接收輸入數(shù)據(jù)，并將數(shù)據(jù)寫入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持監(jiān)視一個(gè)目錄或者文件，解析其中新生成的事件。

　　Channel

　　Channel 存儲(chǔ)，緩存從source到Sink的中間數(shù)據(jù)。可使用不同的配置來(lái)做Channel，例如內(nèi)存，文件，JDBC等。使用內(nèi)存性能高但不持久，有可能丟數(shù)據(jù)。使用文件更可靠，但性能不如內(nèi)存。

　　Sink

　　Sink負(fù)責(zé)從管道中讀出數(shù)據(jù)并發(fā)給下一個(gè)Agent或者最終的目的地。Sink支持的不同目的地種類包括：HDFS，HBASE，Solr，ElasticSearch，F(xiàn)ile，Logger或者其它的Flume Agent。

　　

　　Flume在source和sink端都使用了transaction機(jī)制保證在數(shù)據(jù)傳輸中沒(méi)有數(shù)據(jù)丟失。

　　

　　Source上的數(shù)據(jù)可以復(fù)制到不同的通道上。每一個(gè)Channel也可以連接不同數(shù)量的Sink。這樣連接不同配置的Agent就可以組成一個(gè)復(fù)雜的數(shù)據(jù)收集網(wǎng)絡(luò)。通過(guò)對(duì)agent的配置，可以組成一個(gè)路由復(fù)雜的數(shù)據(jù)傳輸網(wǎng)絡(luò)。

　　

　　配置如上圖所示的agent結(jié)構(gòu)，F(xiàn)lume支持設(shè)置sink的Failover和Load Balance，這樣就可以保證即使有一個(gè)agent失效的情況下，整個(gè)系統(tǒng)仍能正常收集數(shù)據(jù)。

　　

　　Flume中傳輸?shù)膬?nèi)容定義為事件(Event)，事件由Headers(包含元數(shù)據(jù)，Meta Data)和Payload組成。

　　Flume提供SDK，可以支持用戶定制開(kāi)發(fā)：

　　Flume客戶端負(fù)責(zé)在事件產(chǎn)生的源頭把事件發(fā)送給Flume的Agent。客戶端通常和產(chǎn)生數(shù)據(jù)源的應(yīng)用在同一個(gè)進(jìn)程空間。常見(jiàn)的Flume客戶端有Avro，log4J，syslog和HTTP Post。另外ExecSource支持指定一個(gè)本地進(jìn)程的輸出作為Flume的輸入。當(dāng)然很有可能，以上的這些客戶端都不能滿足需求，用戶可以定制的客戶端，和已有的FLume的Source進(jìn)行通信，或者定制實(shí)現(xiàn)一種新的Source類型。

　　同時(shí)，用戶可以使用Flume的SDK定制Source和Sink。似乎不支持定制的Channel。

　　2、Fluentd

　　官網(wǎng)：http://docs.fluentd.org/articles/quickstart

　　Fluentd是另一個(gè)開(kāi)源的數(shù)據(jù)收集框架。Fluentd使用C/Ruby開(kāi)發(fā)，使用JSON文件來(lái)統(tǒng)一日志數(shù)據(jù)。它的可插拔架構(gòu)，支持各種不同種類和格式的數(shù)據(jù)源和數(shù)據(jù)輸出。最后它也同時(shí)提供了高可靠和很好的擴(kuò)展性。Treasure Data, Inc 對(duì)該產(chǎn)品提供支持和維護(hù)。

　　

　　Fluentd的部署和Flume非常相似：

　　

　　Fluentd的架構(gòu)設(shè)計(jì)和Flume如出一轍：

　　

　　Fluentd的Input/Buffer/Output非常類似于Flume的Source/Channel/Sink。

　　Input

　　Input負(fù)責(zé)接收數(shù)據(jù)或者主動(dòng)抓取數(shù)據(jù)。支持syslog，http，file tail等。

　　Buffer

　　Buffer負(fù)責(zé)數(shù)據(jù)獲取的性能和可靠性，也有文件或內(nèi)存等不同類型的Buffer可以配置。

　　Output

　　Output負(fù)責(zé)輸出數(shù)據(jù)到目的地例如文件，AWS S3或者其它的Fluentd。

　　Fluentd的配置非常方便，如下圖：

　　

　　Fluentd的技術(shù)棧如下圖：

　　

　　FLuentd和其插件都是由Ruby開(kāi)發(fā)，MessgaePack提供了JSON的序列化和異步的并行通信RPC機(jī)制。

　　

　　Cool.io是基于libev的事件驅(qū)動(dòng)框架。

　　FLuentd的擴(kuò)展性非常好，客戶可以自己定制(Ruby)Input/Buffer/Output。

　　Fluentd從各方面看都很像Flume，區(qū)別是使用Ruby開(kāi)發(fā)，F(xiàn)ootprint會(huì)小一些，但是也帶來(lái)了跨平臺(tái)的問(wèn)題，并不能支持Windows平臺(tái)。另外采用JSON統(tǒng)一數(shù)據(jù)/日志格式是它的另一個(gè)特點(diǎn)。相對(duì)去Flumed，配置也相對(duì)簡(jiǎn)單一些。

　　3、Logstash

　　https://github.com/elastic/logstash

　　Logstash是著名的開(kāi)源數(shù)據(jù)棧ELK (ElasticSearch, Logstash, Kibana)中的那個(gè)L。

　　Logstash用JRuby開(kāi)發(fā)，所有運(yùn)行時(shí)依賴JVM。

　　Logstash的部署架構(gòu)如下圖，當(dāng)然這只是一種部署的選項(xiàng)。

　　

　　一個(gè)典型的Logstash的配置如下，包括了Input，filter的Output的設(shè)置。

　　

　　幾乎在大部分的情況下ELK作為一個(gè)棧是被同時(shí)使用的。所有當(dāng)你的數(shù)據(jù)系統(tǒng)使用ElasticSearch的情況下，logstash是首選。

　　4、Chukwa

　　官網(wǎng)：https://chukwa.apache.org/

　　Apache Chukwa是apache旗下另一個(gè)開(kāi)源的數(shù)據(jù)收集平臺(tái)，它遠(yuǎn)沒(méi)有其他幾個(gè)有名。Chukwa基于Hadoop的HDFS和Map Reduce來(lái)構(gòu)建(顯而易見(jiàn)，它用Java來(lái)實(shí)現(xiàn))，提供擴(kuò)展性和可靠性。Chukwa同時(shí)提供對(duì)數(shù)據(jù)的展示，分析和監(jiān)視。很奇怪的是它的上一次github的更新事7年前。可見(jiàn)該項(xiàng)目應(yīng)該已經(jīng)不活躍了。

　　Chukwa的部署架構(gòu)如下：

　　

　　Chukwa的主要單元有：Agent，Collector，DataSink，ArchiveBuilder，Demux等等，看上去相當(dāng)復(fù)雜。由于該項(xiàng)目已經(jīng)不活躍，我們就不細(xì)看了。

　　5、Scribe

　　代碼托管：https://github.com/facebookarchive/scribe

　　Scribe是Facebook開(kāi)發(fā)的數(shù)據(jù)(日志)收集系統(tǒng)。已經(jīng)多年不維護(hù)，同樣的，就不多說(shuō)了。

　　

　　6、Splunk Forwarder

　　官網(wǎng)：http://www.splunk.com/

　　以上的所有系統(tǒng)都是開(kāi)源的。在商業(yè)化的大數(shù)據(jù)平臺(tái)產(chǎn)品中，Splunk提供完整的數(shù)據(jù)采金，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)分析和處理，以及數(shù)據(jù)展現(xiàn)的能力。

　　Splunk是一個(gè)分布式的機(jī)器數(shù)據(jù)平臺(tái)，主要有三個(gè)角色：

　　Search Head負(fù)責(zé)數(shù)據(jù)的搜索和處理，提供搜索時(shí)的信息抽取。

　　Indexer負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)和索引

　　Forwarder，負(fù)責(zé)數(shù)據(jù)的收集，清洗，變形，并發(fā)送給Indexer

　　

　　Splunk內(nèi)置了對(duì)Syslog，TCP/UDP，Spooling的支持，同時(shí)，用戶可以通過(guò)開(kāi)發(fā)Script Input和Modular Input的方式來(lái)獲取特定的數(shù)據(jù)。在Splunk提供的軟件倉(cāng)庫(kù)里有很多成熟的數(shù)據(jù)采集應(yīng)用，例如AWS，數(shù)據(jù)庫(kù)(DBConnect)等等，可以方便的從云或者是數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)進(jìn)入Splunk的數(shù)據(jù)平臺(tái)做分析。

　　這里要注意的是，Search Head和Indexer都支持Cluster的配置，也就是高可用，高擴(kuò)展的，但是Splunk現(xiàn)在還沒(méi)有針對(duì)Farwarder的Cluster的功能。也就是說(shuō)如果有一臺(tái)Farwarder的機(jī)器出了故障，數(shù)據(jù)收集也會(huì)隨之中斷，并不能把正在運(yùn)行的數(shù)據(jù)采集任務(wù)Failover到其它的Farwarder上。

　　總結(jié)

　　我們簡(jiǎn)單討論了幾種流行的數(shù)據(jù)收集平臺(tái)，它們大都提供高可靠和高擴(kuò)展的數(shù)據(jù)收集。大多平臺(tái)都抽象出了輸入，輸出和中間的緩沖的架構(gòu)。利用分布式的網(wǎng)絡(luò)連接，大多數(shù)平臺(tái)都能實(shí)現(xiàn)一定程度的擴(kuò)展性和高可靠性。

　　其中Flume，F(xiàn)luentd是兩個(gè)被使用較多的產(chǎn)品。如果你用ElasticSearch，Logstash也許是首選，因?yàn)镋LK棧提供了很好的集成。Chukwa和Scribe由于項(xiàng)目的不活躍，不推薦使用。

　　Splunk作為一個(gè)優(yōu)秀的商業(yè)產(chǎn)品，它的數(shù)據(jù)采集還存在一定的限制，相信Splunk很快會(huì)開(kāi)發(fā)出更好的數(shù)據(jù)收集的解決方案。

　　End.

?

總結(jié)

以上是生活随笔為你收集整理的开发者一定要了解的六款大数据采集平台的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。