手頭有一個新浪微博的數(shù)據(jù)集，大概在1億條左右。用Pig和Spark寫了幾行代碼，基于400w條微博，統(tǒng)計了每秒鐘發(fā)了多少條微博。

Life is too short , show me the code.

將數(shù)據(jù)從本地拷到HDFS上：

hadoop fs -copyFromLocal /home/data/weibo/201605/weibo_freshdata.2016-05-01 /input/weibo/201605

Pig腳本：

啟動pig的grunt交互式窗口：

pig

默認(rèn)在Hadoop集群環(huán)境中運(yùn)行。腳本如下：

weibo = LOAD 'hdfs://master:9000/input/weibo/201605/weibo_freshdata.2016-05-01';-- $1是發(fā)布事件 grouped_weibo = group weibo by $1;counts = foreach grouped_weibo generate group , COUNT(weibo);store counts into '/output/weibo_time_count';

下面是YARN作業(yè)截圖：

啟用了26個Map任務(wù)，4個Reduce任務(wù)，花了大概2分鐘30秒統(tǒng)計完結(jié)果。部分結(jié)果如下：

Spark

已yarn-client模式啟動spark-shell：

spark-shell --master yarn-client

統(tǒng)計的代碼如下：

val lines = sc.textFile("hdfs://master:9000/input/weibo/201605/weibo_freshdata.2016-05-01")val records = lines.map(_.split("\t"))val record_count = records.map( rec => (rec(1),1))val group_count = record_count.reduceByKey( (a,b) => a+b)group_count.saveAsTextFile("output/weibo/spark_count")

大概花了17秒鐘得到結(jié)果，作業(yè)截圖如下：

驗證結(jié)果

針對Pig和Spark統(tǒng)計的結(jié)果，隨機(jī)抽查一下是否一致，結(jié)果如下圖，上下分別為Pig和Spark的結(jié)果：

可視化

根據(jù)統(tǒng)計的結(jié)果做了個簡單趨勢圖:

可以大概看出，凌晨4，5，6是一天的低峰期，而上午的9點，晚上8點，則處于比較活躍的高峰。

總結(jié)

以上是生活随笔為你收集整理的使用Spark和Pig统计每秒钟微博数量的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。