手頭有一個新浪微博的數據集，大概在1億條左右。用Pig和Spark寫了幾行代碼，基于400w條微博，統計了每秒鐘發了多少條微博。

Life is too short , show me the code.

將數據從本地拷到HDFS上：

hadoop fs -copyFromLocal /home/data/weibo/201605/weibo_freshdata.2016-05-01 /input/weibo/201605

Pig腳本：

啟動pig的grunt交互式窗口：

pig

默認在Hadoop集群環境中運行。腳本如下：

weibo = LOAD 'hdfs://master:9000/input/weibo/201605/weibo_freshdata.2016-05-01';-- $1是發布事件 grouped_weibo = group weibo by $1;counts = foreach grouped_weibo generate group , COUNT(weibo);store counts into '/output/weibo_time_count';

下面是YARN作業截圖：

啟用了26個Map任務，4個Reduce任務，花了大概2分鐘30秒統計完結果。部分結果如下：

Spark

已yarn-client模式啟動spark-shell：

spark-shell --master yarn-client

統計的代碼如下：

val lines = sc.textFile("hdfs://master:9000/input/weibo/201605/weibo_freshdata.2016-05-01")val records = lines.map(_.split("\t"))val record_count = records.map( rec => (rec(1),1))val group_count = record_count.reduceByKey( (a,b) => a+b)group_count.saveAsTextFile("output/weibo/spark_count")

大概花了17秒鐘得到結果，作業截圖如下：

驗證結果

針對Pig和Spark統計的結果，隨機抽查一下是否一致，結果如下圖，上下分別為Pig和Spark的結果：

可視化

根據統計的結果做了個簡單趨勢圖:

可以大概看出，凌晨4，5，6是一天的低峰期，而上午的9點，晚上8點，則處于比較活躍的高峰。

總結

以上是生活随笔為你收集整理的使用Spark和Pig统计每秒钟微博数量的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。