需求:

/ 解決是一個(gè)各個(gè)子模塊內(nèi)的熱度排名--》 排名得用sortBy ---》 （可能就是簡(jiǎn)單的排序，或者是二次排序） ---》

// 前面有一個(gè)wordCount---》 算出次數(shù)出來 ?--》 考慮什么作為key

//算的一個(gè)網(wǎng)站下面，每個(gè)子模塊下面的網(wǎng)頁(yè)熱度前2名 ：

// 算的一個(gè)網(wǎng)站下面，每個(gè)子模塊下面的網(wǎng)頁(yè)熱度前2名 --》 每個(gè)子模塊下面的網(wǎng)頁(yè)的次數(shù)的前2名

// 在實(shí)際開發(fā)中，真正代碼時(shí)間可能只占20-30% ，其他時(shí)間都在理解需求，想思路

import?java.net.URL import?org.apache.spark.{SparkConf,?SparkContext}object?Data_anlysis?{def?main(args:?Array[String])?{val?conf?=?new?SparkConf().setAppName("data-anysis").setMaster("local[2]")val?sc?=?new?SparkContext(conf)val?linesRDD?=?sc.textFile("d://web_data.log")val?rdd01?=linesRDD.map(line?=>?{val?lineSplited?=?line.split("\t")(lineSplited(1),1)})val?rdd02?=?rdd01.reduceByKey(_+_)val?rdd03?=?rdd02.map(tup?=>?{val?url?=?tup._1;val?host?=?new?URL(url).getHost(host,url,tup._2)})val?rdd04?=?rdd03.groupBy(_._1)val?rdd05?=?rdd04.mapValues(iter?=>?{iter.toList.sortBy(_._3).reverse.take(2)})println(rdd05.collect().toBuffer)sc.stop()} }

運(yùn)行結(jié)果會(huì)把網(wǎng)站的日志數(shù)據(jù)按照某一模塊的要求列出排名前2個(gè)結(jié)果展示出來。

轉(zhuǎn)載于:https://blog.51cto.com/xingyue2011/1950745

總結(jié)

以上是生活随笔為你收集整理的Spark 分析网站排名热度的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。