?

1 下載安裝包

2 上傳并解壓（不需要修改配置文件）

?

tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz mv spark-1.6.2-bin-hadoop2.6 spark

?

3 啟動(dòng)

進(jìn)入spark/bin

./spark-shell

?

計(jì)算單詞出現(xiàn)次數(shù)

sc.textFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

?

按照單詞出現(xiàn)次數(shù)降序排列

sc.textFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect

?

?

把計(jì)算結(jié)果保存

sc.textFile("/root/words.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).saveAsTextFile("/root/out")

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/feifeicui/p/10485427.html

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的大数据学习——spark安装的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。