import findspark #pip install findspark findspark.init() from pyspark import SparkConf,SparkContext conf = SparkConf().setMaster('local').setAppName('Life_of_Pi') sc = SparkContext(conf = conf) text_file = sc.textFile('Life_of_Pi.txt') #見附件下載 wc = text_file.flatMap(lambda line:line.split())\.map(lambda word: (word,1))\.reduceByKey(lambda a,b: a+b)wc.count()

Life_of_Pi.txt? ??

值為17366，但是我們這樣處理之后會存在大小寫和標點符號的問題。我們接下來這樣處理：

import re def normalizeWords(text):return re.compile(r'\W+',re.UNICODE).split(text.lower()) #定義一個函數，應用于每一個item wc_1 = text_file.flatMap(normalizeWords)\ #這里通過定義的函數normalizeWords處理大小寫和標點符號.map(lambda word: (word,1))\.filter(lambda x: x[0])\ #這里處理空格.reduceByKey(lambda a,b: a+b)wc_1.count()

此時我們可以看到值為9977。

如果們還需要按照詞頻大小排序，我們可以這樣處理：

wc_1 = text_file.flatMap(normalizeWords)\.map(lambda word: (word,1))\.filter(lambda x: x[0])\.reduceByKey(lambda a,b: a+b) wcSorted = wc.map(lambda x: (x[1],x[0])).sortByKey(ascending=False) #交換單詞和詞頻的位置，按詞頻大小排序 results = wcSorted.collect() #results for result in results:count = str(result[0])print(result[1] + ':\t' + count)

部分結果如下：

the: 5543 I: 3150 a: 2928 of: 2781 and: 2690 to: 2390 was: 2032 in: 1488 …………

總結

以上是生活随笔為你收集整理的pyspark学习——统计《少年派的奇幻漂流》（lifeofpi）词频的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。