Hadoop的改进实验（中文分词词频统计及英文词频统计）（4/4）
?
聲明：
?
1）本文由我bitpeach原創(chuàng)撰寫，轉(zhuǎn)載時(shí)請注明出處，侵權(quán)必究。
?
????2）本小實(shí)驗(yàn)工作環(huán)境為Windows系統(tǒng)下的百度云（聯(lián)網(wǎng)），和Ubuntu系統(tǒng)的hadoop1-2-1（自己提前配好）。如不清楚配置可看《Hadoop之詞頻統(tǒng)計(jì)小實(shí)驗(yàn)初步配置》
?
????3）本文由于過長，無法一次性上傳。其相鄰相關(guān)的博文，可參見《Hadoop的改進(jìn)實(shí)驗(yàn)（中文分詞詞頻統(tǒng)計(jì)及英文詞頻統(tǒng)計(jì)） 博文目錄結(jié)構(gòu)》，以閱覽其余三篇剩余內(nèi)容文檔。
?
（五）單機(jī)偽分布的英文詞頻統(tǒng)計(jì)Python&Streaming
Python與Streaming背景
- Python與Streaming
背景：Python程序也可以運(yùn)用至hadoop中，但不可以使用MapReduce框架，只可以使用Streaming模式借口，該接口專為非java語言提供接口，如C，shell腳本等。
????1）單機(jī)本機(jī)
????Hadoop 0.21.0之前的版本中的Hadoop Streaming工具只支持文本格式的數(shù)據(jù)，而從Hadoop 0.21.0開始，也支持二進(jìn)制格式的數(shù)據(jù)。hadoop streaming調(diào)用非java程序的格式接口為：
????Usage: $HADOOP_HOME/bin/hadoop jar \
????$HADOOP_HOME/contrib/streaming/hadoop-*-streaming.jar [options]
其Options選項(xiàng)大致為：
（1）-input：輸入文件路徑
（2）-output：輸出文件路徑
（3）-mapper：用戶自己寫的mapper程序，可以是可執(zhí)行文件或者腳本
（4）-reducer：用戶自己寫的reducer程序，可以是可執(zhí)行文件或者腳本
（5）-file：打包文件到提交的作業(yè)中，可以是mapper或者reducer要用的輸入文件，如配置文件，字典等。
（6）-partitioner：用戶自定義的partitioner程序
（7）-combiner：用戶自定義的combiner程序（必須用java實(shí)現(xiàn)）
（8）-D：作業(yè)的一些屬性（以前用的是-jonconf）
舉個(gè)例子，具體可以是：
$HADOOP_HOME/bin/hadoop jar \
contrib/streaming/hadoop-0.20.2-streaming.jar \
-input input \
-ouput output \
-mapper mapper.py \
-reducer reducer.py \
-file mapper.py \
-file reducer.py \
????2）百度開放云
????百度開放云很是方便，方便在于提供好了streaming的模式接口，如果需要本機(jī)提供此接口，需要將調(diào)用hadoop里的streaming.jar包，其次格式非常麻煩，有時(shí)總會(huì)不成功。不如百度開放云使用方便，當(dāng)然了物有兩面，百度開放云對于中文處理，顯示總是亂碼，故處理中文類，還是需要單機(jī)下的hadoop平臺。
????當(dāng)然了，和單機(jī)下一樣，至少你要寫好兩個(gè)python腳本，一個(gè)負(fù)責(zé)mapper，一個(gè)負(fù)責(zé)reducer，然后接下來后續(xù)步驟。
百度開放云提供的接口是：
hadoop jar $hadoop_streaming –input Input –output Output –mapper "python mapper.py" –reducer "python reducer.py" –file mapper.py –file reducer.py
只要環(huán)境做好，非常好用，直接成功。
Python英文詞頻統(tǒng)計(jì)實(shí)驗(yàn)
- 實(shí)驗(yàn)過程
背景：Python程序也可以運(yùn)用至hadoop中，但不可以使用MapReduce框架，只可以使用Streaming模式借口，該接口專為非java語言提供接口，如C，shell腳本等。
下面的步驟均是在百度開放云上進(jìn)行操作的，如需在本機(jī)上操作，原理是一樣的，命令也基本相同的。
? ??1）準(zhǔn)備數(shù)據(jù)
????先打算處理簡單文本，因此上傳了三個(gè)簡單的英文單詞文本。如下圖所示，我們可以看到文本里的內(nèi)容。
????然后，我們要開始準(zhǔn)備python腳本，下表可看兩個(gè)腳本的內(nèi)容。
| # Mapper.py #!/usr/bin/env python import sys # maps words to their counts word2count = {} # input comes from STDIN (standard input) for line in sys.stdin: # remove leading and trailing whitespace line = line.strip() # split the line into words while removing any empty strings words = filter(lambda word: word, line.split()) # increase counters for word in words: # write the results to STDOUT (standard output); # what we output here will be the input for the # Reduce step, i.e. the input for reducer.py # # tab-delimited; the trivial word count is 1 print '%s\t%s' % (word, 1) |
| # Reducer.py #!/usr/bin/env python from operator import itemgetter import sys # maps words to their counts word2count = {} # input comes from STDIN for line in sys.stdin: # remove leading and trailing whitespace line = line.strip() # parse the input we got from mapper.py word, count = line.split() # convert count (currently a string) to int try: count = int(count) word2count[word] = word2count.get(word, 0) + count except ValueError: # count was not a number, so silently # ignore/discard this line pass # sort the words lexigraphically; # this step is NOT required, we just do it so that our # final output will look more like the official Hadoop # word count examples sorted_word2count = sorted(word2count.items(), key=itemgetter(0)) # write the results to STDOUT (standard output) for word, count in sorted_word2count: print '%s\t%s'% (word, count) |
????接著，上傳兩個(gè)腳本，并執(zhí)行指令：
????hadoop jar $hadoop_streaming -input Input -output Output -mapper "python ????mapper.py" -reducer "python reducer.py" -file mapper.py -file reducer.py
????工作狀態(tài)的示意圖如下圖所示：
????最后出現(xiàn)結(jié)果，結(jié)果如圖所示。
????至此，streaming模式的英文詞頻統(tǒng)計(jì)實(shí)驗(yàn)結(jié)束。
?
? <<<<<<<<<? 寫在頁面最底的小額打賞? >>>>>>>>>
如果讀者親愿意的話，可以小額打賞我，感謝您的打賞。您的打賞是我的動(dòng)力，非常感激。
必讀：如您愿意打賞，打賞方式任選其一，本頁面右側(cè)的公告欄有支付寶方式打賞，微信方式打賞。
避免因打賞產(chǎn)生法律問題，兩種打賞方式的任一打賞金額上限均為5元，謝謝您的支持。
如有問題，請24小時(shí)內(nèi)通知本人郵件。
轉(zhuǎn)載于:https://www.cnblogs.com/bitpeach/p/3756172.html
總結(jié)
以上是生活随笔為你收集整理的Hadoop的改进实验（中文分词词频统计及英文词频统计）（4/4）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： RISC-V评估系列
- 下一篇： 10-30 章鱼大数据学习