mrjob可以實(shí)現(xiàn)用python開(kāi)發(fā)在Hadoop上實(shí)行
mrjob程序可以在本地測(cè)試運(yùn)行也可以部署到Hadoop集群上運(yùn)行
（1）首先，要在自己的python虛擬環(huán)境中安裝mrjob庫(kù)
pip install mrjob
完成后通過(guò)pip list查看是否安裝成功

（2）寫(xiě)好python文件：

from mrjob.job import MRJobclass MRJobCount(MRJob):def mapper(self, key, line):yield "chars_number", len(line)yield "words_number", len(line.split())yield "lines_number", 1def reducer(self, key, values):yield key, sum(values) if __name__ == '__main__':MRJobCount.run()

（3）寫(xiě)好測(cè)試文件：

（4）實(shí)行命令查看結(jié)果

統(tǒng)計(jì)成功

總結(jié)

以上是生活随笔為你收集整理的hadoop（5）——mrjob的使用（1）——直接在本地测试的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。