日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

hadoop案例测试——pi值、wordcount函数,hadoop不支持本地库问题

發(fā)布時間:2023/12/20 编程问答 32 豆豆
生活随笔 收集整理的這篇文章主要介紹了 hadoop案例测试——pi值、wordcount函数,hadoop不支持本地库问题 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

前言:本文案例測試所需環(huán)境都是在前面幾篇blog的基礎(chǔ)上進(jìn)行的,具體內(nèi)容請查看:
http://blog.csdn.net/u012829611/article/details/77678609
http://blog.csdn.net/u012829611/article/details/77651855

1.使用hadoop估算pi的值

[hadoop@localhost hadoop-2.7.3]# yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 5 10

:命令中,“5”表示map進(jìn)行5次,“10”表示每次map投擲10次(相當(dāng)于扔飛鏢10次計算出pi的值)

最終計算結(jié)果:

2.使用mapreduce中wordcount函數(shù)計算/input目錄下test文件中單詞出現(xiàn)的次數(shù),結(jié)果輸出到/output目錄下

//hdfs上創(chuàng)建文件夾input

[hadoop@localhost hadoop-2.7.3]# hdfs dfs -mkdir /input [hadoop@localhost hadoop-2.7.3]# hdfs dfs -ls /

//新建test文件,輸入一些字符串

[hadoop@localhost hadoop-2.7.3]# vim test

//將test文件put到hdfs的input目錄下

[hadoop@localhost hadoop-2.7.3]# hdfs dfs -put test /input

//執(zhí)行命令

[hadoop@localhost hadoop-2.7.3]# yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/test /output

//查看output目錄下的文件

[hadoop@localhost hadoop-2.7.3]# hdfs dfs -ls /output

//查看統(tǒng)計結(jié)果

[hadoop@localhost hadoop-2.7.3]# hdfs dfs -cat /output/part-r-00000


①hdfs dfs -rm -r /output //刪除hdfs上的output文件夾


關(guān)于hadoop不支持本地庫問題

問題描述:hadoop安裝完后,使用”hadoop checknative”命令查看是否支持本地庫時,發(fā)現(xiàn)不支持hadoop、zlib、snappy等一些本地庫。

解決方法:執(zhí)行以下命令

[hadoop@localhost bin]# export HADOOP_OPTS="-Djava.library.path=./../lib/native/"

參考文檔:
http://blog.csdn.net/ligt0610/article/details/47757013
https://zhidao.baidu.com/question/1766673293716469500.html

總結(jié)

以上是生活随笔為你收集整理的hadoop案例测试——pi值、wordcount函数,hadoop不支持本地库问题的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。