在linux上一行代碼不用寫實現(xiàn)自動采集+hadoop分詞

將下面的shell腳本保存成到xxx.sh，然后執(zhí)行即可

cd /opt/hadoop

mkdir spider
wget -O spider/test.html "http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html" ?
hadoop fs -mkdir /spider
hadoop fs -put spider/test.html /spider

hadoop jar share/hadoop/mapreduce/wordcount.jar wordcount.wordcount /spider/test.html /fenci2

執(zhí)行結(jié)果如下：

轉(zhuǎn)載于:https://www.cnblogs.com/bdccloudy/p/7665264.html

總結(jié)

以上是生活随笔為你收集整理的在linux上一行代码不用写实现自动采集+hadoop分词的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。