利用hadoop計(jì)算技術(shù)對(duì)采集的氣象數(shù)據(jù)信息進(jìn)行處理，主要分兩個(gè)階段：mapper階段和reducer階段，mapper階段主要是對(duì)日志文件進(jìn)行按行讀取并進(jìn)行字符串截取，reducer階段對(duì)mapper階段傳過(guò)來(lái)的數(shù)據(jù)進(jìn)行大小比較，最終獲取每一年中的最高溫度。

具體氣象數(shù)據(jù)的格式可以參考：https://blog.csdn.net/lihuinihao/article/details/38315209

1. 首先將eclipse將MaxTemperature項(xiàng)目打成jar包，并將jar包和氣象數(shù)據(jù)拖拽到虛擬機(jī)上。本文中分析的是1941-1950十年間的數(shù)據(jù)信息，分別存在10個(gè)文件中。

2. 在hdfs系統(tǒng)中新建一個(gè)名為/inputdata_t的安裝目錄

? ? ?hdfs dfs -mkdir?/inputdata_t

3.? 將數(shù)據(jù)集上傳到inputdata_t目錄下

? ? ?hdfs dfs -put ~/桌面/19* /inputdata_t

4. 切換到根目錄并對(duì)數(shù)據(jù)進(jìn)行分析

? ? cd

? ? hadoop jar ~/桌面/MaxTemperature.jar MinTemperature /inputdata_t /output/mintemp

? ??

5. 查看結(jié)果

? ??hdfs dfs -cat /output/mintemp/part-r-00000

6. 下載至本地

? ? hadoop fs -get /output/mintemp/part-r-00000 /opt/hadoop-2.7.6/tmp/

? ??ls ../tmp/

7. 刪除文件

? ??hdfs dfs -rm -r /output/mintemp

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的MapReduce分析NCDC 年气象数据最低温度与最高温度的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。