日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 >

setup hadoop 1.2.1 on Mac

發布時間:2025/6/15 32 豆豆
生活随笔 收集整理的這篇文章主要介紹了 setup hadoop 1.2.1 on Mac 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1. 在終端上輸入?ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/homebrew/go/install)" (這個命令用來安裝brew,如果之前已經安裝了可以省略)


2. 通過brew安裝hadoop

? ? brew install hadoop //這條命令會自動安裝最新的hadoop版本?
? ? 或者
? ? brew search hadoop //這個命令可以顯示可安裝的版本
? ? brew install homebrew/versions/hadoop121 //這樣可以選擇安裝hadoop的版本


3. 安裝完畢后需要設置路徑和環境變量

? ? export HADOOP_HOME="/usr/local/Cellar/hadoop121/1.2.1/libexec"

? ? export HADOOP_VERSION="1.2.1"

? ? PATH=/usr/local/Cellar/hadoop121/1.2.1/libexec/bin:$PATH

? ? export PATH


4. 配置SSH登錄

? ? $ ssh-keygen -t rsa -P ""

? ? $ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

? ? $ ssh localhost


5. 配置偽分布式環境

? ? 需要配置如下四個文件

? ? hadoop-env.sh

? ? core-site.xml

? ? hdfs-site.xml

? ? mapred-site.xml


???hadoop-env.sh

? ?增加 ?export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="


? ??core-site.xml

? ??<configuration>
? ? ? <property>
? ? ? ? <name>fs.default.name</name>
? ? ? ? <value>hdfs://localhost:9000</value>
? ? ? </property>
? ? <property>
? ? ? <name>hadoop.tmp.dir</name>
? ? ? <value>/tmp/hadoop-${user.name}</value>
? ? ? <description>A base for other temporary directories.</description>
? ? </property>
? </configuration>

??

???hdfs-site.xml

? ?<configuration>
? ? ?<property>
? ? ? ?<name>dfs.replication</name>
? ? ? ?<value>1</value>
? ? ?</property>
? ?</configuration>


???mapred-site.xml

? ?<configuration>
? ? ?<property>
? ? ? ?<name>mapred.job.tracker</name>
? ? ? ?<value>localhost:9001</value>
? ? ?</property>
? ? ?<property>
? ? ? ?<name>mapred.tasktracker.map.tasks.maximum</name>
? ? ? ?<value>4</value>
? ? ?</property>
? ? ?<property>
? ? ? ?<name>mapred.tasktracker.reduce.tasks.maximum</name>
? ? ? ?<value>2</value>
? ? </property>
? </configuration>


6. 之后需要對namenode進行format

? ??$ hadoop namenode -format


7. 啟動hadoop

? ??$ /usr/local/Cellar/hadoop/1.1.1/libexec/bin/start-all.sh

? ? 如果設置了上面3中的環境變量,只需要鍵入 start-all.sh


8. 查看hadoop運行狀況

? ? $ jps
? ? 49770 TaskTracker
? ? 49678 JobTracker
? ? 49430 NameNode
? ? 49522 DataNode
? ? 49615 SecondaryNameNode
? ? 49823 Jps


9. 結束hadoop運行

? ?stop-all.sh

總結

以上是生活随笔為你收集整理的setup hadoop 1.2.1 on Mac的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。