hadoop單機配置記錄

1、配置環境
?? ?1)VMware虛擬機，centos7最小化安裝

2、centos最小化安裝默認不開啟網絡
?? ?1)開啟網絡
?? ?命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 #版本不同最后文件名略有不同
?? ?修改最后一行ONBOOT=yes
?? ?2)重啟網絡服務
?? ?命令：service network restart
?? ?3)查看ip
?? ?命令：ip add
?? ?
3、開啟ssh服務
?? ?命令：sudo service sshd start
?? ?
?? ?1)注：如果沒有ssh請安裝
?? ?yum list installed | grep openssh-server
?? ?參考：https://www.cnblogs.com/kinwing/p/11134179.html
?? ?
4、配置免密
?? ?1)ssh-keygen -t dsa -P ''
?? ?2)cat ./.ssh/id_dsa.pub >> ./.ssh/authorized_keys

4、關閉防火墻
?? ?1)查看防火墻狀態：systemctl status firewalld.service
?? ?2)關閉防火墻：systemctl stop firewalld.service
?? ?3)設置開機不啟動：systemctl disable firewalld.service

5、安裝JDK配置環境變量
?? ?1)解壓java包 tar -zxvf ./OpenJDK11U-jdk_x64_linux_openj9_linuxXL_11.0.10_9_openj9-0.24.0.tar.gz
?? ?2)vi /etc/profile
?? ?3)JAVA_HOME ?JRE_HOME ?CLASSPATH ?PATH 的配置
?? ??? ?export JAVA_HOME=/usr/jdk-11.0.10+9
?? ??? ?export JRE_HOME=/usr/jdk-11.0.10+9
?? ??? ?export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
?? ??? ?export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
?? ?4)編輯完之后，執行命令 ?source /etc/profile ? ?使配置生效
?? ?5)輸入命令：java -version ? ?查看剛剛的JDK配置是否生效

5、安裝配置hadoop文件
?? ?1)解壓hadoop包:tar -zxvf ./hadoop-3.2.2.tar.gz
?? ?2)添加環境變量:
?? ??? ?export HADOOP_HOME=/usr//usr/hadoop-3.2.2
?? ??? ?export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
?? ??? ?export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
?? ??? ?export PATH=$PATH:$HADOOP_HOME/bin
?? ?3)在root下創建文件夾，（測試環境用的root用戶，偷懶了）
?? ??? ?mkdir ?/root/hadoop ?
?? ??? ?mkdir ?/root/hadoop/tmp ?
?? ??? ?mkdir ?/root/hadoop/var ?
?? ??? ?mkdir ?/root/hadoop/dfs ?
?? ??? ?mkdir ?/root/hadoop/dfs/name ?
?? ??? ?mkdir ?/root/hadoop/dfs/data
?? ?4)修改 core-site.xml
?? ??? ?<property>
?? ??? ??? ?<name>hadoop.tmp.dir</name>
?? ??? ??? ?<value>/root/hadoop/tmp</value>
?? ??? ??? ?<description>Abase for other temporary directories.</description>
?? ??? ?</property>
?? ??? ??? ?<property>
?? ??? ??? ?<name>fs.default.name</name>
?? ??? ??? ?<value>hdfs://localhost:9000</value>
?? ??? ?</property>
?? ?5)修改 hadoop-env.sh
?? ??? ?執行命令 ?vi hadoop-env.sh，將${JAVA_HOME} 修改為自己的JDK路徑
?? ??? ?export JAVA_HOME=/usr/jdk-11.0.10+9
?? ?6)修改 hdfs-site.xml
?? ??? ?<property>
?? ??? ??? ?<name>dfs.name.dir</name>
?? ??? ??? ?<value>/root/hadoop/dfs/name</value>
?? ??? ??? ?<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>dfs.data.dir</name>
?? ??? ??? ?<value>/root/hadoop/dfs/data</value>
?? ??? ??? ?<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>dfs.replication</name>
?? ??? ??? ?<value>1</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>dfs.permissions</name>
?? ??? ??? ?<value>false</value>
?? ??? ??? ?<description>need not permissions</description>
?? ??? ?</property>
?? ?7)修改 mapred-site.xml
?? ??? ?<property>
?? ??? ??? ?<name>mapred.job.tracker</name>
?? ??? ??? ?<value>localhaost:9001</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>mapred.local.dir</name>
?? ??? ??? ?<value>/root/hadoop/var</value>
?? ??? ?</property>
?? ??? ?<property>
?? ??? ??? ?<name>mapreduce.framework.name</name>
?? ??? ??? ?<value>yarn</value>
?? ??? ?</property>
?? ?8)到此處Hadoop的單機模式配置就完成了
?? ?
6、啟動驗證服務
?? ?1)執行命令 ?./bin/hadoop namenode -format ，初始化hadoop
?? ?2)修改 ./sbin/start-dfs.sh
?? ??? ?在前面添加如下代碼
?? ??? ?HDFS_DATANODE_USER=root
?? ??? ?HADOOP_SECURE_DN_USER=hdfs
?? ??? ?HDFS_NAMENODE_USER=root
?? ??? ?HDFS_SECONDARYNAMENODE_USER=root
?? ?3)修改 ./sbin/start-yarn.sh
?? ??? ?在前面添加如下代碼
?? ??? ?YARN_RESOURCEMANAGER_USER=root
?? ??? ?HADOOP_SECURE_DN_USER=yarn
?? ??? ?YARN_NODEMANAGER_USER=root
?? ??? ?
?? ?4)啟動服務
?? ??? ?./sbin/start-all
?? ??? ?
?? ?5)執行命令jps查看目前啟動的進程
?? ?6)網頁驗證服務是否清單
?? ??? ?http://localhost:8088/cluster
?? ??? ?http://localhost:9870/

****************************完****************************

總結

以上是生活随笔為你收集整理的Hadoop单机配置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。