有勇氣的牛排
官方地址: https://www.920vip.net/

hdoop官網(wǎng)：https://hadoop.apache.org/docs/r3.2.2/

1. 前期環(huán)境搭建

1.1 java環(huán)境配置

先解壓到下面目錄

/usr/lib/jvm/jdk-15.0.2

然后到home里面cd ~

vim .bashrc

將下面配置粘貼到任意位置

#java environment export JAVA_HOME=/usr/lib/jvm/jdk-15.0.2 #export PATH=$PATH:$JAVA_HOME/bin export PATH=${JAVA_HOME}/bin:$PATH # Hadoop Enviroment export HADOOP_HOME=/usr/local/hadoop-3.2.2 export HADOOP_MAPRED_HOME=$HADOOP_HOME export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1.2 安裝免密

sudo apt instll ssh ssh-keygen

查看

ls .ssh cat .ssh/id_rsa.pub>> .ssh/authorized_keys

登陸其他電腦

ssh localhost

2.hadoop 配置

2.1 權(quán)限配置

將hadoop解壓到 /usr/loca/目錄下

并且給 /usr/local/hadoop-3.2.2 授權(quán)超級(jí)用戶(hù)

chown -R charles /usr/local/hadoop-3.2.2

2.2 修改配置文件

2.2.1 hadoop-env.sh

vim /usr/local/hadoop-3.2.2/etc/hadoop/hadoop-env.sh

在54行左右

export JAVA_HOME=/usr/lib/jvm/jdk-15.0.2

2.2.2 核心配置core-site.xml

臨時(shí)目錄不用自己建，系統(tǒng)會(huì)自動(dòng)生成

vim /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml <configuration><!--配置hdfs默認(rèn)的命名--><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><!--配置臨時(shí)目錄--><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop-3.2.2/tmp</value></property> </configuration>

2.2.3 hdfs-site.xml

vim /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml <configuration><!--配置副本個(gè)數(shù) 偽分布 默認(rèn)為1--><property><name>dfs.replication</name><value>1</value></property><!--配置元數(shù)據(jù)的存儲(chǔ)位置--><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop-3.2.2/hadoop_data/hdfs/namenode</value></property><!--配置datanode數(shù)據(jù)存放位置--><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop-3.2.2/hadoop_data/hdfs/datanode</value></property></configuration>

2.2.4 mapreduce設(shè)置 mapred-site.xml

分配計(jì)算任務(wù)位若干個(gè)任務(wù)，再分配到各個(gè)節(jié)點(diǎn)

vim /usr/local/hadoop-3.2.2/etc/hadoop/mapred-site.xml <configuration><!--指定mapreduce運(yùn)行框架--><property><name>mapreduce.framework.name</name><value>yarn</value><final>true</final> <!--此處是否加上待定--></property><!----><property><name>mapreduce.application.classpath</name><value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value></property></configuration>

2.2.5 yarn設(shè)置 yarn-site.xml

資源、節(jié)點(diǎn)管理器，看各個(gè)節(jié)點(diǎn)是否可用

vim /usr/local/hadoop-3.2.2/etc/hadoop/yarn-site.xml <configuration><!--指定mapreduce的shuffle--><property> <name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!-- --><property> <name>yarn.nodemanager.env-whitelist</name><value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value></property> </configuration>

2.3 格式化名字節(jié)點(diǎn)

接下來(lái)構(gòu)建分布式文件系統(tǒng)

hadoop namenode -format

后面這個(gè)刪除了相當(dāng)于把分布式文件系統(tǒng)干掉了（一般不執(zhí)行這里）

ls /usr/local/hadoop-3.2.2/hadoop_data/ rm -rf /usr/local/hadoop-3.2.2/hadoop_data/

2.4 啟動(dòng)全分布式文件系統(tǒng)

start-dfs.sh

查看節(jié)點(diǎn) 有4個(gè)進(jìn)程

jps

2.5 啟動(dòng)資源管理器

這里啟動(dòng)了兩個(gè)服務(wù)

start-yarn.sh

這時(shí)候后臺(tái)有5個(gè)服務(wù)

hadoop jar /usr/local/hadoop-3.2.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar pi 5 10

3 ubuntu軟件安裝

傳送門(mén)：Ubuntu 軟件安裝

總結(jié)

以上是生活随笔為你收集整理的Ubuntu伪分布式hadoop安装的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。