hadoop 集群配置
hadoop是一個能夠對大量數據進行分布式處理的軟件框架，實現了Google的MapReduce編程模型和框架，能夠把應用程序分割成許多的 小的工作單元，并把這些單元放到任何集群節點上執行。在MapReduce中，一個準備提交執行的應用程序稱為“作業（job）”，而從一個作業劃分出 得、運行于各個計算節點的工作單元稱為“任務（task）”。此外，Hadoop提供的分布式文件系統（HDFS）主要負責各個節點的數據存儲，并實現了 高吞吐率的數據讀寫。
在分布式存儲和分布式計算方面，Hadoop都是用從/從（Master/Slave）架構。在一個配置完整的集群上，想讓Hadoop這頭大 象奔跑起來，需要在集群中運行一系列后臺(deamon）程序。不同的后臺程序扮演不用的角色，這些角色由NameNode、DataNode、 Secondary NameNode、JobTracker、TaskTracker組成。其中NameNode、Secondary??NameNode、JobTracker運行在Master節點上，而在每個Slave節點上，部署一個DataNode和TaskTracker，以便 這個Slave服務器運行的數據處理程序能盡可能直接處理本機的數據。對Master節點需要特別說明的是，在小集群中，Secondary??NameNode可以屬于某個從節點；在大型集群中，NameNode和JobTracker被分別部署在兩臺服務器上。
?
master配置
?/usr/local/hadoop/conf下：
?
修改 masters 文件為： ?master
?
修改slaves 文件為：(本人有2從)
slave1
slave2
?
修改 core-site.xml 文件：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>#臨時文件目錄
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop/tmp</value>
</property>
<property>#namenode配置
<name>fs.default.name</name>
<value>hdfs:://192.168.157.64:9000</value>
</property>
</configuration>
?
修改mapred-site.xml文件 ?mapreduce的jobtracker
<property>
<name>mapred.job.tracker</name>
<value>http:://192.168.157.64:9001</value>
</property>
?
修改hdfs-site.xml ? 數據在hdfs存儲的副本數（默認是3）
?<property>
<name>hdfs.replication</name>
<value>3</value>
</property>
?
修改hadoop-env.sh
在最后一行添加 (自己的java目錄)
export JAVA_HOME=/usr/local/src/jdk1.6.0_45?
?
修改/etc/hosts文件
master_ip ? master
slave_ip ? slave
?
修改/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
?
?復制master的hadoop目錄到自己的slave
scp -rp hadoop 192.168.XX.XX：/usr/local/src/?
中途需要確認鏈接、輸入salve的root密碼
?
修改slave的/etc/hosts、/etc/sysconfig/network
?
關閉防火墻、selinux
/etc/init.d/iptables stop
setenforce 0 ? (檢查 getenforce ? 輸出Permissive)
?
?
建立互通鏈接
ssh-keygen ?一路確定
cd ~/.ssh ? ? 進入隱藏文件
master ?執行 ?cat id_rsa.pub > authorized_keys
復制 slave 下的 slave 的公鑰（id_rsa.pub）到master的authorized_keys
master 下執行?
scp -rp?authorized_keys root@slave:~/.ssh/
?
master 執行
cd /usr/local/src/hadoop/bin/
./hasoop namenode -format ? 初始化namenode
./start-all.sh? 動起來
?
使用jps查看
如果 ? bash: jps: command not found... ?
?vim /etc/profile 在最后一行寫上
PATH="/usr/local/src/jdk1.6.0_45/bin:$PATH"
/usr/local/src/jdk1.6.0_45/bin ?自己的java
source /etc/profile
jps
轉載于:https://www.cnblogs.com/aifengguo/p/7398389.html
總結
以上是生活随笔為你收集整理的hadoop 集群配置的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 性能测试-Jmeter
- 下一篇： bzoj 36733674: 可持久化并