Hadoop三種部署模式以及兩個(gè)重要配置文件

---

Hadoop三種部署模式

部署模式簡(jiǎn)介特點(diǎn)

本地模式	在單臺(tái)服務(wù)器上進(jìn)行開發(fā)和調(diào)試。	1. 無運(yùn)行守護(hù)進(jìn)程（daemon），不使用分布式文件系統(tǒng)（HDFS），而是使用本地計(jì)算機(jī)的文件系統(tǒng) 2. 所有程序都在本機(jī)JVM上執(zhí)行，不啟動(dòng)NameNode、DataNode、JobTracker和TaskTracker等服務(wù)進(jìn)程，同一進(jìn)程提供了所有的服務(wù)。
偽分布式	在一臺(tái)主機(jī)上模擬多臺(tái)主機(jī)	啟動(dòng)進(jìn)程：DataNode、NameNode、Secondary NameNode
完全分布式		實(shí)際生產(chǎn)環(huán)境使用

部署Hadoop集群時(shí)需要配置的兩個(gè)重要文件及其中重要的屬性

core-site.xml和hdfs-site.xml文件，重要的屬性包括name、value屬性

core-site.xmlhadoop.tmp.dir臨時(shí)目錄位置

	fs.defaultFS	設(shè)置默認(rèn)HDFS端口

<!--core-site.xml--><configuration><property><name>hadoop.tmp.dir</name><value>/usr/local/java/hadoop/hadoop-2.7.1/tmp</value><description>Abaseforothertemporarydirectories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property> </configuration> hdfs-site.xmldfs.replication同一數(shù)據(jù)塊的副本數(shù)

	dfs.namenode.name.dir	NameNode保存元數(shù)據(jù)的位置
	dfs.datanode.data.dir	DataNode保存位置

<!--hdfs-site.xml--><configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/data</value></property> </configuration>

總結(jié)

以上是生活随笔為你收集整理的Hadoop部署的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。