MapR的分布式集群安裝過程還是很艱難的，遠(yuǎn)遠(yuǎn)沒有計劃中的簡單。本人總結(jié)安裝配置，由于集群有很多機器，手動每臺配置是很累的，編寫了一個自動化配置腳本，下面以腳本為主線敘述（腳本并不完善，后續(xù)繼續(xù)完善中）。

　　編寫腳本需要shell基礎(chǔ)的，還要掌握awk和sed等統(tǒng)計手段為佳。操作系統(tǒng)是CentOS7。

　　準(zhǔn)備：安裝CentOS操作系統(tǒng)并分區(qū)

　　分區(qū)：

　　/ 50G

　　/home 50G

　　/boot 500M

　　/var 50G

　　/swap 8G

　　/disk 305G（剩余全部，用于MapR的文件管理系統(tǒng)使用。特別注意，后面需要去掉掛載，reboot后會進(jìn)入緊急模式，需要在配置里刪掉disk的掛載）

　　一 配置IP

　　根據(jù)公司網(wǎng)絡(luò)代理配置Ip，這里注意使用awk，用=劃分每一行，根據(jù)=前的變量修改=后的變量，輸出到備份文件中；然后替換原有的Ip配置文件，最后重啟網(wǎng)卡。ip在設(shè)置前一定要ping一下，不通才可以使用，否則會有ip沖突。

function config_ip(){ NETWORK_PATH=/etc/sysconfig/network-scripts/ ENFILE=`ls $NETWORK_PATH/ifcfg-en*` IPADDR="10.4.45.211" NETMASK="255.255.255.0" GATEWAY="10.4.45.1" DNS1="210.83.210.155" TEMP_FILE="ifcfg.temp"cat $ENFILE | awk -F "=" '{if($1=="BOOTPROTO"){print $1"=static"}else if($1=="ONBOOT"){print $1"=yes"}else{print $1"="$2} } ' > $TEMP_FILE echo "IPADDR="$IPADDR >> $TEMP_FILE echo "NETMASK="$NETMASK >> $TEMP_FILE echo "GATEWAY="$GATEWAY >> $TEMP_FILE echo "DNS1="$DNS1 >> $TEMP_FILEmv $TEMP_FILE $ENFILE service network restart }

　　二 配置host文件

　　本集群暫時有四臺主機，分別為apm1,apm2,apm3和apm4。用相應(yīng)名稱代替ip，簡化了機器間的通訊。

function config_hosts(){echo "10.4.45.210 apm1" >> /etc/hosts echo "10.4.45.211 apm2" >> /etc/hosts echo "10.4.45.212 apm3" >> /etc/hosts echo "10.4.45.213 apm4" >> /etc/hosts }

　　三 配置網(wǎng)絡(luò)代理

　　/etc/profile文件中加入代理配置，但這里是追加到文件尾部了，需要替換到文件頂部。根據(jù)自己的代理配置賬戶和密碼。

?

function config_proxy(){ echo "# add by user" >> /etc/profile echo "setterm -blength 0" >> /etc/profile echo "export http_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profile echo "export https_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profile echo "export ftp_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profilesource /etc/profile#curl "www.baidu.com" }

　　四 配置本地repo

　　repo配置成國內(nèi)鏡像，可以加快下載速度。

function config_repo(){ WY_REPO=CentOS-163.com.repo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup cp /mnt/usb/$WY_REPO /etc/yum.repos.d/CentOS-Base.repo yum clean all yum makecache }

　　五 下載安裝JDK

　　上一步配置好代理后，下面就可以yum下載安裝JDK，vim,和createrepo。

function config_software(){ yum install vim yum install java-1.8.0-openjdk-devel.x86_64 yum install createrepo }

　　六 安裝MapR

　　使用MapR的repo，配置安裝MapR相應(yīng)的服務(wù)，包括fileserver,nfs,nodemanager,zookeeper,resourcemanager 和cldb

function config_mapr(){ MAPR_REPO=CentOS-mapr.repo cp /mnt/usb/$MAPR_REPO /etc/yum.repos.d/maprtech.repo yum install mapr-fileserver yum install mapr-nfs yum install mapr-nodemanager yum install mapr-zookeeper yum install mapr-resourcemanager #yum install mapr-cldb }

　　七 配置env.sh

function config_env(){ bash /opt/mapr/conf/env.sh }

　　以上為腳本的內(nèi)容，可以完成MapR的大部分自動化配置安裝。

　　八 格式化disk，配置結(jié)點

　　后續(xù)完善。。。。。。。

?

　　腳本源碼為下：

#!/bin/bash# config ip address function config_ip(){ NETWORK_PATH=/etc/sysconfig/network-scripts/ ENFILE=`ls $NETWORK_PATH/ifcfg-en*` IPADDR="10.4.45.211" NETMASK="255.255.255.0" GATEWAY="10.4.45.1" DNS1="210.83.210.155" TEMP_FILE="ifcfg.temp"cat $ENFILE | awk -F "=" '{if($1=="BOOTPROTO"){print $1"=static"}else if($1=="ONBOOT"){print $1"=yes"}else{print $1"="$2} } ' > $TEMP_FILE echo "IPADDR="$IPADDR >> $TEMP_FILE echo "NETMASK="$NETMASK >> $TEMP_FILE echo "GATEWAY="$GATEWAY >> $TEMP_FILE echo "DNS1="$DNS1 >> $TEMP_FILEmv $TEMP_FILE $ENFILE service network restart }# config hosts function config_hosts(){echo "10.4.45.210 apm1" >> /etc/hosts echo "10.4.45.211 apm2" >> /etc/hosts echo "10.4.45.212 apm3" >> /etc/hosts echo "10.4.45.213 apm4" >> /etc/hosts }# config proxy function config_proxy(){ echo "# add by user" >> /etc/profile echo "setterm -blength 0" >> /etc/profile echo "export http_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profile echo "export https_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profile echo "export ftp_proxy=http://sunyandong:Ulic2016@dl-proxy.neusoft.com:8080/" >> /etc/profilesource /etc/profile#curl "www.baidu.com" }function config_repo(){#cp -r /mnt/usb/mapr /home/# config repo WY_REPO=CentOS-163.com.repo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup cp /mnt/usb/$WY_REPO /etc/yum.repos.d/CentOS-Base.repo yum clean all yum makecache }# config softwarefunction config_software(){ yum install vim yum install java-1.8.0-openjdk-devel.x86_64 yum install createrepo}# mapr repo function config_mapr(){ #cp /mnt/usb/mapr/* /home/apm2/mapr #createrepo /mnt/usb/mapr MAPR_REPO=CentOS-mapr.repo cp /mnt/usb/$MAPR_REPO /etc/yum.repos.d/maprtech.repo#rpm --import http://package.mapr.com/releases/pub/maprgpg.keyyum install mapr-fileserver yum install mapr-nfs yum install mapr-nodemanager yum install mapr-zookeeper yum install mapr-resourcemanager #yum install mapr-cldb }function config_env(){ bash /opt/mapr/conf/env.sh }# main config_repo config_software config_mapr #config_ip #config_hosts #config_proxy

?

轉(zhuǎn)載于:https://www.cnblogs.com/rongyux/p/5661009.html

總結(jié)

以上是生活随笔為你收集整理的Hadoop(MapR)分布式安装及自动化脚本配置的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。