Ambari2.7.4 + HDP3.1.4 离线安装(2)
目錄
3.?系統(tǒng)環(huán)境設(shè)置
3.1?安裝JDK(所有節(jié)點(diǎn))
3.1.1?卸載OpenJDK
3.1.2?安裝JDK
3.2?修改節(jié)點(diǎn)名稱(所有節(jié)點(diǎn))
3.2.1?修改/etc/hosts文件(所有節(jié)點(diǎn))
3.2.2?修改/etc/sysconfig/network(所有節(jié)點(diǎn))
3.3?更新阿里巴巴yum源(所有節(jié)點(diǎn))
?3.4?同步時(shí)間ntp
3.4.1?安裝ntp服務(wù)(所有節(jié)點(diǎn))
3.5?關(guān)閉防火墻
3.6?關(guān)閉Selinux和THP(所有節(jié)點(diǎn))
3.6.1?關(guān)閉Selinux
3.6.2?關(guān)閉THP?
3.7?修改文件打開最大限制(所有節(jié)點(diǎn))
3.8?SSH無密碼登錄(主節(jié)點(diǎn))
3.9?安裝MYSQL
3.9.1?安裝前準(zhǔn)備
3.9.2 安裝Mysql
3.?系統(tǒng)環(huán)境設(shè)置
3.1?安裝JDK(所有節(jié)點(diǎn))
Linux自帶的jdk或者是通過yum安裝的jdk都是openjdk
最好是卸載openjdk,通過自己來安裝oracle的jdk。
3.1.1?卸載OpenJDK
[root@master ~]# java -version openjdk version "1.8.0_212" OpenJDK Runtime Environment (build 1.8.0_212-c061) OpenJDK 64-Bit Server VM (build 25.212-c061, mixed mode) [root@master ~]# rpm -qa|grep java javapackages-tools-3.4.1-11.el7.noarch java-1.8.0-openjdk-1.8.0.212-0.c061.el7_7.x86_64 python-javapackages-3.4.1-11.el7_7.noarch tzdata-java-2018d-1.el7_7.noarch java-1.8.0-openjdk-headless-1.8.0.212-0.c061.el7_7.x86_64 [root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.212-0.c061.el7_7.x86_64 [root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.212-0.c061.el7_7.x86_64注意變更當(dāng)前機(jī)器的OpenJDK版本
3.1.2?安裝JDK
拷貝打包好的jdk文件,創(chuàng)建相應(yīng)目錄,拷貝過去后解壓縮,配置環(huán)境變量,注意更換jdk.tar所在路徑
# mkdir -p /app/tools/java/ # cd /app/tools/java/ # cp -f /root/jdk.tar ./ # tar -xvf jdk.tar # export JAVA_HOME=$JAVA_HOME:/app/tools/java/jdk1.8.0_201 # export PATH=$PATH:/app/tools/java/jdk1.8.0_201/bin # export CLASSPATH=$CLASSPATH:/app/tools/java/jdk1.8.0_201/lib/dt.jar:/app/tools/java/jdk1.8.0_201/lib/tools.jar3.2?修改節(jié)點(diǎn)名稱(所有節(jié)點(diǎn))
3.2.1?修改/etc/hosts文件(所有節(jié)點(diǎn))
# vi /etc/hosts172.29.30.61 xxxx1.hadoop.com
172.29.30.62 xxxx2.hadoop.com
172.29.30.63 xxxx3.hadoop.com
172.29.30.64 xxxx4.hadoop.com
172.29.30.65 xxxx5.hadoop.com
需要修改的和主機(jī)名一樣
3.2.2?修改/etc/sysconfig/network(所有節(jié)點(diǎn))
各節(jié)點(diǎn)改成相對(duì)應(yīng)的節(jié)點(diǎn)名即可
[root@master ~]# vi /etc/sysconfig/network # Created by anaconda NETWORKING=yes HOSTNAME=master [root@master ~]# hostnamectl set-hostname master [root@master ~]# hostname接下來通過測(cè)試ping各個(gè)節(jié)點(diǎn)名稱是否調(diào)通
3.3?更新阿里巴巴yum源(所有節(jié)點(diǎn))
阿里巴巴開發(fā)者社區(qū)url: https://developer.aliyun.com/mirror/
選擇Centos
可直接運(yùn)行如下
# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup # curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo # yum makecache?3.4?同步時(shí)間ntp
3.4.1?安裝ntp服務(wù)(所有節(jié)點(diǎn))
# yum -y install ntp?啟動(dòng)服務(wù),查看狀態(tài)并設(shè)置開機(jī)自啟
[root@master ~]# systemctl start ntpd.service [root@master ~]# systemctl status ntpd.service3.5?關(guān)閉防火墻
查看防火墻狀態(tài)
# systemctl status firewalld.service?關(guān)閉防火墻
# systemctl stop firewalld.service設(shè)置開機(jī)不啟動(dòng)
# systemctl disable firewalld.service查看是否成功
# systemctl is-enabled firewalld.service3.6?關(guān)閉Selinux和THP(所有節(jié)點(diǎn))
3.6.1?關(guān)閉Selinux
查看Selinux狀態(tài)
# sestatus關(guān)閉Selinux,提示沒有vim用yum裝一個(gè)或者用vi
# vim /etc/sysconfig/selinux3.6.2?關(guān)閉THP?
查看狀態(tài)
[root@yum ~]# cat /sys/kernel/mm/transparent_hugepage/defrag [always] madvise never [root@yum ~]# cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never關(guān)閉THP并給予文件權(quán)限
# vim /etc/rc.d/rc.local3.7?修改文件打開最大限制(所有節(jié)點(diǎn))
(單獨(dú)設(shè)置需要重啟機(jī)器)
設(shè)置并查看
[root@master ~]# vim /etc/security/limits.conf # End of file * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072[root@master ~]# ulimit -Sn [root@master ~]# ulimit -Hn?修改文件打開文件數(shù)
# vim /etc/systemd/system.conf以下字段修改相應(yīng)內(nèi)容
DefaultLimitNOFILE=1024000
DefaultLimitNPROC=1024000
3.8?SSH無密碼登錄(主節(jié)點(diǎn))
# ssh-keygen -t rsa回車通過,輸入密碼等確認(rèn)通過即可
?
# ssh-copy-id xxx1.hadoop.com # ssh-copy-id xxx2.hadoop.com # ssh-copy-id xxx3.hadoop.com # ssh-copy-id xxx4.hadoop.com # ssh-copy-id xxx5.hadoop.com?測(cè)試是否實(shí)現(xiàn)無密碼登錄 ,無輸入密碼即可通過
# ssh xxx1.hadoop.com date ;ssh xxx2.hadoop.com date;ssh xxx3.hadoop.com date;ssh xxx4.hadoop.com date;ssh xxx5.hadoop.com date;?將剛剛創(chuàng)建的秘鑰拷出來,后面ambari安裝的時(shí)候需要上傳這個(gè)秘鑰。創(chuàng)建秘鑰是在隱藏文件夾/root/.ssh/下面的,所以需要先把秘鑰拷貝到可見區(qū)域,然后拷貝到本機(jī)上。
# cd /root/.ssh/ # cp id_rsa /root/ # ls /root/?到這里reboot重啟一下
3.9?安裝MYSQL
3.9.1?安裝前準(zhǔn)備
1、檢查是否已經(jīng)安裝過mysql,執(zhí)行命令
rpm -qa | grep mysql2、已經(jīng)安裝了mysql,執(zhí)行刪除命令
rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_643、再次執(zhí)行查詢命令,查看是否刪除
rpm -qa | grep mysql4、查詢所有Mysql對(duì)應(yīng)的文件夾
[root@localhost /]# whereis mysql mysql: /usr/bin/mysql /usr/include/mysql [root@localhost lib]# find / -name mysql /data/mysql /data/mysql/mysql5、刪除相關(guān)目錄或文件
rm -rf /usr/bin/mysql /usr/include/mysql /data/mysql /data/mysql/mysql6、檢查mysql用戶組和用戶是否存在,如果沒有,則創(chuàng)建
cat /etc/group | grep mysql cat /etc/passwd |grep mysql groupadd mysql useradd -r -g mysql mysql3.9.2 安裝Mysql
1、解壓
?tar -zxvf mysql-5.7.32-linux-glibc2.12-x86_64.tar.gz -C /usr/local/2、改名
cd /usr/local/ mv mysql-5.7.32-linux-glibc2.12-x86_64 mysql3、創(chuàng)建data目錄
mkdir /usr/local/mysql/data4、更改mysql目錄下所有的目錄及文件夾所屬的用戶組和用戶,以及權(quán)限
chown -R mysql:mysql /usr/local/mysql chmod -R 755 /usr/local/mysql5、檢查該鏈接庫文件有沒有安裝使用 命令進(jìn)行核查
rpm -qa|grep libaio ?系統(tǒng)中無該鏈接庫文件則需要安裝
yum install ?libaio-devel.x86_645、編譯安裝并初始化mysql,務(wù)必記住初始化輸出日志末尾的密碼(數(shù)據(jù)庫管理員臨時(shí)密碼)
?cd /usr/local/mysql/bin ./mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysql6、運(yùn)行初始化命令成功后,輸出日志,記錄日志最末尾位置root@localhost:后的字符串,此字符串為mysql管理員臨時(shí)登錄密碼。
7、編輯配置文件my.cnf,添加配置如下
vi /etc/my.cnf [mysqld] datadir=/usr/local/mysql/data port=3306 sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES symbolic-links=0 max_connections=600 innodb_file_per_table=1 lower_case_table_names=1 character_set_server=utf8相關(guān)參數(shù)解釋
lower_case_table_names:是否區(qū)分大小寫,1表示存儲(chǔ)時(shí)表名為小寫,操作時(shí)不區(qū)分大小寫;0表示區(qū)分大小寫;不能動(dòng)態(tài)設(shè)置,修改后,必須重啟才能生效:
character_set_server:設(shè)置數(shù)據(jù)庫默認(rèn)字符集,如果不設(shè)置默認(rèn)為latin1
innodb_file_per_table:是否將每個(gè)表的數(shù)據(jù)單獨(dú)存儲(chǔ),1表示單獨(dú)存儲(chǔ);0表示關(guān)閉獨(dú)立表空間,可以通過查看數(shù)據(jù)目錄,查看文件結(jié)構(gòu)的區(qū)別;
8、測(cè)試啟動(dòng)mysql服務(wù)器
/usr/local/mysql/support-files/mysql.server start9、添加軟連接,并重啟mysql服務(wù)
ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql service mysql restart10、登錄mysql,修改密碼(密碼為步驟6生成的臨時(shí)密碼)
[root@centos807 bin]# mysql -u root -p mysql: error while loading shared libraries: libncurses.so.5: cannot open shared object file: No such file or directory [root@centos807 bin]#如果登錄報(bào)錯(cuò),需要執(zhí)行以下操作:
修改密碼
mysql> set password for root@localhost = password('123456');11、開放遠(yuǎn)程連接
use mysql; update user set user.Host='%' where user.User='root'; flush privileges;12、設(shè)置開機(jī)自動(dòng)啟動(dòng)
#將服務(wù)文件拷貝到init.d下,并重命名為mysql
cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld#賦予可執(zhí)行權(quán)限
chmod +x /etc/init.d/mysqld#添加服務(wù)
chkconfig --add mysql#顯示服務(wù)列表
chkconfig --list?---------------???????-----???????-----???????-----???????-----???????-----???????-----???????-----
大數(shù)據(jù)萌新,期待與您共同成長!
可關(guān)注企鵝公眾號(hào)【懷瑾握瑜的嘉與嘉】獲取安裝包
?-----???????-----???????-----???????-----???????-----???????-----???????-----???????-----???????-----???????-----???????
?
總結(jié)
以上是生活随笔為你收集整理的Ambari2.7.4 + HDP3.1.4 离线安装(2)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: RNA-seq连特异性
- 下一篇: 工厂模式类图梳理笔记