CDH簡單了解

CDH: C：cloudera(公司) D：distribute H：Hadoop

解決了大數據Hadoop 2.x生態系統中各個框架的版本兼容問題，不用自己編譯, CDH適合商用，版本更新比較慢，也可以選擇其他版本。

CDH版本的安裝

在線：不推薦，受網速影響

離線：rpm包，tar包

之前已經安裝使用過Apache版本的Hadoop，這次為了區分，我們再單獨見一個cdh目錄，用于安裝cdh版本的Hadoop、Hive和Sqoop。在使用sqoop需要先部署CDH版本的Hadoop&Hive，CDH版本和apache版本的服務不要混用，只開啟CDH或者只開啟apache服務就可以。

安裝過程(YUM源已安裝好、系統版本CentOS6.5、java版本是1.7)

首先我們先創建好目錄

準備好安裝包

創建目錄 mkdir –p /opt/bigdata

解壓安裝包

tar -zxvf sqoop-1.4.5-cdh5.3.6.tar.gz -C /opt/bigdata/

tar -zxvf hive-0.13.1-cdh5.3.6.tar.gz -C /opt/bigdata/

tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/bigdata/

我們進入hadoop目錄，把share下doc目錄東西刪除掉，這個用處不大

配置三個env(hadoop,mapred,yarn)文件

export JAVA_HOME= /usr/lib/jvm/java-1.7.0-openjdk.x86_64

編輯三個文件

編輯內容

4個site.xml文件

core:(修改主機名，tmp.dir目錄并在linux下創建相應目錄，用戶名)

hdfs：(修改主機名)

mapred:需先重命名(修改主機名)

yarn：(修改主機名)

core-site.xml

fs.defaultFS

hdfs://mastercdh:8020

hadoop.tmp.dir

/opt/module/cdh/hadoop-2.5.0-cdh5.3.6/data/tmp

hdfs-site.xml

dfs.replication

1

dfs.permissions.enabled

false

dfs.namenode.secondary.http-address

mastercdh:50090

將這個文件重命名為mapred-site.xml

mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

mastercdh:10020

mapreduce.jobhistory.webapp.address

mastercdh:19888

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.resourcemanager.hostname

mastercdh

yarn.log-aggregation-enable

true

yarn.log-aggregation.retain-seconds

106800

格式化namenode

$ bin/hdfs namenode –format

啟動服務

開啟各服務：

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

sbin/hadoop-daemon.sh start secondarynamenode

sbin/mr-jobhistory-daemon.sh start historyserver

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

關閉服務

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh stop datanode

sbin/hadoop-daemon.sh stop secondarynamenode

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/yarn-daemon.sh stop resourcemanager

sbin/yarn-daemon.sh stop nodemanager

我們開啟服務

配置SSH免密登陸可使用：

$ sbin/start-dfs.sh

$ sbin/start-yarn.sh

$ sbin/start-all.sh

我們訪問下,和apache版本相比，頁面顏色有變化

安裝mysql

檢查下是否已下載還有卸載殘留

rpm -qa | grep mysql

find / -name mysql

看來還是有的，通過rm -rf將以上目錄刪掉即可，另外順便把配置文件/etc/my.cnf也刪掉吧，用rm –f

安裝mysql

yum -y install mysql mysql-server

安裝mysql擴展

yum -y install mysql-connector-odbc mysql-devel libdbi-dbd-mysql

啟動mysql

service mysqld start

設置開啟啟動： chkconfig mysqld on

檢查下

chkconfig | grep mysql

設置登錄密碼：mysqladmin -u root password 'password'

進入數據庫，查詢用戶信息

設置遠程登錄權限

grant all privileges on *.* to 'root'@'%' identified by 'password' with grant option;

刪除用戶信息

delete from user where user='root' and host='127.0.0.1';

刷新信息

flush privileges;

update user set password = password("password") where user ="root" and host = "mastercdh";

flush privileges;

重啟mysqld服務

service mysqld restart

進入解壓的hive目錄中配置文件目錄

先重命名hive-default.xml.template

mv hive-default.xml.template hive-site.xml

再重命名hive-env.sh.template

mv hive-env.sh.template hive-env.sh

再重命名hive-log4j.properties.template

mv hive-log4j.properties.template hive-log4j.properties

依次配置

首先hive-env.sh

HADOOP_HOME=/opt/bigdata/hadoop-2.5.0-cdh5.3.6

export HIVE_CONF_DIR=/opt/bigdata/hadoop-2.5.0-cdh5.3.6

編輯hive-site.xml,我們輸入4000dd刪除原來的內容

輸入配置文件

j

javax.jdo.option.ConnectionURL

jdbc:mysql://mastercdh:3306/cdhmetastore?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

root

javax.jdo.option.ConnectionPassword

password

hive.cli.print.current.db

true

hive.cli.print.header

true

配置hive-log4j.properties

hive.log.dir=/opt/bigdata/hive-0.13.1-cdh5.3.6/logs

我們將準備好的mysql的jar包上傳到lib目錄下

mysql-connector-java-5.1.27-bin.jar

切換到Hadoop目錄，建立目錄，并修改權限

/user/hive/warehouse為Hive存放數據的目錄

bin/hdfs dfs -mkdir -p /user/hive/warehouse

bin/hdfs dfs -chmod g+w /user/hive/warehouse

bin/hdfs dfs -chmod g+w /tmp

啟動客戶端使用Hive bin/hive就可以了

解壓zookeeper

tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz -C /opt/bigdata/

進入zookkeeper目錄，創建存放數據的目錄

在conf目錄里

cp -a zoo_sample.cfg zoo.cfg

然后修改：dataDir= /opt/bigdata/zookeeper-3.4.5-cdh5.3.6/zkData

啟動

sbin/zkServer.sh start

可以去查看狀態：sbin/zkServer.sh status

部署sqoop

解壓sqoop后

配置conf/sqoop-env.sh

復制： cp -a sqoop-env-template.sh sqoop-env.sh

或直接重命名重命名hive-env.sh (去掉.template)

編輯文件

export HADOOP_COMMON_HOME=/opt/bigdata/hadoop-2.5.0-cdh5.3.6

export HADOOP_MAPRED_HOME=/opt/bigdata/hadoop-2.5.0-cdh5.3.6

export HIVE_HOME=/opt/bigdata/hive-0.13.1-cdh5.3.6

export ZOOCFGDIR=/opt/bigdata/zookeeper-3.4.5-cdh5.3.6

拷貝jdbc驅動包達到lib目錄

查看幫助信息：bin/sqoop help

測試：sqoop連接mysql

bin/sqoop list-databases --connect jdbc:mysql://mastercdh:3306/ --username root --password password

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的hadoop jar包_快速搭建Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。