日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

docker整合hue

發(fā)布時(shí)間:2024/4/18 编程问答 41 豆豆
生活随笔 收集整理的這篇文章主要介紹了 docker整合hue 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

因?yàn)闇y(cè)試需求,需要將各個(gè)開源平臺(tái)整合到一個(gè)大的平臺(tái)中,所以引入了hue,具體操作步驟如下:
此次引入了有postgre,hive,phoenix,hbase,yarn,hdfs

1.拉取鏡像

直接從dockerhub拉取已經(jīng)編譯好的hue:

docker pull gethue/hue


拉取好鏡像后,傳入自己的harbor,本地倉庫,方便后續(xù)集成到k8s管理,具體操作之前也有講過。

2.開啟鏡像安裝相應(yīng)的軟件并修改hue.ini

開啟鏡像命令:docker run -d -it -p 8888:8888 --add-host=xxx.com:你的ip gethue/hue:latest
進(jìn)入鏡像,因?yàn)橐褂胷oot用戶操作,所以進(jìn)入命令如下:

docker exec -ti --user root 容器id bash

我這個(gè)版本的hue鏡像存在/usr/share/hue/desktop/conf/目錄下,因?yàn)榇税姹緃ue并未提供vim,要自行下載,命令如下:

apt-get update apt-get install vim

最好再裝一個(gè)ping:

apt install iputils-ping

最后進(jìn)行文件的修改:

vim hue.ini

修改配置如下:
修改時(shí)區(qū):

postgre相關(guān)項(xiàng):


hive相關(guān)項(xiàng)


hbase相關(guān)項(xiàng):

yarn相關(guān)項(xiàng):

hdfs相關(guān)項(xiàng):

phoenix配置項(xiàng):

這段需要自己加官網(wǎng)也有說:

改完后保存退出容器打包鏡像docker commit即可。

3.修改集群中的響應(yīng)配置文件

首先修改hdfs的相關(guān)文件

其次修改hbase的相關(guān)文件

4.開啟相關(guān)代理服務(wù)

4.1 java

首先集群上肯定要有java環(huán)境并配置好JAVA_HOME環(huán)境變量,并且此hue的對(duì)應(yīng)的版本為java8

4.2 queryserver

在集群上下載好phoenix的服務(wù)端并開啟服務(wù),因?yàn)槲覀兊捻?xiàng)目使用的是hbase的2版本,所以下載的是apache-phoenix-5.0.0-HBase-2.0-bin.tar,方法如下:
首先確定你的集群上有HBASE_HOME的環(huán)境變量,接下來解壓后來到bin目錄下:
執(zhí)行./queryserver.py start即可,雖然是python寫的,但是內(nèi)部最終起來是java來起,會(huì)開啟一個(gè)java進(jìn)程:

注意hbase-site里面的zookeeper配置項(xiàng)我用的不是hbase自帶,使用的是集群模式,而且寫得host域名后不要跟2181它會(huì)默認(rèn)去找2181,如果寫了會(huì)報(bào)錯(cuò),這里應(yīng)該是hue的一個(gè)bug,希望它們后面能改進(jìn)。

4.3 ThriftServer

開啟hbase的ThriftServer服務(wù)在9090端口:

HBASE_HOME/bin/hbase-daemon.sh start thrift


接下來可以看效果了

4.4 開啟hive


hive腳本:

#!/bin/bash HIVE_LOG_DIR=$HIVE_HOME/logs if [ ! -d $HIVE_LOG_DIR ] thenmkdir -p $HIVE_LOG_DIR fi echo "1" function check_process() {pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)echo $pid[[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1 } echo "2" function hive_start() {metapid=$(check_process HiveMetastore 9083)cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"[ -z "$metapid" ] && eval $cmd || echo "Metastroe start"server2pid=$(check_process HiveServer2 10000)cmd="nohup hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"[ -z "$server2pid" ] && eval $cmd || echo "HiveServer2 start" } echo "3" function hive_stop() {metapid=$(check_process HiveMetastore 9083)[ "$metapid" ] && kill $metapid || echo "Metastore not start"server2pid=$(check_process HiveServer2 10000)[ "$server2pid" ] && kill $server2pid || echo "HiveServer2 not start" }case $1 in "start")hive_startecho "2";; "stop")hive_stop;; "restart")hive_stopsleep 2hive_start;; "status")check_process HiveMetastore 9083 >/dev/null && echo "Metastore normalnormal" || echo "Metastore exception"check_process HiveServer2 10000 >/dev/null && echo "HiveServer2 normalnormal" || echo "HiveServer2 exception";; *)echo Invalid Args!echo 'Usage: '$(basename $0)' start|stop|restart|status';; esac

此腳本一定要是unix格式,可以通過set ff=unix命令來使用

5.成功界面演示





總結(jié)

以上是生活随笔為你收集整理的docker整合hue的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。