Apache Dolphin Scheduler

組件介紹

分布式易擴(kuò)展的可視化DAG工作流任務(wù)調(diào)度系統(tǒng)。致力于解決數(shù)據(jù)處理流程中錯綜復(fù)雜的依賴關(guān)系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開箱即用。

官網(wǎng) : https://dolphinscheduler.apache.org/en-us/

Github : https://github.com/apache/incubator-dolphinscheduler

部署環(huán)境

• CDH測試環(huán)境
  • 6臺機(jī)器
  • 網(wǎng)關(guān)節(jié)點部署worker
  • CM節(jié)點部署master和監(jiān)控web
  • 網(wǎng)關(guān)節(jié)點上已經(jīng)部署hive&spark網(wǎng)關(guān)
• 平臺版本
  • CDH5.16.2
  • Dolphin Scheduler 1.2.0
• 基礎(chǔ)軟件
  • PostgreSQL或MySql存儲元數(shù)據(jù)

前端部署

安裝包下載

https://dolphinscheduler.apache.org/en-us/docs/release/download.html

• 創(chuàng)建部署文件夾/opt/ds，上傳tar包到該目錄中，并進(jìn)行解壓

# create deploy dir mkdir -p /opt/ds/ds-ui; # decompression tar -zxvf apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-front-bin.tar.gz -C /opt/ds/; mv apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-front-bin ds-1.2.0-ui;

選擇自動化部署

• 檢查yum源，這里是開發(fā)環(huán)境，外網(wǎng)需要使用代理，需要安裝nginx
• 進(jìn)入ds-1.2.0-ui目錄，執(zhí)行install-dolphinscheduler-ui.sh安裝腳本
• 修改前端端口為：8886，防止與Hue端口沖突
• 修改api-server的ip
• 修改api-server端口
• 選擇centos7安裝

修改nginx上傳大小參數(shù)

• 添加nginx配置 client_max_body_size 1024m;
• 重啟nginx
• 這一步一定要做，否則資源過大無法上傳資源中心

vi /etc/nginx/nginx.conf# add param client_max_body_size 1024m;# restart nginx systemctl restart nginx

訪問前端頁面的8888（自定義成了8886）端口，出現(xiàn)loading頁面，前端web安裝完成

后端部署

準(zhǔn)備工作

下載安裝包

https://dolphinscheduler.apache.org/en-us/docs/release/download.html

上傳tar包到/opt/ds中，并進(jìn)行解壓

tar -zxvf apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-backend-bin.tar.gz -C /opt/ds/; mv apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-backend-bin ds-1.2.0-backend;

創(chuàng)建部署用戶

• 創(chuàng)建部署用戶并設(shè)置密碼(所有部署機(jī)器)
• 將部署用戶掛到hadoop組下，使用hdfs作為資源中心
• 配置sudo免密

# add user dscheduler useradd dscheduler; # modify user password passwd dscheduler; # add sudo vi /etc/sudoers; dscheduler ALL=(ALL) NOPASSWD: ALL

• 切換到部署用戶并配置機(jī)器免密登陸，偽分布式需配置本機(jī)免密登陸

su dscheduler; ssh-keygen -t rsa; #配置相互免密和單機(jī)自身免密，[hostname]配置需要免密的機(jī)器hosts ssh-copy-id -i ~/.ssh/id_rsa.pub dscheduler@[hostname];

數(shù)據(jù)庫初始化

• 進(jìn)入CDH集群的mysql
  • mysql -uroot -p
• 默認(rèn)數(shù)據(jù)庫是pg，mysql需要添加mysql-connector-java包到lib目錄下
• 執(zhí)行數(shù)據(jù)庫初始化命令，設(shè)置訪問賬號密碼

CREATE DATABASE dscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL PRIVILEGES ON dscheduler.* TO 'dscheduler'@'%' IDENTIFIED BY 'xxxx'; GRANT ALL PRIVILEGES ON dscheduler.* TO 'dscheduler'@'localhost' IDENTIFIED BY 'xxxx'; FLUSH PRIVILEGES;

• 創(chuàng)建表和導(dǎo)入基礎(chǔ)數(shù)據(jù)
  • 修改conf目錄下的application-dao.properties文件
  • 注釋掉pg，使用mysql
  • 添加mysql-connector-java包到lib目錄下

- 執(zhí)行script目錄下的create-dolphinscheduler.sh

配置環(huán)境變量

• 修改目錄權(quán)限

chown -R dscheduler:dscheduler ds-1.2.0-backend/; chmod -R 755 ds-1.2.0-backend/;

• 修改conf/env目錄下的.dolphinscheduler_env.sh文件
  • ds-1.2.0版本中的Spark任務(wù)組件，只能提交Spark1的任務(wù)
  • SPARK_HOME1&SPARK_HOME2均配置為集群的Spark2-Home
  • 也可以注釋掉SPARK_HOME1
  • Flink沒有在集群中部署，不修改參數(shù)

• 將jdk軟鏈到/bin/java下

ln -s /usr/java/jdk1.8.0_131/bin/java /usr/bin/java

• 修改install.sh的配置，按照集群自身情況
  • 注意參數(shù)
    • installPath - 將ds安裝到哪個位置，如：/opt/ds-agent
    • zkQuorum - 一定是ip:2181，記得把2181端口帶上
    • deployUser - 部署用戶，需要有操作HDFS的權(quán)限
  • 要使用HDFS作為資源中心，HA情況下，需要將集群的core-site.xml文件和hdfs-site.xml文件拷貝到conf目錄

部署安裝kazoo

• 安裝python的zk工具
  • CDH集群默認(rèn)是python2.7

yum -y install python-pip; pip install kazoo;

• 執(zhí)行install腳本，sh install.sh
• 在worker和master機(jī)器上使用jps查看服務(wù)是否啟動

• 訪問前端
  • 用戶名admin
  • 密碼dolphinscheduler123

• dolphin scheduler 1.2.0部署完成

DAG測試

• 創(chuàng)建租戶

• 創(chuàng)建用戶
• 如果租戶創(chuàng)建有問題，請檢查是否啟用資源中心

• 新建項目并新建工作流

• 運行工作流，查看執(zhí)行結(jié)果

• 至此 Dolphin Scheduler 1.2.0 dag demo測試完成

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。