Apache Dolphin Scheduler

組件介紹

分布式易擴展的可視化DAG工作流任務調度系統。致力于解決數據處理流程中錯綜復雜的依賴關系，使調度系統在數據處理流程中開箱即用。

官網 : https://dolphinscheduler.apache.org/en-us/

Github : https://github.com/apache/incubator-dolphinscheduler

部署環境

• CDH測試環境
  • 6臺機器
  • 網關節點部署worker
  • CM節點部署master和監控web
  • 網關節點上已經部署hive&spark網關
• 平臺版本
  • CDH5.16.2
  • Dolphin Scheduler 1.2.0
• 基礎軟件
  • PostgreSQL或MySql存儲元數據

前端部署

安裝包下載

https://dolphinscheduler.apache.org/en-us/docs/release/download.html

• 創建部署文件夾/opt/ds，上傳tar包到該目錄中，并進行解壓

# create deploy dir mkdir -p /opt/ds/ds-ui; # decompression tar -zxvf apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-front-bin.tar.gz -C /opt/ds/; mv apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-front-bin ds-1.2.0-ui;

選擇自動化部署

• 檢查yum源，這里是開發環境，外網需要使用代理，需要安裝nginx
• 進入ds-1.2.0-ui目錄，執行install-dolphinscheduler-ui.sh安裝腳本
• 修改前端端口為：8886，防止與Hue端口沖突
• 修改api-server的ip
• 修改api-server端口
• 選擇centos7安裝

修改nginx上傳大小參數

• 添加nginx配置 client_max_body_size 1024m;
• 重啟nginx
• 這一步一定要做，否則資源過大無法上傳資源中心

vi /etc/nginx/nginx.conf# add param client_max_body_size 1024m;# restart nginx systemctl restart nginx

訪問前端頁面的8888（自定義成了8886）端口，出現loading頁面，前端web安裝完成

后端部署

準備工作

下載安裝包

https://dolphinscheduler.apache.org/en-us/docs/release/download.html

上傳tar包到/opt/ds中，并進行解壓

tar -zxvf apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-backend-bin.tar.gz -C /opt/ds/; mv apache-dolphinscheduler-incubating-1.2.1-SNAPSHOT-dolphinscheduler-backend-bin ds-1.2.0-backend;

創建部署用戶

• 創建部署用戶并設置密碼(所有部署機器)
• 將部署用戶掛到hadoop組下，使用hdfs作為資源中心
• 配置sudo免密

# add user dscheduler useradd dscheduler; # modify user password passwd dscheduler; # add sudo vi /etc/sudoers; dscheduler ALL=(ALL) NOPASSWD: ALL

• 切換到部署用戶并配置機器免密登陸，偽分布式需配置本機免密登陸

su dscheduler; ssh-keygen -t rsa; #配置相互免密和單機自身免密，[hostname]配置需要免密的機器hosts ssh-copy-id -i ~/.ssh/id_rsa.pub dscheduler@[hostname];

數據庫初始化

• 進入CDH集群的mysql
  • mysql -uroot -p
• 默認數據庫是pg，mysql需要添加mysql-connector-java包到lib目錄下
• 執行數據庫初始化命令，設置訪問賬號密碼

CREATE DATABASE dscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; GRANT ALL PRIVILEGES ON dscheduler.* TO 'dscheduler'@'%' IDENTIFIED BY 'xxxx'; GRANT ALL PRIVILEGES ON dscheduler.* TO 'dscheduler'@'localhost' IDENTIFIED BY 'xxxx'; FLUSH PRIVILEGES;

• 創建表和導入基礎數據
  • 修改conf目錄下的application-dao.properties文件
  • 注釋掉pg，使用mysql
  • 添加mysql-connector-java包到lib目錄下

- 執行script目錄下的create-dolphinscheduler.sh

配置環境變量

• 修改目錄權限

chown -R dscheduler:dscheduler ds-1.2.0-backend/; chmod -R 755 ds-1.2.0-backend/;

• 修改conf/env目錄下的.dolphinscheduler_env.sh文件
  • ds-1.2.0版本中的Spark任務組件，只能提交Spark1的任務
  • SPARK_HOME1&SPARK_HOME2均配置為集群的Spark2-Home
  • 也可以注釋掉SPARK_HOME1
  • Flink沒有在集群中部署，不修改參數

• 將jdk軟鏈到/bin/java下

ln -s /usr/java/jdk1.8.0_131/bin/java /usr/bin/java

• 修改install.sh的配置，按照集群自身情況
  • 注意參數
    • installPath - 將ds安裝到哪個位置，如：/opt/ds-agent
    • zkQuorum - 一定是ip:2181，記得把2181端口帶上
    • deployUser - 部署用戶，需要有操作HDFS的權限
  • 要使用HDFS作為資源中心，HA情況下，需要將集群的core-site.xml文件和hdfs-site.xml文件拷貝到conf目錄

部署安裝kazoo

• 安裝python的zk工具
  • CDH集群默認是python2.7

yum -y install python-pip; pip install kazoo;

• 執行install腳本，sh install.sh
• 在worker和master機器上使用jps查看服務是否啟動

• 訪問前端
  • 用戶名admin
  • 密碼dolphinscheduler123

• dolphin scheduler 1.2.0部署完成

DAG測試

• 創建租戶

• 創建用戶
• 如果租戶創建有問題，請檢查是否啟用資源中心

• 新建項目并新建工作流

• 運行工作流，查看執行結果

• 至此 Dolphin Scheduler 1.2.0 dag demo測試完成

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。