airflow sql_alchemy_conn mysql_airflow使用mysql数据库,LocalExecutor并发调度
生活随笔
收集整理的這篇文章主要介紹了
airflow sql_alchemy_conn mysql_airflow使用mysql数据库,LocalExecutor并发调度
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
mysql-airflow
在mysql上執行
create database airflow; —— 創建數據庫
GRANT all privileges on airflow.* TO 'airflow'@'%' IDENTIFIED BY '123456'; —— 將數據庫airflow的所有權限授權airflow用戶,密碼123456且該用戶可在任何IP段登錄操作
FLUSH PRIVILEGES; —— 刷新權限
set explicit_defaults_for_timestamp = 1;
修改airflow配置文件airflow.cfg
初始化數據庫
airflow initdb
若之前使用sqllite初始化過可使用airflow resetdb
airflow-LocalExecutor
修改執行器,使airflow并發調度任務
修改配置文件airflow.cfg
executor = LocalExecutor
重啟scheduler即可(默認并發調度16)
分布式問題
1.需要使用同步方式解決dags目錄與worker的同步問題——待解決
總結
以上是生活随笔為你收集整理的airflow sql_alchemy_conn mysql_airflow使用mysql数据库,LocalExecutor并发调度的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 上海哈趣食品有限公司分公司怎么样?
- 下一篇: django 日志写入mysql_如何将