javascript
Spring Job?Quartz?XXL-Job?年轻人才做选择,艿艿全莽~
本文在提供完整代碼示例,可見(jiàn) https://github.com/YunaiV/SpringBoot-Labs 的 lab-28 目錄。
原創(chuàng)不易,給點(diǎn)個(gè) Star 嘿,一起沖鴨!
1. 概述
在產(chǎn)品的色彩斑斕的黑的需求中,有存在一類需求,是需要去定時(shí)執(zhí)行的,此時(shí)就需要使用到定時(shí)任務(wù)。例如說(shuō),每分鐘掃描超時(shí)支付的訂單,每小時(shí)清理一次日志文件,每天統(tǒng)計(jì)前一天的數(shù)據(jù)并生成報(bào)表,每個(gè)月月初的工資單的推送,每年一次的生日提醒等等。
其中,艿艿最喜歡“每個(gè)月月初的工資單的推送”,你呢?
在 JDK 中,內(nèi)置了兩個(gè)類,可以實(shí)現(xiàn)定時(shí)任務(wù)的功能:
-
java.util.Timer?:可以通過(guò)創(chuàng)建?java.util.TimerTask?調(diào)度任務(wù),在同一個(gè)線程中串行執(zhí)行,相互影響。也就是說(shuō),對(duì)于同一個(gè) Timer 里的多個(gè) TimerTask 任務(wù),如果一個(gè) TimerTask 任務(wù)在執(zhí)行中,其它 TimerTask 即使到達(dá)執(zhí)行的時(shí)間,也只能排隊(duì)等待。因?yàn)?Timer 是串行的,同時(shí)存在 坑坑 ,所以后來(lái) JDK 又推出了 ScheduledExecutorService ,Timer 也基本不再使用。
-
java.util.concurrent.ScheduledExecutorService?:在 JDK 1.5 新增,基于線程池設(shè)計(jì)的定時(shí)任務(wù)類,每個(gè)調(diào)度任務(wù)都會(huì)被分配到線程池中并發(fā)執(zhí)行,互不影響。這樣,ScheduledExecutorService 就解決了 Timer 串行的問(wèn)題。
在日常開(kāi)發(fā)中,我們很少直接使用 Timer 或 ScheduledExecutorService 來(lái)實(shí)現(xiàn)定時(shí)任務(wù)的需求。主要有幾點(diǎn)原因:
-
它們僅支持按照指定頻率,不直接支持指定時(shí)間的定時(shí)調(diào)度,需要我們結(jié)合 Calendar 自行計(jì)算,才能實(shí)現(xiàn)復(fù)雜時(shí)間的調(diào)度。例如說(shuō),每天、每周五、2019-11-11 等等。
-
它們是進(jìn)程級(jí)別,而我們?yōu)榱藢?shí)現(xiàn)定時(shí)任務(wù)的高可用,需要部署多個(gè)進(jìn)程。此時(shí)需要等多考慮,多個(gè)進(jìn)程下,同一個(gè)任務(wù)在相同時(shí)刻,不能重復(fù)執(zhí)行。
-
項(xiàng)目可能存在定時(shí)任務(wù)較多,需要統(tǒng)一的管理,此時(shí)不得不進(jìn)行二次封裝。
所以,一般情況下,我們會(huì)選擇專業(yè)的調(diào)度任務(wù)中間件。
關(guān)于“任務(wù)”的叫法,也有叫“作業(yè)”的。在英文上,有 Task 也有 Job 。本質(zhì)是一樣的,本文兩種都會(huì)用。
然后,一般來(lái)說(shuō)是調(diào)度任務(wù),定時(shí)執(zhí)行。所以胖友會(huì)在本文,或者其它文章中,會(huì)看到“調(diào)度”或“定時(shí)”的字眼兒。
在 Spring 體系中,內(nèi)置了兩種定時(shí)任務(wù)的解決方案:
-
第一種,Spring Framework 的 Spring Task 模塊,提供了輕量級(jí)的定時(shí)任務(wù)的實(shí)現(xiàn)。
-
第二種,Spring Boot 2.0 版本,整合了 Quartz 作業(yè)調(diào)度框架,提供了功能強(qiáng)大的定時(shí)任務(wù)的實(shí)現(xiàn)。
注:Spring Framework 已經(jīng)內(nèi)置了 Quartz 的整合。Spring Boot 1.X 版本未提供 Quartz 的自動(dòng)化配置,而 2.X 版本提供了支持。
在 Java 生態(tài)中,還有非常多優(yōu)秀的開(kāi)源的調(diào)度任務(wù)中間件:
-
Elastic-Job
唯品會(huì)基于 Elastic-Job 之上,演化出了 Saturn 項(xiàng)目。
-
Apache DolphinScheduler
-
XXL-JOB
目前國(guó)內(nèi)采用 Elastic-Job 和 XXL-JOB 為主。從艿艿了解到的情況,使用 XXL-JOB 的團(tuán)隊(duì)會(huì)更多一些,主要是上手較為容易,運(yùn)維功能更為完善。
本文,我們會(huì)按照 Spring Task、Quartz、XXL-JOB 的順序,進(jìn)行分別入門。而在文章的結(jié)尾,會(huì)簡(jiǎn)單聊聊分布式定時(shí)任務(wù)的實(shí)現(xiàn)原理。
2. 快速入門 Spring Task
示例代碼對(duì)應(yīng)倉(cāng)庫(kù):lab-28-task-demo 。
考慮到實(shí)際場(chǎng)景下,我們很少使用 Spring Task ,所以本小節(jié)會(huì)寫的比較簡(jiǎn)潔。如果對(duì) Spring Task 比較感興趣的胖友,可以自己去閱讀 《Spring Framework Documentation —— Task Execution and Scheduling》 文檔,里面有 Spring Task 相關(guān)的詳細(xì)文檔。
在本小節(jié),我們會(huì)使用 Spring Task 功能,實(shí)現(xiàn)一個(gè)每 2 秒打印一行執(zhí)行日志的定時(shí)任務(wù)。
2.1 引入依賴
在?pom.xml?文件中,引入相關(guān)依賴。
<?xml?version="1.0"?encoding="UTF-8"?> <project?xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0?http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.2.1.RELEASE</version><relativePath/>?<!--?lookup?parent?from?repository?--></parent><modelVersion>4.0.0</modelVersion><artifactId>lab-28-task-demo</artifactId><dependencies><!--?實(shí)現(xiàn)對(duì)?Spring?MVC?的自動(dòng)化配置?--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency></dependencies></project>因?yàn)?Spring Task 是 Spring Framework 的模塊,所以在我們引入?spring-boot-starter-web?依賴后,無(wú)需特別引入它。
同時(shí),考慮到我們希望讓項(xiàng)目啟動(dòng)時(shí),不自動(dòng)結(jié)束 JVM 進(jìn)程,所以我們引入了?spring-boot-starter-web?依賴。
2.2 ScheduleConfiguration
在?cn.iocoder.springboot.lab28.task.config?包路徑下,創(chuàng)建 ScheduleConfiguration 類,配置 Spring Task 。代碼如下:
//?ScheduleConfiguration.java@Configuration @EnableScheduling public?class?ScheduleConfiguration?{ }-
在類上,添加?@EnableScheduling?注解,啟動(dòng) Spring Task 的定時(shí)任務(wù)調(diào)度的功能。
2.3 DemoJob
在?cn.iocoder.springboot.lab28.task.job?包路徑下,創(chuàng)建 DemoJob 類,示例定時(shí)任務(wù)類。代碼如下:
//?DemoJob.java@Component public?class?DemoJob?{private?Logger?logger?=?LoggerFactory.getLogger(getClass());private?final?AtomicInteger?counts?=?new?AtomicInteger();@Scheduled(fixedRate?=?2000)public?void?execute()?{logger.info("[execute][定時(shí)第?({})?次執(zhí)行]",?counts.incrementAndGet());}}-
在類上,添加?@Component?注解,創(chuàng)建 DemoJob Bean 對(duì)象。
-
創(chuàng)建?#execute()?方法,實(shí)現(xiàn)打印日志。同時(shí),在該方法上,添加?@Scheduled?注解,設(shè)置每 2 秒執(zhí)行該方法。
雖然說(shuō),@Scheduled?注解,可以添加在一個(gè)類上的多個(gè)方法上,但是艿艿的個(gè)人習(xí)慣上,還是一個(gè) Job 類,一個(gè)定時(shí)任務(wù)。😈
2.4 Application
創(chuàng)建?Application.java?類,配置?@SpringBootApplication?注解即可。代碼如下:
@SpringBootApplication public?class?Application?{public?static?void?main(String[]?args)?{SpringApplication.run(Application.class,?args);}}運(yùn)行 Application 類,啟動(dòng)示例項(xiàng)目。輸出日志精簡(jiǎn)如下:
#?初始化一個(gè)?ThreadPoolTaskScheduler?任務(wù)調(diào)度器 2019-11-30?18:02:58.415??INFO?83730?---?[???????????main]?o.s.s.c.ThreadPoolTaskScheduler??????????:?Initializing?ExecutorService?'taskScheduler'#?每?2?秒,執(zhí)行一次?DemoJob?的任務(wù) 2019-11-30?18:02:58.449??INFO?83730?---?[?pikaqiu-demo-1]?c.i.springboot.lab28.task.job.DemoJob????:?[execute][定時(shí)第?(1)?次執(zhí)行] 2019-11-30?18:03:00.438??INFO?83730?---?[?pikaqiu-demo-1]?c.i.springboot.lab28.task.job.DemoJob????:?[execute][定時(shí)第?(2)?次執(zhí)行] 2019-11-30?18:03:02.442??INFO?83730?---?[?pikaqiu-demo-2]?c.i.springboot.lab28.task.job.DemoJob????:?[execute][定時(shí)第?(3)?次執(zhí)行]-
通過(guò)日志,我們可以看到,初始化一個(gè) ThreadPoolTaskScheduler 任務(wù)調(diào)度器。之后,每 2 秒,執(zhí)行一次 DemoJob 的任務(wù)。
至此,我們已經(jīng)完成了 Spring Task 調(diào)度任務(wù)功能的入門。實(shí)際上,Spring Task 還提供了異步任務(wù) ,這個(gè)我們?cè)谄渌恼轮?#xff0c;詳細(xì)講解。
下面「2.5 @Scheduled」和「2.6 應(yīng)用配置文件」兩個(gè)小節(jié),是補(bǔ)充知識(shí),建議看看。
2.5 @Scheduled
@Scheduled?注解,設(shè)置定時(shí)任務(wù)的執(zhí)行計(jì)劃。
常用屬性如下:
-
cron?屬性:Spring Cron 表達(dá)式。例如說(shuō),"0 0 12 * * ?"?表示每天中午執(zhí)行一次,"11 11 11 11 11 ?"?表示 11 月 11 號(hào) 11 點(diǎn) 11 分 11 秒執(zhí)行一次(哈哈哈)。更多示例和講解,可以看看 《Spring Cron 表達(dá)式》 文章。注意,以調(diào)用完成時(shí)刻為開(kāi)始計(jì)時(shí)時(shí)間。
-
fixedDelay?屬性:固定執(zhí)行間隔,單位:毫秒。注意,以調(diào)用完成時(shí)刻為開(kāi)始計(jì)時(shí)時(shí)間。
-
fixedRate?屬性:固定執(zhí)行間隔,單位:毫秒。注意,以調(diào)用開(kāi)始時(shí)刻為開(kāi)始計(jì)時(shí)時(shí)間。
-
這三個(gè)屬性,有點(diǎn)雷同,可以看看 《@Scheduled 定時(shí)任務(wù)的fixedRate、fixedDelay、cron 的區(qū)別》 ,一定要分清楚差異。
不常用屬性如下:
-
initialDelay?屬性:初始化的定時(shí)任務(wù)執(zhí)行延遲,單位:毫秒。
-
zone?屬性:解析 Spring Cron 表達(dá)式的所屬的時(shí)區(qū)。默認(rèn)情況下,使用服務(wù)器的本地時(shí)區(qū)。
-
initialDelayString?屬性:initialDelay?的字符串形式。
-
fixedDelayString?屬性:fixedDelay?的字符串形式。
-
fixedRateString?屬性:fixedRate?的字符串形式。
2.6 應(yīng)用配置文件
在?application.yml?中,添加 Spring Task 定時(shí)任務(wù)的配置,如下:
spring:task:#?Spring?Task?調(diào)度任務(wù)的配置,對(duì)應(yīng)?TaskSchedulingProperties?配置類scheduling:thread-name-prefix:?pikaqiu-demo-?#?線程池的線程名的前綴。默認(rèn)為?scheduling-?,建議根據(jù)自己應(yīng)用來(lái)設(shè)置pool:size:?10?#?線程池大小。默認(rèn)為?1?,根據(jù)自己應(yīng)用來(lái)設(shè)置shutdown:await-termination:?true?#?應(yīng)用關(guān)閉時(shí),是否等待定時(shí)任務(wù)執(zhí)行完成。默認(rèn)為?false?,建議設(shè)置為?trueawait-termination-period:?60?#?等待任務(wù)完成的最大時(shí)長(zhǎng),單位為秒。默認(rèn)為?0?,根據(jù)自己應(yīng)用來(lái)設(shè)置-
在?spring.task.scheduling?配置項(xiàng),Spring Task 調(diào)度任務(wù)的配置,對(duì)應(yīng) TaskSchedulingProperties 配置類。
-
Spring Boot TaskSchedulingAutoConfiguration 自動(dòng)化配置類,實(shí)現(xiàn) Spring Task 的自動(dòng)配置,創(chuàng)建 ThreadPoolTaskScheduler 基于線程池的任務(wù)調(diào)度器。本質(zhì)上,ThreadPoolTaskScheduler 是基于 ScheduledExecutorService 的封裝,增強(qiáng)在調(diào)度時(shí)間上的功能。
注意,spring.task.scheduling.shutdown?配置項(xiàng),是為了實(shí)現(xiàn) Spring Task 定時(shí)任務(wù)的優(yōu)雅關(guān)閉。我們想象一下,如果定時(shí)任務(wù)在執(zhí)行的過(guò)程中,如果應(yīng)用開(kāi)始關(guān)閉,把定時(shí)任務(wù)需要使用到的 Spring Bean 進(jìn)行銷毀,例如說(shuō)數(shù)據(jù)庫(kù)連接池,那么此時(shí)定時(shí)任務(wù)還在執(zhí)行中,一旦需要訪問(wèn)數(shù)據(jù)庫(kù),可能會(huì)導(dǎo)致報(bào)錯(cuò)。
-
所以,通過(guò)配置?await-termination = true?,實(shí)現(xiàn)應(yīng)用關(guān)閉時(shí),等待定時(shí)任務(wù)執(zhí)行完成。這樣,應(yīng)用在關(guān)閉的時(shí),Spring 會(huì)優(yōu)先等待 ThreadPoolTaskScheduler 執(zhí)行完任務(wù)之后,再開(kāi)始 Spring Bean 的銷毀。
-
同時(shí),又考慮到我們不可能無(wú)限等待定時(shí)任務(wù)全部執(zhí)行結(jié)束,因此可以配置?await-termination-period = 60?,等待任務(wù)完成的最大時(shí)長(zhǎng),單位為秒。具體設(shè)置多少的等待時(shí)長(zhǎng),可以根據(jù)自己應(yīng)用的需要。
3. 快速入門 Quartz 單機(jī)
示例代碼對(duì)應(yīng)倉(cāng)庫(kù):lab-28-task-quartz-memory 。
在艿艿最早開(kāi)始實(shí)習(xí)的時(shí)候,公司使用 Quartz 作為任務(wù)調(diào)度中間件。考慮到我們要實(shí)現(xiàn)定時(shí)任務(wù)的高可用,需要部署多個(gè) JVM 進(jìn)程。比較舒服的是,Quartz 自帶了集群方案。它通過(guò)將作業(yè)信息存儲(chǔ)到關(guān)系數(shù)據(jù)庫(kù)中,并使用關(guān)系數(shù)據(jù)庫(kù)的行鎖來(lái)實(shí)現(xiàn)執(zhí)行作業(yè)的競(jìng)爭(zhēng),從而保證多個(gè)進(jìn)程下,同一個(gè)任務(wù)在相同時(shí)刻,不能重復(fù)執(zhí)行。
可能很多胖友對(duì) Quartz 還不是很了解,我們先來(lái)看一段簡(jiǎn)介:
FROM https://www.oschina.net/p/quartz
Quartz 是一個(gè)開(kāi)源的作業(yè)調(diào)度框架,它完全由 Java 寫成,并設(shè)計(jì)用于 J2SE 和 J2EE 應(yīng)用中。它提供了巨大的靈活性而不犧牲簡(jiǎn)單性。你能夠用它來(lái)為執(zhí)行一個(gè)作業(yè)而創(chuàng)建簡(jiǎn)單的或復(fù)雜的調(diào)度。
它有很多特征,如:數(shù)據(jù)庫(kù)支持,集群,插件,EJB 作業(yè)預(yù)構(gòu)建,JavaMail 及其它,支持 cron-like 表達(dá)式等等。
在 Quartz 體系結(jié)構(gòu)中,有三個(gè)組件非常重要:
-
Scheduler :調(diào)度器
-
Trigger :觸發(fā)器
-
Job :任務(wù)
不了解的胖友,可以直接看看 《Quartz 入門詳解》 文章。這里,艿艿就不重復(fù)贅述。
FROM https://medium.com/@ChamithKodikara/spring-boot-2-quartz-2-scheduler-integration-a8eaaf850805
Quartz 整體架構(gòu)圖
Quartz 分成單機(jī)模式和集群模式。
-
本小節(jié),我們先來(lái)學(xué)習(xí)下 Quartz 的單機(jī)模式,入門比較快。
-
下一下「5. 再次入門 Quartz 集群」 ,我們?cè)賮?lái)學(xué)習(xí)下 Quartz 的集群模式。在生產(chǎn)環(huán)境下,一定一定一定要使用 Quartz 的集群模式,保證定時(shí)任務(wù)的高可用。
😈 下面,讓我們開(kāi)始遨游~
3.1 引入依賴
在?pom.xml?文件中,引入相關(guān)依賴。
<?xml?version="1.0"?encoding="UTF-8"?> <project?xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0?http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.2.1.RELEASE</version><relativePath/>?<!--?lookup?parent?from?repository?--></parent><modelVersion>4.0.0</modelVersion><artifactId>lab-28-task-quartz-memory</artifactId><dependencies><!--?實(shí)現(xiàn)對(duì)?Spring?MVC?的自動(dòng)化配置?--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><!--?實(shí)現(xiàn)對(duì)?Quartz?的自動(dòng)化配置?--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-quartz</artifactId></dependency></dependencies></project>具體每個(gè)依賴的作用,胖友自己認(rèn)真看下艿艿添加的所有注釋噢。
3.2 示例 Job
在?cn.iocoder.springboot.lab28.task.config.job?包路徑下,我們來(lái)創(chuàng)建示例 Job 。
創(chuàng)建 DemoJob01 類,示例定時(shí)任務(wù) 01 類。代碼如下:
//?DemoJob01.javapublic?class?DemoJob01?extends?QuartzJobBean?{private?Logger?logger?=?LoggerFactory.getLogger(getClass());private?final?AtomicInteger?counts?=?new?AtomicInteger();@Autowiredprivate?DemoService?demoService;@Overrideprotected?void?executeInternal(JobExecutionContext?context)?throws?JobExecutionException?{logger.info("[executeInternal][定時(shí)第?({})?次執(zhí)行,?demoService?為?({})]",?counts.incrementAndGet(),demoService);}}-
繼承 QuartzJobBean 抽象類,實(shí)現(xiàn)?#executeInternal(JobExecutionContext context)?方法,執(zhí)行自定義的定時(shí)任務(wù)的邏輯。
-
QuartzJobBean 實(shí)現(xiàn)了?org.quartz.Job?接口,提供了 Quartz 每次創(chuàng)建 Job 執(zhí)行定時(shí)邏輯時(shí),將該 Job Bean 的依賴屬性注入。例如說(shuō),DemoJob01 需要?@Autowired?注入的?demoService?屬性。核心代碼如下:
//?QuartzJobBean.javapublic?final?void?execute(JobExecutionContext?context)?throws?JobExecutionException?{try?{//?將當(dāng)前對(duì)象,包裝成?BeanWrapper?對(duì)象BeanWrapper?bw?=?PropertyAccessorFactory.forBeanPropertyAccess(this);//?設(shè)置屬性到?bw?中MutablePropertyValues?pvs?=?new?MutablePropertyValues();pvs.addPropertyValues(context.getScheduler().getContext());pvs.addPropertyValues(context.getMergedJobDataMap());bw.setPropertyValues(pvs,?true);}?catch?(SchedulerException?ex)?{throw?new?JobExecutionException(ex);}//?執(zhí)行提供給子類實(shí)現(xiàn)的抽象方法this.executeInternal(context); }protected?abstract?void?executeInternal(JobExecutionContext?context)?throws?JobExecutionException;-
這樣一看,是不是清晰很多。不要懼怕中間件的源碼,好奇哪個(gè)類或者方法,就點(diǎn)進(jìn)去看看。反正,又不花錢。
-
-
counts?屬性,計(jì)數(shù)器。用于我們后面我們展示,每次 DemoJob01 都會(huì)被 Quartz 創(chuàng)建出一個(gè)新的 Job 對(duì)象,執(zhí)行任務(wù)。這個(gè)很重要,也要非常小心。
創(chuàng)建 DemoJob02 類,示例定時(shí)任務(wù) 02 類。代碼如下:
//?DemoJob02.javapublic?class?DemoJob02?extends?QuartzJobBean?{private?Logger?logger?=?LoggerFactory.getLogger(getClass());@Overrideprotected?void?executeInternal(JobExecutionContext?context)?throws?JobExecutionException?{logger.info("[executeInternal][我開(kāi)始的執(zhí)行了]");}}-
比較簡(jiǎn)單,為了后面演示案例之用。
3.3 ScheduleConfiguration
在?cn.iocoder.springboot.lab28.task.config?包路徑下,創(chuàng)建 ScheduleConfiguration 類,配置上述的兩個(gè)示例 Job 。代碼如下:
//?ScheduleConfiguration.java@Configuration public?class?ScheduleConfiguration?{public?static?class?DemoJob01Configuration?{@Beanpublic?JobDetail?demoJob01()?{return?JobBuilder.newJob(DemoJob01.class).withIdentity("demoJob01")?//?名字為?demoJob01.storeDurably()?//?沒(méi)有?Trigger?關(guān)聯(lián)的時(shí)候任務(wù)是否被保留。因?yàn)閯?chuàng)建?JobDetail?時(shí),還沒(méi)?Trigger?指向它,所以需要設(shè)置為?true?,表示保留。.build();}@Beanpublic?Trigger?demoJob01Trigger()?{//?簡(jiǎn)單的調(diào)度計(jì)劃的構(gòu)造器SimpleScheduleBuilder?scheduleBuilder?=?SimpleScheduleBuilder.simpleSchedule().withIntervalInSeconds(5)?//?頻率。.repeatForever();?//?次數(shù)。//?Trigger?構(gòu)造器return?TriggerBuilder.newTrigger().forJob(demoJob01())?//?對(duì)應(yīng)?Job?為?demoJob01.withIdentity("demoJob01Trigger")?//?名字為?demoJob01Trigger.withSchedule(scheduleBuilder)?//?對(duì)應(yīng)?Schedule?為?scheduleBuilder.build();}}public?static?class?DemoJob02Configuration?{@Beanpublic?JobDetail?demoJob02()?{return?JobBuilder.newJob(DemoJob02.class).withIdentity("demoJob02")?//?名字為?demoJob02.storeDurably()?//?沒(méi)有?Trigger?關(guān)聯(lián)的時(shí)候任務(wù)是否被保留。因?yàn)閯?chuàng)建?JobDetail?時(shí),還沒(méi)?Trigger?指向它,所以需要設(shè)置為?true?,表示保留。.build();}@Beanpublic?Trigger?demoJob02Trigger()?{//?基于?Quartz?Cron?表達(dá)式的調(diào)度計(jì)劃的構(gòu)造器CronScheduleBuilder?scheduleBuilder?=?CronScheduleBuilder.cronSchedule("0/10?*?*?*?*???*");//?Trigger?構(gòu)造器return?TriggerBuilder.newTrigger().forJob(demoJob02())?//?對(duì)應(yīng)?Job?為?demoJob02.withIdentity("demoJob02Trigger")?//?名字為?demoJob02Trigger.withSchedule(scheduleBuilder)?//?對(duì)應(yīng)?Schedule?為?scheduleBuilder.build();}}}-
內(nèi)部創(chuàng)建了 DemoJob01Configuration 和 DemoJob02Configuration 兩個(gè)配置類,分別配置 DemoJob01 和 DemoJob02 兩個(gè) Quartz Job 。
-
==========?DemoJob01Configuration?==========
-
#demoJob01()?方法,創(chuàng)建 DemoJob01 的 JobDetail Bean 對(duì)象。
-
#demoJob01Trigger()?方法,創(chuàng)建 DemoJob01 的 Trigger Bean 對(duì)象。其中,我們使用 SimpleScheduleBuilder 簡(jiǎn)單的調(diào)度計(jì)劃的構(gòu)造器,創(chuàng)建了每 5 秒執(zhí)行一次,無(wú)限重復(fù)的調(diào)度計(jì)劃。
-
==========?DemoJob2Configuration?==========
-
#demoJob2()?方法,創(chuàng)建 DemoJob02 的 JobDetail Bean 對(duì)象。
-
#demoJob02Trigger()?方法,創(chuàng)建 DemoJob02 的 Trigger Bean 對(duì)象。其中,我們使用 CronScheduleBuilder 基于 Quartz Cron 表達(dá)式的調(diào)度計(jì)劃的構(gòu)造器,創(chuàng)建了每第?10 秒執(zhí)行一次的調(diào)度計(jì)劃。這里,推薦一個(gè) Quartz/Cron/Crontab 表達(dá)式在線生成工具 ,方便幫我們生成 Quartz Cron 表達(dá)式,并計(jì)算出最近 5 次運(yùn)行時(shí)間。
😈 因?yàn)?JobDetail 和 Trigger 一般是成雙成對(duì)出現(xiàn),所以艿艿習(xí)慣配置成一個(gè) Configuration 配置類。
3.4 Application
創(chuàng)建?Application.java?類,配置?@SpringBootApplication?注解即可。代碼如下:
@SpringBootApplication public?class?Application?{public?static?void?main(String[]?args)?{SpringApplication.run(Application.class,?args);}}運(yùn)行 Application 類,啟動(dòng)示例項(xiàng)目。輸出日志精簡(jiǎn)如下:
#?創(chuàng)建了?Quartz?QuartzScheduler?并啟動(dòng) 2019-11-30?23:40:05.123??INFO?92812?---?[???????????main]?org.quartz.impl.StdSchedulerFactory??????:?Using?default?implementation?for?ThreadExecutor 2019-11-30?23:40:05.130??INFO?92812?---?[???????????main]?org.quartz.core.SchedulerSignalerImpl????:?Initialized?Scheduler?Signaller?of?type:?class?org.quartz.core.SchedulerSignalerImpl 2019-11-30?23:40:05.130??INFO?92812?---?[???????????main]?org.quartz.core.QuartzScheduler??????????:?Quartz?Scheduler?v.2.3.2?created. 2019-11-30?23:40:05.131??INFO?92812?---?[???????????main]?org.quartz.simpl.RAMJobStore?????????????:?RAMJobStore?initialized. 2019-11-30?23:40:05.132??INFO?92812?---?[???????????main]?org.quartz.core.QuartzScheduler??????????:?Scheduler?meta-data:?Quartz?Scheduler?(v2.3.2)?'quartzScheduler'?with?instanceId?'NON_CLUSTERED'Scheduler?class:?'org.quartz.core.QuartzScheduler'?-?running?locally.NOT?STARTED.Currently?in?standby?mode.Number?of?jobs?executed:?0Using?thread?pool?'org.quartz.simpl.SimpleThreadPool'?-?with?10?threads.Using?job-store?'org.quartz.simpl.RAMJobStore'?-?which?does?not?support?persistence.?and?is?not?clustered.2019-11-30?23:40:05.132??INFO?92812?---?[???????????main]?org.quartz.impl.StdSchedulerFactory??????:?Quartz?scheduler?'quartzScheduler'?initialized?from?an?externally?provided?properties?instance. 2019-11-30?23:40:05.132??INFO?92812?---?[???????????main]?org.quartz.impl.StdSchedulerFactory??????:?Quartz?scheduler?version:?2.3.2 2019-11-30?23:40:05.132??INFO?92812?---?[???????????main]?org.quartz.core.QuartzScheduler??????????:?JobFactory?set?to:?org.springframework.scheduling.quartz.SpringBeanJobFactory@203dd56b 2019-11-30?23:40:05.158??INFO?92812?---?[???????????main]?o.s.s.quartz.SchedulerFactoryBean????????:?Starting?Quartz?Scheduler?now 2019-11-30?23:40:05.158??INFO?92812?---?[???????????main]?org.quartz.core.QuartzScheduler??????????:?Scheduler?quartzScheduler_$_NON_CLUSTERED?started.#?DemoJob01 2019-11-30?23:40:05.164??INFO?92812?---?[eduler_Worker-1]?c.i.springboot.lab28.task.job.DemoJob01??:?[executeInternal][定時(shí)第?(1)?次執(zhí)行,?demoService?為?(cn.iocoder.springboot.lab28.task.service.DemoService@23d75d74)] 2019-11-30?23:40:09.866??INFO?92812?---?[eduler_Worker-2]?c.i.springboot.lab28.task.job.DemoJob01??:?[executeInternal][定時(shí)第?(1)?次執(zhí)行,?demoService?為?(cn.iocoder.springboot.lab28.task.service.DemoService@23d75d74)] 2019-11-30?23:40:14.865??INFO?92812?---?[eduler_Worker-4]?c.i.springboot.lab28.task.job.DemoJob01??:?[executeInternal][定時(shí)第?(1)?次執(zhí)行,?demoService?為?(cn.iocoder.springboot.lab28.task.service.DemoService@23d75d74)]#?DemoJob02 2019-11-30?23:40:10.004??INFO?92812?---?[eduler_Worker-3]?c.i.springboot.lab28.task.job.DemoJob02??:?[executeInternal][我開(kāi)始的執(zhí)行了] 2019-11-30?23:40:20.001??INFO?92812?---?[eduler_Worker-6]?c.i.springboot.lab28.task.job.DemoJob02??:?[executeInternal][我開(kāi)始的執(zhí)行了] 2019-11-30?23:40:30.002??INFO?92812?---?[eduler_Worker-9]?c.i.springboot.lab28.task.job.DemoJob02??:?[executeInternal][我開(kāi)始的執(zhí)行了]-
項(xiàng)目啟動(dòng)時(shí),會(huì)創(chuàng)建了 Quartz QuartzScheduler 并啟動(dòng)。
-
考慮到閱讀日志方便,艿艿這里把 DemoJob01 和 DemoJob02 的日志分開(kāi)來(lái)了。
-
對(duì)于 DemoJob01 ,每 5 秒左右執(zhí)行一次。同時(shí)我們可以看到,demoService?成功注入,而?counts?每次都是 1 ,說(shuō)明每次 DemoJob01 都是新創(chuàng)建的。
-
對(duì)于 DemoJob02 ,每第?10 秒執(zhí)行一次。
下面「3.5 應(yīng)用配置文件」兩個(gè)小節(jié),是補(bǔ)充知識(shí),建議看看。
3.5 應(yīng)用配置文件
在?application.yml?中,添加 Quartz 的配置,如下:
spring:#?Quartz?的配置,對(duì)應(yīng)?QuartzProperties?配置類quartz:job-store-type:?memory?#?Job?存儲(chǔ)器類型。默認(rèn)為?memory?表示內(nèi)存,可選?jdbc?使用數(shù)據(jù)庫(kù)。auto-startup:?true?#?Quartz?是否自動(dòng)啟動(dòng)startup-delay:?0?#?延遲?N?秒啟動(dòng)wait-for-jobs-to-complete-on-shutdown:?true?#?應(yīng)用關(guān)閉時(shí),是否等待定時(shí)任務(wù)執(zhí)行完成。默認(rèn)為?false?,建議設(shè)置為?trueoverwrite-existing-jobs:?false?#?是否覆蓋已有?Job?的配置properties:?#?添加?Quartz?Scheduler?附加屬性,更多可以看?http://www.quartz-scheduler.org/documentation/2.4.0-SNAPSHOT/configuration.html?文檔org:quartz:threadPool:threadCount:?25?#?線程池大小。默認(rèn)為?10?。threadPriority:?5?#?線程優(yōu)先級(jí)class:?org.quartz.simpl.SimpleThreadPool?#?線程池類型 #????jdbc:?#?這里暫時(shí)不說(shuō)明,使用?JDBC?的?JobStore?的時(shí)候,才需要配置-
在?spring.quartz?配置項(xiàng),Quartz 的配置,對(duì)應(yīng) QuartzProperties 配置類。
-
Spring Boot QuartzAutoConfiguration 自動(dòng)化配置類,實(shí)現(xiàn) Quartz 的自動(dòng)配置,創(chuàng)建 Quartz Scheduler(調(diào)度器) Bean 。
注意,spring.quartz.wait-for-jobs-to-complete-on-shutdown?配置項(xiàng),是為了實(shí)現(xiàn) Quartz 的優(yōu)雅關(guān)閉,建議開(kāi)啟。關(guān)于這塊,和我們?cè)?Spring Task 的「2.6 應(yīng)用配置文件」 提到的是一致的。
4. 再次入門 Quartz 集群
示例代碼對(duì)應(yīng)倉(cāng)庫(kù):lab-28-task-quartz-memory 。
實(shí)際場(chǎng)景下,我們必然需要考慮定時(shí)任務(wù)的高可用,所以基本上,肯定使用 Quartz 的集群方案。因此本小節(jié),我們使用 Quartz 的?JDBC?? ?存儲(chǔ)器 JobStoreTX ,并是使用 MySQL 作為數(shù)據(jù)庫(kù)。
如下是 Quartz 兩種存儲(chǔ)器的對(duì)比:
FROM https://blog.csdn.net/Evankaka/article/details/45540885
| RAMJobStore | 不要外部數(shù)據(jù)庫(kù),配置容易,運(yùn)行速度快 | 因?yàn)檎{(diào)度程序信息是存儲(chǔ)在被分配給 JVM 的內(nèi)存里面,所以,當(dāng)應(yīng)用程序停止運(yùn)行時(shí),所有調(diào)度信息將被丟失。另外因?yàn)榇鎯?chǔ)到JVM內(nèi)存里面,所以可以存儲(chǔ)多少個(gè) Job 和 Trigger 將會(huì)受到限制 |
| JDBC 作業(yè)存儲(chǔ) | 支持集群,因?yàn)樗械娜蝿?wù)信息都會(huì)保存到數(shù)據(jù)庫(kù)中,可以控制事物,還有就是如果應(yīng)用服務(wù)器關(guān)閉或者重啟,任務(wù)信息都不會(huì)丟失,并且可以恢復(fù)因服務(wù)器關(guān)閉或者重啟而導(dǎo)致執(zhí)行失敗的任務(wù) | 運(yùn)行速度的快慢取決與連接數(shù)據(jù)庫(kù)的快慢 |
艿艿:實(shí)際上,有方案可以實(shí)現(xiàn)兼具這兩種方式的優(yōu)點(diǎn),我們?cè)?「666. 彩蛋」 中來(lái)說(shuō)。
另外,本小節(jié)提供的示例和 「3. 快速入門 Quartz 單機(jī)」 基本一致。😈 下面,讓我們開(kāi)始遨游~
4.1 引入依賴
在?pom.xml?文件中,引入相關(guān)依賴。
<?xml?version="1.0"?encoding="UTF-8"?> <project?xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0?http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.1.10.RELEASE</version><relativePath/>?<!--?lookup?parent?from?repository?--></parent><modelVersion>4.0.0</modelVersion><artifactId>lab-28-task-quartz-jdbc</artifactId><dependencies><!--?實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)連接池的自動(dòng)化配置?--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-jdbc</artifactId></dependency><dependency>?<!--?本示例,我們使用?MySQL?--><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.48</version></dependency><!--?實(shí)現(xiàn)對(duì)?Spring?MVC?的自動(dòng)化配置?--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><!--?實(shí)現(xiàn)對(duì)?Quartz?的自動(dòng)化配置?--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-quartz</artifactId></dependency><!--?方便等會(huì)寫單元測(cè)試?--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency></dependencies></project>-
和 「3.1 引入依賴」 基本一致,只是額外引入?spring-boot-starter-test?依賴,等會(huì)會(huì)寫兩個(gè)單元測(cè)試方法。
4.2 示例 Job
在?cn.iocoder.springboot.lab28.task.config.job?包路徑下,創(chuàng)建 DemoJob01 和 DemoJob02 類。代碼如下:
//?DemoJob01.java@DisallowConcurrentExecution public?class?DemoJob01?extends?QuartzJobBean?{private?Logger?logger?=?LoggerFactory.getLogger(getClass());@Autowiredprivate?DemoService?demoService;@Overrideprotected?void?executeInternal(JobExecutionContext?context)?{logger.info("[executeInternal][我開(kāi)始的執(zhí)行了,?demoService?為?({})]",?demoService);}}//?DemoJob02.java@DisallowConcurrentExecution public?class?DemoJob02?extends?QuartzJobBean?{private?Logger?logger?=?LoggerFactory.getLogger(getClass());@Overrideprotected?void?executeInternal(JobExecutionContext?context)?{logger.info("[executeInternal][我開(kāi)始的執(zhí)行了]");}}-
相比 「3.2 示例 Job」 來(lái)說(shuō),在類上添加了 Quartz 的?@DisallowConcurrentExecution?注解,保證相同 JobDetail 在多個(gè) JVM 進(jìn)程中,有且僅有一個(gè)節(jié)點(diǎn)在執(zhí)行。
注意,不是以 Quartz Job 為維度,保證在多個(gè) JVM 進(jìn)程中,有且僅有一個(gè)節(jié)點(diǎn)在執(zhí)行,而是以 JobDetail 為維度。雖然說(shuō),絕大多數(shù)情況下,我們會(huì)保證一個(gè) Job 和 JobDetail 是一一對(duì)應(yīng)。😈 所以,搞不清楚這個(gè)概念的胖友,最好搞清楚這個(gè)概念。實(shí)在有點(diǎn)懵逼,保證一個(gè) Job 和 JobDetail 是一一對(duì)應(yīng)就對(duì)了。
而 JobDetail 的唯一標(biāo)識(shí)是 JobKey ,使用?name?+?group?兩個(gè)屬性。一般情況下,我們只需要設(shè)置?name?即可,而 Quartz 會(huì)默認(rèn)?group = DEFAULT?。
不過(guò)這里還有一點(diǎn)要補(bǔ)充,也是需要注意的,在 Quartz 中,相同 Scheduler 名字的節(jié)點(diǎn),形成一個(gè) Quartz 集群。在下文中,我們可以通過(guò)?spring.quartz.scheduler-name?配置項(xiàng),設(shè)置 Scheduler 的名字。
【重要】為什么要說(shuō)這個(gè)呢?因?yàn)槲覀円晟埔幌律厦娴恼f(shuō)法:通過(guò)在 Job 實(shí)現(xiàn)類上添加?@DisallowConcurrentExecution?注解,實(shí)現(xiàn)在相同?Quartz Scheduler 集群中,相同?JobKey 的 JobDetail ,保證在多個(gè) JVM 進(jìn)程中,有且僅有一個(gè)節(jié)點(diǎn)在執(zhí)行。
4.3 應(yīng)用配置文件
在?application.yml?中,添加 Quartz 的配置,如下:
spring:datasource:user:url:?jdbc:mysql://127.0.0.1:3306/lab-28-quartz-jdbc-user?useSSL=false&useUnicode=true&characterEncoding=UTF-8driver-class-name:?com.mysql.jdbc.Driverusername:?rootpassword:quartz:url:?jdbc:mysql://127.0.0.1:3306/lab-28-quartz-jdbc-quartz?useSSL=false&useUnicode=true&characterEncoding=UTF-8driver-class-name:?com.mysql.jdbc.Driverusername:?rootpassword:#?Quartz?的配置,對(duì)應(yīng)?QuartzProperties?配置類quartz:scheduler-name:?clusteredScheduler?#?Scheduler?名字。默認(rèn)為?schedulerNamejob-store-type:?jdbc?#?Job?存儲(chǔ)器類型。默認(rèn)為?memory?表示內(nèi)存,可選?jdbc?使用數(shù)據(jù)庫(kù)。auto-startup:?true?#?Quartz?是否自動(dòng)啟動(dòng)startup-delay:?0?#?延遲?N?秒啟動(dòng)wait-for-jobs-to-complete-on-shutdown:?true?#?應(yīng)用關(guān)閉時(shí),是否等待定時(shí)任務(wù)執(zhí)行完成。默認(rèn)為?false?,建議設(shè)置為?trueoverwrite-existing-jobs:?false?#?是否覆蓋已有?Job?的配置properties:?#?添加?Quartz?Scheduler?附加屬性,更多可以看?http://www.quartz-scheduler.org/documentation/2.4.0-SNAPSHOT/configuration.html?文檔org:quartz:#?JobStore?相關(guān)配置jobStore:#?數(shù)據(jù)源名稱dataSource:?quartzDataSource?#?使用的數(shù)據(jù)源class:?org.quartz.impl.jdbcjobstore.JobStoreTX?#?JobStore?實(shí)現(xiàn)類driverDelegateClass:?org.quartz.impl.jdbcjobstore.StdJDBCDelegatetablePrefix:?QRTZ_?#?Quartz?表前綴isClustered:?true?#?是集群模式clusterCheckinInterval:?1000useProperties:?false#?線程池相關(guān)配置threadPool:threadCount:?25?#?線程池大小。默認(rèn)為?10?。threadPriority:?5?#?線程優(yōu)先級(jí)class:?org.quartz.simpl.SimpleThreadPool?#?線程池類型jdbc:?#?使用?JDBC?的?JobStore?的時(shí)候,JDBC?的配置initialize-schema:?never?#?是否自動(dòng)使用?SQL?初始化?Quartz?表結(jié)構(gòu)。這里設(shè)置成?never?,我們手動(dòng)創(chuàng)建表結(jié)構(gòu)。-
配置項(xiàng)比較多,我們主要對(duì)比 「3.5 應(yīng)用配置文件」 來(lái)看看。
-
在?spring.datasource?配置項(xiàng)下,用于創(chuàng)建多個(gè)數(shù)據(jù)源的配置。
-
user?配置,連接?lab-28-quartz-jdbc-user?庫(kù)。目的是,為了模擬我們一般項(xiàng)目,使用到的業(yè)務(wù)數(shù)據(jù)庫(kù)。
-
quartz?配置,連接?lab-28-quartz-jdbc-quartz?庫(kù)。目的是,Quartz 會(huì)使用單獨(dú)的數(shù)據(jù)庫(kù)。😈 如果我們有多個(gè)項(xiàng)目需要使用到 Quartz 數(shù)據(jù)庫(kù)的話,可以統(tǒng)一使用一個(gè),但是要注意配置?spring.quartz.scheduler-name?設(shè)置不同的 Scheduler 名字,形成不同的 Quartz 集群。
-
-
在?spring.quartz?配置項(xiàng)下,額外增加了一些配置項(xiàng),我們逐個(gè)來(lái)看看。
-
scheduler-name?配置,Scheduler 名字。這個(gè)我們?cè)谏衔慕忉屃撕芏啻瘟?#xff0c;如果還不明白,請(qǐng)拍死自己。
-
job-store-type?配置,設(shè)置了使用?"jdbc"?的 Job 存儲(chǔ)器。
-
properties.org.quartz.jobStore?配置,增加了 JobStore 相關(guān)配置。重點(diǎn)是,通過(guò)?dataSource?配置項(xiàng),設(shè)置了使用名字為?"quartzDataSource"?的 DataSource 為數(shù)據(jù)源。😈 在 「4.4 DataSourceConfiguration」 中,我們會(huì)使用?spring.datasource.quartz?配置,來(lái)創(chuàng)建該數(shù)據(jù)源。
-
jdbc?配置項(xiàng),雖然名字叫這個(gè),主要是為了設(shè)置使用 SQL 初始化 Quartz 表結(jié)構(gòu)。這里,我們?cè)O(shè)置?initialize-schema = never?,我們手動(dòng)創(chuàng)建表結(jié)構(gòu)。
-
咳咳咳,配置項(xiàng)確實(shí)有點(diǎn)多。如果暫時(shí)搞不明白的胖友,可以先簡(jiǎn)單把?spring.datasource?數(shù)據(jù)源,修改成自己的即可。
4.4 初始化 Quartz 表結(jié)構(gòu)
在 Quartz Download 地址,下載對(duì)應(yīng)版本的發(fā)布包。解壓后,我們可以在?src/org/quartz/impl/jdbcjobstore/?目錄,看到各種數(shù)據(jù)庫(kù)的 Quartz 表結(jié)構(gòu)的初始化腳本。這里,因?yàn)槲覀兪褂?MySQL ,所以使用?tables_mysql_innodb.sql?腳本。
在數(shù)據(jù)庫(kù)中執(zhí)行該腳本,完成初始化 Quartz 表結(jié)構(gòu)。如下圖所示:
關(guān)于每個(gè) Quartz 表結(jié)構(gòu)的說(shuō)明,可以看看 《Quartz 框架(二)——JobStore 數(shù)據(jù)庫(kù)表字段詳解》 文章。😈 實(shí)際上,也可以不看,哈哈哈哈。
我們會(huì)發(fā)現(xiàn),每個(gè)表都有一個(gè)?SCHED_NAME?字段,Quartz Scheduler 名字。這樣,實(shí)現(xiàn)每個(gè) Quartz 集群,數(shù)據(jù)層面的拆分。
4.5 DataSourceConfiguration
在?cn.iocoder.springboot.lab28.task.config?包路徑下,創(chuàng)建 DataSourceConfiguration 類,配置數(shù)據(jù)源。代碼如下:
//?DataSourceConfiguration.java@Configuration public?class?DataSourceConfiguration?{/***?創(chuàng)建?user?數(shù)據(jù)源的配置對(duì)象*/@Primary@Bean(name?=?"userDataSourceProperties")@ConfigurationProperties(prefix?=?"spring.datasource.user")?//?讀取?spring.datasource.user?配置到?DataSourceProperties?對(duì)象public?DataSourceProperties?userDataSourceProperties()?{return?new?DataSourceProperties();}/***?創(chuàng)建?user?數(shù)據(jù)源*/@Primary@Bean(name?=?"userDataSource")@ConfigurationProperties(prefix?=?"spring.datasource.user.hikari")?//?讀取?spring.datasource.user?配置到?HikariDataSource?對(duì)象public?DataSource?userDataSource()?{//?獲得?DataSourceProperties?對(duì)象DataSourceProperties?properties?=??this.userDataSourceProperties();//?創(chuàng)建?HikariDataSource?對(duì)象return?createHikariDataSource(properties);}/***?創(chuàng)建?quartz?數(shù)據(jù)源的配置對(duì)象*/@Bean(name?=?"quartzDataSourceProperties")@ConfigurationProperties(prefix?=?"spring.datasource.quartz")?//?讀取?spring.datasource.quartz?配置到?DataSourceProperties?對(duì)象public?DataSourceProperties?quartzDataSourceProperties()?{return?new?DataSourceProperties();}/***?創(chuàng)建?quartz?數(shù)據(jù)源*/@Bean(name?=?"quartzDataSource")@ConfigurationProperties(prefix?=?"spring.datasource.quartz.hikari")@QuartzDataSourcepublic?DataSource?quartzDataSource()?{//?獲得?DataSourceProperties?對(duì)象DataSourceProperties?properties?=??this.quartzDataSourceProperties();//?創(chuàng)建?HikariDataSource?對(duì)象return?createHikariDataSource(properties);}private?static?HikariDataSource?createHikariDataSource(DataSourceProperties?properties)?{//?創(chuàng)建?HikariDataSource?對(duì)象HikariDataSource?dataSource?=?properties.initializeDataSourceBuilder().type(HikariDataSource.class).build();//?設(shè)置線程池名if?(StringUtils.hasText(properties.getName()))?{dataSource.setPoolName(properties.getName());}return?dataSource;}}-
基于?spring.datasource.user?配置項(xiàng),創(chuàng)建了名字為?"userDataSource"?的 DataSource Bean 。并且,在其上我們添加了?@Primay?注解,表示其是主數(shù)據(jù)源。
-
基于?spring.datasource.quartz?配置項(xiàng),創(chuàng)建了名字為?"quartzDataSource"?的 DataSource Bean 。并且,在其上我們添加了?@QuartzDataSource?注解,表示其是?Quartz?的數(shù)據(jù)源。😈 注意,一定要配置啊,這里艿艿卡了好久!!!!
4.6 定時(shí)任務(wù)配置
完成上述的工作之后,我們需要配置 Quartz 的定時(shí)任務(wù)。目前,有兩種方式:
-
方式一,「4.6.1 Bean 自動(dòng)設(shè)置」 。
-
方式二,「4.6.2 Scheduler 手動(dòng)設(shè)置」 。
4.6.1 Bean 自動(dòng)設(shè)置
在?cn.iocoder.springboot.lab28.task.config?包路徑下,創(chuàng)建 ScheduleConfiguration 類,配置上述的兩個(gè)示例 Job 。代碼如下:
//?ScheduleConfiguration.java@Configuration public?class?ScheduleConfiguration?{public?static?class?DemoJob01Configuration?{@Beanpublic?JobDetail?demoJob01()?{return?JobBuilder.newJob(DemoJob01.class).withIdentity("demoJob01")?//?名字為?demoJob01.storeDurably()?//?沒(méi)有?Trigger?關(guān)聯(lián)的時(shí)候任務(wù)是否被保留。因?yàn)閯?chuàng)建?JobDetail?時(shí),還沒(méi)?Trigger?指向它,所以需要設(shè)置為?true?,表示保留。.build();}@Beanpublic?Trigger?demoJob01Trigger()?{//?簡(jiǎn)單的調(diào)度計(jì)劃的構(gòu)造器SimpleScheduleBuilder?scheduleBuilder?=?SimpleScheduleBuilder.simpleSchedule().withIntervalInSeconds(5)?//?頻率。.repeatForever();?//?次數(shù)。//?Trigger?構(gòu)造器return?TriggerBuilder.newTrigger().forJob(demoJob01())?//?對(duì)應(yīng)?Job?為?demoJob01.withIdentity("demoJob01Trigger")?//?名字為?demoJob01Trigger.withSchedule(scheduleBuilder)?//?對(duì)應(yīng)?Schedule?為?scheduleBuilder.build();}}public?static?class?DemoJob02Configuration?{@Beanpublic?JobDetail?demoJob02()?{return?JobBuilder.newJob(DemoJob02.class).withIdentity("demoJob02")?//?名字為?demoJob02.storeDurably()?//?沒(méi)有?Trigger?關(guān)聯(lián)的時(shí)候任務(wù)是否被保留。因?yàn)閯?chuàng)建?JobDetail?時(shí),還沒(méi)?Trigger?指向它,所以需要設(shè)置為?true?,表示保留。.build();}@Beanpublic?Trigger?demoJob02Trigger()?{//?簡(jiǎn)單的調(diào)度計(jì)劃的構(gòu)造器CronScheduleBuilder?scheduleBuilder?=?CronScheduleBuilder.cronSchedule("0/10?*?*?*?*???*");//?Trigger?構(gòu)造器return?TriggerBuilder.newTrigger().forJob(demoJob02())?//?對(duì)應(yīng)?Job?為?demoJob02.withIdentity("demoJob02Trigger")?//?名字為?demoJob02Trigger.withSchedule(scheduleBuilder)?//?對(duì)應(yīng)?Schedule?為?scheduleBuilder.build();}}}-
和 「3.3 ScheduleConfiguration」 是一模一樣的。
在 Quartz 調(diào)度器啟動(dòng)的時(shí)候,會(huì)根據(jù)該配置,自動(dòng)調(diào)用如下方法:
-
Scheduler#addJob(JobDetail jobDetail, boolean replace)?方法,將 JobDetail 持久化到數(shù)據(jù)庫(kù)。
-
Scheduler#scheduleJob(Trigger trigger)?方法,將 Trigger 持久化到數(shù)據(jù)庫(kù)。
4.6.2 Scheduler 手動(dòng)設(shè)置
一般情況下,艿艿推薦使用 Scheduler 手動(dòng)設(shè)置。
創(chuàng)建 QuartzSchedulerTest 類,創(chuàng)建分別添加 DemoJob01 和 DemoJob02 的 Quartz 定時(shí)任務(wù)配置。代碼如下:
//?QuartzSchedulerTest.java@RunWith(SpringRunner.class) @SpringBootTest(classes?=?Application.class) public?class?QuartzSchedulerTest?{@Autowiredprivate?Scheduler?scheduler;@Testpublic?void?addDemoJob01Config()?throws?SchedulerException?{//?創(chuàng)建?JobDetailJobDetail?jobDetail?=?JobBuilder.newJob(DemoJob01.class).withIdentity("demoJob01")?//?名字為?demoJob01.storeDurably()?//?沒(méi)有?Trigger?關(guān)聯(lián)的時(shí)候任務(wù)是否被保留。因?yàn)閯?chuàng)建?JobDetail?時(shí),還沒(méi)?Trigger?指向它,所以需要設(shè)置為?true?,表示保留。.build();//?創(chuàng)建?TriggerSimpleScheduleBuilder?scheduleBuilder?=?SimpleScheduleBuilder.simpleSchedule().withIntervalInSeconds(5)?//?頻率。.repeatForever();?//?次數(shù)。Trigger?trigger?=?TriggerBuilder.newTrigger().forJob(jobDetail)?//?對(duì)應(yīng)?Job?為?demoJob01.withIdentity("demoJob01Trigger")?//?名字為?demoJob01Trigger.withSchedule(scheduleBuilder)?//?對(duì)應(yīng)?Schedule?為?scheduleBuilder.build();//?添加調(diào)度任務(wù)scheduler.scheduleJob(jobDetail,?trigger); //????????scheduler.scheduleJob(jobDetail,?Sets.newSet(trigger),?true);}@Testpublic?void?addDemoJob02Config()?throws?SchedulerException?{//?創(chuàng)建?JobDetailJobDetail?jobDetail?=?JobBuilder.newJob(DemoJob02.class).withIdentity("demoJob02")?//?名字為?demoJob02.storeDurably()?//?沒(méi)有?Trigger?關(guān)聯(lián)的時(shí)候任務(wù)是否被保留。因?yàn)閯?chuàng)建?JobDetail?時(shí),還沒(méi)?Trigger?指向它,所以需要設(shè)置為?true?,表示保留。.build();//?創(chuàng)建?TriggerCronScheduleBuilder?scheduleBuilder?=?CronScheduleBuilder.cronSchedule("0/10?*?*?*?*???*");Trigger?trigger?=?TriggerBuilder.newTrigger().forJob(jobDetail)?//?對(duì)應(yīng)?Job?為?demoJob01.withIdentity("demoJob02Trigger")?//?名字為?demoJob01Trigger.withSchedule(scheduleBuilder)?//?對(duì)應(yīng)?Schedule?為?scheduleBuilder.build();//?添加調(diào)度任務(wù)scheduler.scheduleJob(jobDetail,?trigger); //????????scheduler.scheduleJob(jobDetail,?Sets.newSet(trigger),?true);}}-
創(chuàng)建 JobDetail 和 Trigger 的代碼,其實(shí)和 「4.6.1 Bean 自動(dòng)設(shè)置」 是一致的。
-
在每個(gè)單元測(cè)試方法的最后,調(diào)用?Scheduler#scheduleJob(JobDetail jobDetail, Trigger trigger)?方法,將 JobDetail 和 Trigger 持久化到數(shù)據(jù)庫(kù)。
-
如果想要覆蓋數(shù)據(jù)庫(kù)中的 Quartz 定時(shí)任務(wù)的配置,可以調(diào)用?Scheduler#scheduleJob(JobDetail jobDetail, Set<? extends Trigger> triggersForJob, boolean replace)?方法,傳入?replace = true?進(jìn)行覆蓋配置。
4.7 Application
創(chuàng)建?Application.java?類,配置?@SpringBootApplication?注解即可。代碼如下:
//?Application.java@SpringBootApplication public?class?Application?{public?static?void?main(String[]?args)?{SpringApplication.run(Application.class,?args);}}-
運(yùn)行 Application 類,啟動(dòng)示例項(xiàng)目。具體的執(zhí)行日志,和 「3.4 Application」 基本一致,艿艿這里就不重復(fù)羅列了。
如果胖友想要測(cè)試集群下的運(yùn)行情況,可以再創(chuàng)建 創(chuàng)建?Application02.java?類,配置?@SpringBootApplication?注解即可。代碼如下:
//?Application02.java@SpringBootApplication public?class?Application02?{public?static?void?main(String[]?args)?{//?設(shè)置?Tomcat?隨機(jī)端口System.setProperty("server.port",?"0");//?啟動(dòng)?Spring?Boot?應(yīng)用SpringApplication.run(Application.class,?args);}}-
運(yùn)行 Application02 類,再次啟動(dòng)一個(gè)示例項(xiàng)目。然后,觀察輸出的日志,可以看到啟動(dòng)的兩個(gè)示例項(xiàng)目,都會(huì)有 DemoJob01 和 DemoJob02 的執(zhí)行日志。
5. 快速入門 XXL-JOB
示例代碼對(duì)應(yīng)倉(cāng)庫(kù):lab-28-task-xxl-job 。
雖然說(shuō),Quartz 的功能,已經(jīng)能夠滿足我們對(duì)定時(shí)任務(wù)的訴求,但是距離生產(chǎn)可用、好用,還是有一定的距離。在艿艿最早開(kāi)始實(shí)習(xí)的時(shí)候,因?yàn)镼uartz 只提供了任務(wù)調(diào)度的功能,不提供管理任務(wù)的管理與監(jiān)控控制臺(tái),需要自己去做二次封裝。當(dāng)時(shí),因?yàn)樯鐓^(qū)中找不到合適的實(shí)現(xiàn)這塊功能的開(kāi)源項(xiàng)目,所以我們就自己進(jìn)行了簡(jiǎn)單的封裝,滿足我們的管理與監(jiān)控的需求。
不過(guò)現(xiàn)在呢,開(kāi)源社區(qū)中已經(jīng)有了很多優(yōu)秀的調(diào)度任務(wù)中間件。其中,比較有代表性的就是 XXL-JOB 。其對(duì)自己的定義如下:
XXL-JOB 是一個(gè)輕量級(jí)分布式任務(wù)調(diào)度平臺(tái),其核心設(shè)計(jì)目標(biāo)是開(kāi)發(fā)迅速、學(xué)習(xí)簡(jiǎn)單、輕量級(jí)、易擴(kuò)展。
對(duì)于 XXL-JOB 的入門,艿艿已經(jīng)在 《芋道 XXL-JOB 極簡(jiǎn)入門》 中編寫,胖友先跳轉(zhuǎn)到該文章閱讀。重點(diǎn)是,要先搭建一個(gè) XXL-JOB 調(diào)度中心。😈 因?yàn)?#xff0c;本文我們是來(lái)在 Spring Boot 項(xiàng)目中,實(shí)現(xiàn)一個(gè) XXL-JOB 執(zhí)行器。
5.1 引入依賴
在?pom.xml?文件中,引入相關(guān)依賴。
<?xml?version="1.0"?encoding="UTF-8"?> <project?xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0?http://maven.apache.org/xsd/maven-4.0.0.xsd"><parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.2.1.RELEASE</version><relativePath/>?<!--?lookup?parent?from?repository?--></parent><modelVersion>4.0.0</modelVersion><artifactId>lab-28-task-xxl-job</artifactId><dependencies><!--?實(shí)現(xiàn)對(duì)?Spring?MVC?的自動(dòng)化配置?--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><!--?XXL-JOB?相關(guān)依賴?--><dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId><version>2.1.1</version></dependency></dependencies></project>具體每個(gè)依賴的作用,胖友自己認(rèn)真看下艿艿添加的所有注釋噢。比較可惜的是,目前 XXL-JOB 官方并未提供 Spring Boot Starter 包,略微有點(diǎn)尷尬。不過(guò),社區(qū)已經(jīng)有人在提交 Pull Request 了,詳細(xì)可見(jiàn) https://github.com/xuxueli/xxl-job/pull/820 。
5.2 應(yīng)用配置文件
在?application.yml?中,添加 Quartz 的配置,如下:
server:port:?9090?#指定一個(gè)端口,避免和?XXL-JOB?調(diào)度中心的端口沖突。僅僅測(cè)試之用#?xxl-job xxl:job:admin:addresses:?http://127.0.0.1:8080/xxl-job-admin?#?調(diào)度中心部署跟地址?[選填]:如調(diào)度中心集群部署存在多個(gè)地址則用逗號(hào)分隔。執(zhí)行器將會(huì)使用該地址進(jìn)行"執(zhí)行器心跳注冊(cè)"和"任務(wù)結(jié)果回調(diào)";為空則關(guān)閉自動(dòng)注冊(cè);executor:appname:?lab-28-executor?#?執(zhí)行器?AppName?[選填]:執(zhí)行器心跳注冊(cè)分組依據(jù);為空則關(guān)閉自動(dòng)注冊(cè)ip:?#?執(zhí)行器IP?[選填]:默認(rèn)為空表示自動(dòng)獲取IP,多網(wǎng)卡時(shí)可手動(dòng)設(shè)置指定IP,該IP不會(huì)綁定Host僅作為通訊實(shí)用;地址信息用于?"執(zhí)行器注冊(cè)"?和?"調(diào)度中心請(qǐng)求并觸發(fā)任務(wù)";port:?6666?#?###?執(zhí)行器端口號(hào)?[選填]:小于等于0則自動(dòng)獲取;默認(rèn)端口為9999,單機(jī)部署多個(gè)執(zhí)行器時(shí),注意要配置不同執(zhí)行器端口;logpath:?/Users/yunai/logs/xxl-job/lab-28-executor?#?執(zhí)行器運(yùn)行日志文件存儲(chǔ)磁盤路徑?[選填]?:需要對(duì)該路徑擁有讀寫權(quán)限;為空則使用默認(rèn)路徑;logretentiondays:?30?#?執(zhí)行器日志文件保存天數(shù)?[選填]?:?過(guò)期日志自動(dòng)清理,?限制值大于等于3時(shí)生效;?否則,?如-1,?關(guān)閉自動(dòng)清理功能;accessToken:?yudaoyuanma?#?執(zhí)行器通訊TOKEN?[選填]:非空時(shí)啟用;-
具體每個(gè)參數(shù)的作用,胖友自己看下詳細(xì)的注釋哈。
5.3 XxlJobConfiguration
在?cn.iocoder.springboot.lab28.task.config?包路徑下,創(chuàng)建 DataSourceConfiguration 類,配置 XXL-JOB 執(zhí)行器。代碼如下:
//?XxlJobConfiguration.java@Configuration public?class?XxlJobConfiguration?{@Value("${xxl.job.admin.addresses}")private?String?adminAddresses;@Value("${xxl.job.executor.appname}")private?String?appName;@Value("${xxl.job.executor.ip}")private?String?ip;@Value("${xxl.job.executor.port}")private?int?port;@Value("${xxl.job.accessToken}")private?String?accessToken;@Value("${xxl.job.executor.logpath}")private?String?logPath;@Value("${xxl.job.executor.logretentiondays}")private?int?logRetentionDays;@Beanpublic?XxlJobSpringExecutor?xxlJobExecutor()?{//?創(chuàng)建?XxlJobSpringExecutor?執(zhí)行器XxlJobSpringExecutor?xxlJobSpringExecutor?=?new?XxlJobSpringExecutor();xxlJobSpringExecutor.setAdminAddresses(adminAddresses);xxlJobSpringExecutor.setAppName(appName);xxlJobSpringExecutor.setIp(ip);xxlJobSpringExecutor.setPort(port);xxlJobSpringExecutor.setAccessToken(accessToken);xxlJobSpringExecutor.setLogPath(logPath);xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);//?返回return?xxlJobSpringExecutor;}}-
在?#xxlJobExecutor()?方法,創(chuàng)建了 Spring 容器下的 XXL-JOB 執(zhí)行器 Bean 對(duì)象。要注意,方法上添加了的?@Bean?注解,配置了啟動(dòng)和銷毀方法。
5.4 DemoJob
在?cn.iocoder.springboot.lab28.task.job?包路徑下,創(chuàng)建 DemoJob 類,示例定時(shí)任務(wù)類。代碼如下:
//?DemoJob.java@Component @JobHandler("demoJob") public?class?DemoJob?extends?IJobHandler?{private?Logger?logger?=?LoggerFactory.getLogger(getClass());private?final?AtomicInteger?counts?=?new?AtomicInteger();@Overridepublic?ReturnT<String>?execute(String?param)?throws?Exception?{//?打印日志logger.info("[execute][定時(shí)第?({})?次執(zhí)行]",?counts.incrementAndGet());//?返回執(zhí)行成功return?ReturnT.SUCCESS;}}-
繼承 XXL-JOB IJobHandler 抽象類,通過(guò)實(shí)現(xiàn)?#execute(String param)?方法,從而實(shí)現(xiàn)定時(shí)任務(wù)的邏輯。
-
在方法上,添加?@JobHandler?注解,設(shè)置 JobHandler 的名字。后續(xù),我們?cè)谡{(diào)度中心的控制臺(tái)中,新增任務(wù)時(shí),需要使用到這個(gè)名字。
#execute(String param)?方法的返回結(jié)果,為 ReturnT 類型。當(dāng)返回值符合?“ReturnT.code == ReturnT.SUCCESS_CODE”?時(shí)表示任務(wù)執(zhí)行成功,否則表示任務(wù)執(zhí)行失敗,而且可以通過(guò)?“ReturnT.msg”?回調(diào)錯(cuò)誤信息給調(diào)度中心;從而,在任務(wù)邏輯中可以方便的控制任務(wù)執(zhí)行結(jié)果。
#execute(String param)?方法的方法參數(shù),為調(diào)度中心的控制臺(tái)中,新增任務(wù)時(shí),配置的“任務(wù)參數(shù)”。一般情況下,不會(huì)使用到。
5.5 Application
創(chuàng)建?Application.java?類,配置?@SpringBootApplication?注解即可。代碼如下:
//?Application.java@SpringBootApplication public?class?Application?{public?static?void?main(String[]?args)?{SpringApplication.run(Application.class,?args);}}運(yùn)行 Application 類,啟動(dòng)示例項(xiàng)目。輸出日志精簡(jiǎn)如下:
#?XXL-JOB?啟動(dòng)日志 2019-11-29?00:58:42.429??INFO?46957?---?[???????????main]?c.xxl.job.core.executor.XxlJobExecutor???:?>>>>>>>>>>>?xxl-job?register?jobhandler?success,?name:demoJob,?jobHandler:cn.iocoder.springboot.lab28.task.job.DemoJob@3af9aa66 2019-11-29?00:58:42.451??INFO?46957?---?[???????????main]?c.x.r.r.provider.XxlRpcProviderFactory???:?>>>>>>>>>>>?xxl-rpc,?provider?factory?add?service?success.?serviceKey?=?com.xxl.job.core.biz.ExecutorBiz,?serviceBean?=?class?com.xxl.job.core.biz.impl.ExecutorBizImpl 2019-11-29?00:58:42.454??INFO?46957?---?[???????????main]?c.x.r.r.provider.XxlRpcProviderFactory???:?>>>>>>>>>>>?xxl-rpc,?provider?factory?add?service?success.?serviceKey?=?com.xxl.job.core.biz.ExecutorBiz,?serviceBean?=?class?com.xxl.job.core.biz.impl.ExecutorBizImpl 2019-11-29?00:58:42.565??INFO?46957?---?[???????????main]?o.s.s.concurrent.ThreadPoolTaskExecutor??:?Initializing?ExecutorService?'applicationTaskExecutor' 2019-11-29?00:58:42.629??INFO?46957?---?[???????Thread-7]?com.xxl.rpc.remoting.net.Server??????????:?>>>>>>>>>>>?xxl-rpc?remoting?server?start?success,?nettype?=?com.xxl.rpc.remoting.net.impl.netty_http.server.NettyHttpServer,?port?=?6666此時(shí),因?yàn)槲覀儾⑽丛?XXL-JOB 調(diào)度中心進(jìn)行相關(guān)的配置,所以 DemoJob 并不會(huì)執(zhí)行。下面,讓我們?cè)?XXL-JOB 調(diào)度中心進(jìn)行相應(yīng)的配置。
5.6 新增執(zhí)行器
瀏覽器打開(kāi) http://127.0.0.1:8080/xxl-job-admin/jobgroup 地址,即「執(zhí)行器管理」菜單。如下圖:
點(diǎn)擊「新增執(zhí)行器」按鈕,彈出「新增執(zhí)行器」界面。如下圖:
填寫完?"lab-28-executor"?執(zhí)行器的信息,點(diǎn)擊「保存」按鈕,進(jìn)行保存。耐心等待一會(huì),執(zhí)行器會(huì)自動(dòng)注冊(cè)上來(lái)。如下圖:
-
執(zhí)行器列表中顯示在線的執(zhí)行器列表, 可通過(guò) "OnLine 機(jī)器" 查看對(duì)應(yīng)執(zhí)行器的集群機(jī)器。
相同執(zhí)行器,有且僅需配置一次即可。
5.7 新建任務(wù)
瀏覽器打開(kāi) http://127.0.0.1:8080/xxl-job-admin/jobinfo 地址,即「任務(wù)管理」菜單。如下圖:
點(diǎn)擊最右邊的「新增」按鈕,彈出「新增」界面。如下圖:
填寫完?"demoJob"?任務(wù)的信息,點(diǎn)擊「保存」按鈕,進(jìn)行保存。如下圖:
點(diǎn)擊?"demoJob"?任務(wù)的「操作」按鈕,選擇「啟動(dòng)」,確認(rèn)后,該?"demoJob"?任務(wù)的狀態(tài)就變成了?RUNNING?。如下圖:
此時(shí),我們打開(kāi)執(zhí)行器的 IDE 界面,可以看到 DemoJob 已經(jīng)在每分鐘執(zhí)行一次了。日志如下:
2019-11-29?01:30:00.161??INFO?48374?---?[??????Thread-18]?c.i.springboot.lab28.task.job.DemoJob????:?[execute][定時(shí)第?(1)?次執(zhí)行] 2019-11-29?01:31:00.012??INFO?48374?---?[??????Thread-18]?c.i.springboot.lab28.task.job.DemoJob????:?[execute][定時(shí)第?(2)?次執(zhí)行] 2019-11-29?01:32:00.009??INFO?48374?---?[??????Thread-18]?c.i.springboot.lab28.task.job.DemoJob????:?[execute][定時(shí)第?(3)?次執(zhí)行] 2019-11-29?01:33:00.010??INFO?48374?---?[??????Thread-18]?c.i.springboot.lab28.task.job.DemoJob????:?[execute][定時(shí)第?(4)?次執(zhí)行] 2019-11-29?01:34:00.005??INFO?48374?---?[??????Thread-18]?c.i.springboot.lab28.task.job.DemoJob????:?[execute][定時(shí)第?(5)?次執(zhí)行]并且,我們?cè)谡{(diào)度中心的界面上,點(diǎn)擊?"demoJob"?任務(wù)的「操作」按鈕,選擇「查詢?nèi)罩尽?#xff0c;可以看到相應(yīng)的調(diào)度日志。如下圖:
至此,我們已經(jīng)完成了 XXL-JOB 執(zhí)行器的入門。
6. 快速入門 Elastic-Job
可能很多胖友不了解 Elastic-Job 這個(gè)中間件。我們看一段其官方文檔的介紹:
Elastic-Job 是一個(gè)分布式調(diào)度解決方案,由兩個(gè)相互獨(dú)立的子項(xiàng)目 Elastic-Job-Lite 和 Elastic-Job-Cloud 組成。
Elastic-Job-Lite 定位為輕量級(jí)無(wú)中心化解決方案,使用 jar 包的形式提供分布式任務(wù)的協(xié)調(diào)服務(wù)。
Elastic-Job 基本是國(guó)內(nèi)開(kāi)源最好的調(diào)度任務(wù)中間件的幾個(gè)中間件,可能沒(méi)有之一,嘿嘿。目前處于有點(diǎn)“斷更”的狀態(tài),具體可見(jiàn) https://github.com/elasticjob/elastic-job-lite/issues/616 。
所以關(guān)于這塊的示例,艿艿暫時(shí)先不提供。如果對(duì) Elastic-Job 源碼感興趣的胖友,可以看看艿艿寫的如下兩個(gè)系列:
-
《芋道 Elastic-Job-Lite 源碼分析系列》
-
《芋道 Elastic-Job-Cloud 源碼分析系列》
666. 彩蛋
① 如何選擇?
可能胖友希望了解下不同調(diào)度中間件的對(duì)比。表格如下:
| 依賴 | MySQL、jdk | jdk、zookeeper | mysql、jdk | jdk、zookeeper、maven |
| 高可用 | 多節(jié)點(diǎn)部署,通過(guò)競(jìng)爭(zhēng)數(shù)據(jù)庫(kù)鎖來(lái)保證只有一個(gè)節(jié)點(diǎn)執(zhí)行任務(wù) | 通過(guò)zookeeper的注冊(cè)與發(fā)現(xiàn),可以動(dòng)態(tài)的添加服務(wù)器 | 基于競(jìng)爭(zhēng)數(shù)據(jù)庫(kù)鎖保證只有一個(gè)節(jié)點(diǎn)執(zhí)行任務(wù),支持水平擴(kuò)容。可以手動(dòng)增加定時(shí)任務(wù),啟動(dòng)和暫停任務(wù),有監(jiān)控 | 集群部署,可以動(dòng)態(tài)的添加服務(wù)器。可以手動(dòng)增加定時(shí)任務(wù),啟動(dòng)和暫停任務(wù)。有監(jiān)控 |
| 任務(wù)分片 | × | √ | √ | √ |
| 管理界面 | × | √ | √ | √ |
| 難易程度 | 簡(jiǎn)單 | 簡(jiǎn)單 | 簡(jiǎn)單 | 略復(fù)雜 |
| 高級(jí)功能 | - | 彈性擴(kuò)容,多種作業(yè)模式,失效轉(zhuǎn)移,運(yùn)行狀態(tài)收集,多線程處理數(shù)據(jù),冪等性,容錯(cuò)處理,spring命名空間支持 | 彈性擴(kuò)容,分片廣播,故障轉(zhuǎn)移,Rolling實(shí)時(shí)日志,GLUE(支持在線編輯代碼,免發(fā)布),任務(wù)進(jìn)度監(jiān)控,任務(wù)依賴,數(shù)據(jù)加密,郵件報(bào)警,運(yùn)行報(bào)表,國(guó)際化 | 支持spring,spring boot,業(yè)務(wù)日志記錄器,SPI擴(kuò)展支持,故障轉(zhuǎn)移,節(jié)點(diǎn)監(jiān)控,多樣化任務(wù)執(zhí)行結(jié)果支持,FailStore容錯(cuò),動(dòng)態(tài)擴(kuò)容。 |
| 版本更新 | 半年沒(méi)更新 | 2年沒(méi)更新 | 最近有更新 | 1年沒(méi)更新 |
也推薦看看如下文章:
-
《分布式定時(shí)任務(wù)調(diào)度系統(tǒng)技術(shù)選型》
-
《Azkaban、Xxl-Job 與 Airflow 對(duì)比分析》
目前的狀況,如果真的不知道怎么選擇,可以先嘗試下 XXL-JOB 。
② 中心化 V.S 去中心化
下面,讓我們一起來(lái)簡(jiǎn)單聊聊分布式調(diào)度中間件的實(shí)現(xiàn)方式的分類。一個(gè)分布式的調(diào)度中間件,會(huì)存在兩種角色:
-
調(diào)度器:負(fù)責(zé)調(diào)度任務(wù),下發(fā)給執(zhí)行器。
-
執(zhí)行器:負(fù)責(zé)接收任務(wù),執(zhí)行具體任務(wù)。
那么,如果從調(diào)度系統(tǒng)的角度來(lái)看,可以分成兩類:
-
中心化: 調(diào)度中心和執(zhí)行器分離,調(diào)度中心統(tǒng)一調(diào)度,通知某個(gè)執(zhí)行器處理任務(wù)。
-
去中心化:調(diào)度中心和執(zhí)行器一體化,自己調(diào)度自己執(zhí)行處理任務(wù)。
如此可知 XXL-Job 屬于中心化的任務(wù)調(diào)度平臺(tái)。目前采用這種方案的還有:
-
鏈家的 kob
-
美團(tuán)的 Crane(暫未開(kāi)源)
去中心化的任務(wù)調(diào)度平臺(tái),目前有:
-
Elastic Job
-
唯品會(huì)的 Saturn
-
Quartz 基于數(shù)據(jù)庫(kù)的集群方案
-
淘寶的 TBSchedule(暫停更新,只能使用阿里云 SchedulerX 服務(wù))
艿艿:如果胖友想要更加的理解,可以看看艿艿朋友寫的 《中心化 V.S 去中心化調(diào)度設(shè)計(jì)》
③ 任務(wù)競(jìng)爭(zhēng) V.S 任務(wù)預(yù)分配
那么,如果從任務(wù)分配的角度來(lái)看,可以分成兩類:
-
任務(wù)競(jìng)爭(zhēng):調(diào)度器會(huì)通過(guò)競(jìng)爭(zhēng)任務(wù),下發(fā)任務(wù)給執(zhí)行器。
-
任務(wù)預(yù)分配:調(diào)度器預(yù)先分配任務(wù)給不同的執(zhí)行器,無(wú)需進(jìn)行競(jìng)爭(zhēng)。
如此可知 XXL-Job 屬于任務(wù)競(jìng)爭(zhēng)的任務(wù)調(diào)度平臺(tái)。目前采用這種方案的還有:
-
鏈家的 kob
-
美團(tuán)的 Crane(暫未開(kāi)源)
-
Quartz 基于數(shù)據(jù)庫(kù)的集群方案
任務(wù)預(yù)分配的任務(wù)調(diào)度平臺(tái),目前有:
-
Elastic Job
-
唯品會(huì)的 Saturn
-
淘寶的 TBSchedule(暫停更新,只能使用阿里云 SchedulerX 服務(wù))
一般來(lái)說(shuō),基于任務(wù)預(yù)分配的任務(wù)調(diào)度平臺(tái),都會(huì)選擇使用 Zookeeper 來(lái)協(xié)調(diào)分配任務(wù)到不同的節(jié)點(diǎn)上。同時(shí),任務(wù)調(diào)度平臺(tái)必須是去中心化的方案,每個(gè)節(jié)點(diǎn)即是調(diào)度器又是執(zhí)行器。這樣,任務(wù)在預(yù)分配在每個(gè)節(jié)點(diǎn)之后,后續(xù)就自己調(diào)度給自己執(zhí)行。
相比較而言,隨著節(jié)點(diǎn)越來(lái)越多,基于任務(wù)競(jìng)爭(zhēng)的方案會(huì)因?yàn)槿蝿?wù)競(jìng)爭(zhēng),導(dǎo)致存在性能下滑的問(wèn)題。而基于任務(wù)預(yù)分配的方案,則不會(huì)存在這個(gè)問(wèn)題。并且,基于任務(wù)預(yù)分配的方案,性能會(huì)優(yōu)于基于任務(wù)競(jìng)爭(zhēng)的方案。
這里在推薦一篇 Elastic Job 開(kāi)發(fā)者張亮的文章 《詳解當(dāng)當(dāng)網(wǎng)的分布式作業(yè)框架 elastic-job》 ,灰常給力!
④ Quartz 是個(gè)優(yōu)秀的調(diào)度內(nèi)核
絕大多數(shù)情況下,我們不會(huì)直接使用 Quartz 作為我們的調(diào)度中間件的選擇。但是,基本所有的分布式調(diào)度中間件,都將 Quartz 作為調(diào)度內(nèi)核,因?yàn)?Quartz 在單純?nèi)蝿?wù)調(diào)度本身提供了很強(qiáng)的功能。
不過(guò)呢,隨著一個(gè)分布式調(diào)度中間件的逐步完善,又會(huì)逐步考慮拋棄 Quartz 作為調(diào)度內(nèi)核,轉(zhuǎn)而自研。例如說(shuō) XXL-JOB 在 2.1.0 RELEASE 的版本中,就已經(jīng)更換成自研的調(diào)度模塊。其替換的理由如下:
XXL-JOB 最終選擇自研調(diào)度組件(早期調(diào)度組件基于 Quartz);
-
一方面,是為了精簡(jiǎn)系統(tǒng)降低冗余依賴。
-
另一方面,是為了提供系統(tǒng)的可控度與穩(wěn)定性。
在 Elastic-Job 3.X 的開(kāi)發(fā)計(jì)劃中,也有一項(xiàng)計(jì)劃,就是自研調(diào)度組件,替換掉 Quartz 。
總結(jié)
以上是生活随笔為你收集整理的Spring Job?Quartz?XXL-Job?年轻人才做选择,艿艿全莽~的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: ThreadLocal可以解决并发问题吗
- 下一篇: 基于消息队列的分布式事务解决方案