開源定時任務XXL-JOB安裝與使用（ORACLE版和MYSQL版本） + 微服務模式

介紹

XXL-JOB是一個分佈式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線，開箱即用。

---

主要特性

• 一、簡單：支持經過Web頁面對任務進行CRUD操做，操做簡單，一分鐘上手；
• 二、動態：支持動態修改任務狀態、啓動/中止任務，以及終止運行中任務，即時生效；
• 三、調度中心HA（中心式）：調度採用中心式設計，「調度中心」自研調度組件並支持集羣部署，可保證調度中心HA；
• 四、執行器HA（分佈式）：任務分佈式執行，任務"執行器"支持集羣部署，可保證任務執行HA；
• 五、註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時，也支持手動錄入執行器地址；
• 六、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會從新分配任務；
• 七、路由策略：執行器集羣部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不常用、最近最久未使用、故障轉移、忙碌轉移等；
• 八、故障轉移：任務路由策略選擇"故障轉移"狀況下，若是執行器集羣中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。
• 九、阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄後續調度、覆蓋以前調度；
• 十、任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務；
• 十一、任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支持分片粒度的失敗重試；
• 十二、任務失敗告警；默認提供郵件方式失敗告警，同時預留擴展接口，可方便的擴展短信、釘釘等告警方式；
• 1三、分片廣播任務：執行器集羣部署時，任務路由策略選擇"分片廣播"狀況下，一次任務調度將會廣播觸發集羣中全部執行器執行一次任務，可根據分片參數開發分片任務；
• 1四、動態分片：分片廣播任務以執行器爲維度進行分片，支持動態擴容執行器集羣從而動態增長分片數量，協同進行業務處理；在進行大數據量業務操做時可顯著提高任務處理能力和速度。
• 1五、事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行以外，支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。
• 1六、任務進度監控：支持實時監控任務進度；
• 1七、Rolling實時日誌：支持在線查看調度結果，而且支持以Rolling方式實時查看執行器輸出的完整的執行日誌；
• 1八、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發佈，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。
• 1九、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
• 20、命令行任務：原生提供通用命令行任務Handler（Bean任務，"CommandJobHandler"）；業務方只須要提供命令行便可；
• 2一、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
• 2二、一致性：「調度中心」經過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行；
• 2三、自定義任務參數：支持在線配置調度任務入參，即時生效；
• 2四、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；
• 2五、數據加密：調度中心和執行器之間的通信進行數據加密，提高調度信息安全性；
• 2六、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址羣發報警郵件；
• 2七、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
• 2八、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分佈圖，調度成功分佈圖等；
• 2九、全異步：任務調度流程全異步化設計實現，如異步調度、異步運行、異步回調等，有效對密集調度進行流量削峯，理論上支持任意時長任務的運行；
• 30、跨語言：調度中心與執行器提供語言無關的 RESTful API 服務，第三方任意語言可據此對接調度中心或者實現執行器。除此以外，還提供了 「多任務模式」和「httpJobHandler」等其餘跨語言方案；
• 3一、國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認爲中文；
• 3二、容器化：提供官方docker鏡像，並實時更新推送dockerhub，進一步實現產品開箱即用；
• 3三、線程池隔離：調度線程池進行隔離拆分，慢任務自動降級進入"Slow"線程池，避免耗盡調度線程，提升系統穩定性；
• 3四、用戶管理：支持在線管理系統用戶，存在管理員、普通用戶兩種角色；
• 3五、權限控制：執行器維度進行權限控制，管理員擁有全量權限，普通用戶須要分配執行器權限後才容許相關操做；

---

項目地址（裏面都有相應的建表語句）

• github mysql
• github oracle

---

下載與安裝(如下以ORACLE版本爲例)

• 第一種方式：

  git clone https://github.com/NopSmile/xxl-job-oracle-2.1.0

• 第二種方式：
  

下載好後，經過idea編譯；

1. 是對應的數據庫建表語句
2. 任務調度管理系統
3. 執行器的核心依賴包
4. 執行器的例子

---

建立數據庫表

將 db目錄下的sql 執行到數據庫中，會生成7張表。

---

修改數據庫配置

修改路徑爲：src/main/resources/application.properties 並填寫本身的數據相關信息

選填項（預警郵箱）

---

啓動項目

成功後訪問：http://localhost:8088/xxl-job-admin/

初始用戶名：admin 
密碼：123456

至此服務端完成。

---

建立微服務執行器

• 引入pom依賴

<!-- xxl-job-core -->
        <dependency>
            <groupId>com.xuxueli</groupId>
            <artifactId>xxl-job-core</artifactId>
            <version>2.1.0</version>
        </dependency>

• 建立配置文件

package com.xxl.job.executor.core.config;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * xxl-job config
 *
 * @author xuxueli 2017-04-28
 */
@Configuration
public class XxlJobConfig {
    private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    @Value("${xxl.job.executor.logretentiondays}")
    private int logRetentionDays;

    @Bean(initMethod = "start", destroyMethod = "destroy")
    public XxlJobSpringExecutor xxlJobExecutor() {
        logger.info(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppName(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }

    /**
     * 針對多網卡、容器內部署等狀況，可藉助 "spring-cloud-commons" 提供的 "InetUtils" 組件靈活定製註冊IP；
     *
     *      一、引入依賴：
     *          <dependency>
     *             <groupId>org.springframework.cloud</groupId>
     *             <artifactId>spring-cloud-commons</artifactId>
     *             <version>${version}</version>
     *         </dependency>
     *
     *      二、配置文件，或者容器啓動變量
     *          spring.cloud.inetutils.preferred-networks: 'xxx.xxx.xxx.'
     *
     *      三、獲取IP
     *          String ip_ = inetUtils.findFirstNonLoopbackHostInfo().getIpAddress();
     */

}

• 修改配置文件

xxl:
  job:
    accessToken:
    admin:
      addresses: http://locahos:8088/xxl-job-admin
    executor:
      address:
      appname: xxl-job-shiro ##這個是執行器名字
      ip:
      logpath: /data/applogs/xxl-job/jobhandler
      logretentiondays: -1
      port: -1

appname 對應入下圖所示

• 建立執行器job

package com.itcc.coll.job;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import com.xxl.job.core.log.XxlJobLogger;
import org.springframework.stereotype.Component;

import java.util.Date;

/**
 * 任務Handler示例（Bean模式）
 *
 * 開發步驟：
 * 一、繼承"IJobHandler"：「com.xxl.job.core.handler.IJobHandler」；
 * 二、註冊到Spring容器：添加「@Component」註解，被Spring容器掃描爲Bean實例；
 * 三、註冊到執行器工廠：添加「@JobHandler(value="自定義jobhandler名稱")」註解，註解value值對應的是調度中心新建任務的JobHandler屬性的值。
 * 四、執行日誌：須要經過 "XxlJobLogger.log" 打印執行日誌；
 *
 * @author xuxueli 2015-12-19 19:43:36
 */
@JobHandler(value="shiro_job")
@Component
public class DemoJobHandler extends IJobHandler {

    @Override
    public ReturnT<String> execute(String param) throws Exception {
        System.out.println(new Date()+"shiro_job.");
        return SUCCESS;
    }

}

JobHandler 對應調度中心的這個屬性，入下圖

---

測試

經過管理中心，啓動測試。完美運行。其餘功能按字面意思調用便可。

---

issues

須要作兩臺機器的時間同步，時間差的不少也會執行失敗。

---

特別鳴謝；做者和這麼好的開源項目。祝君好運。