【進階之路】定時任務調用平臺xxl-job

你們好，我是練習java兩年半時間的南橘，從一名連java有幾種數據結構都不懂超級小白，到如今懂了一點點的進階小白，學到了很多的東西。知識越分享越值錢，我這段時間總結（包括從別的大佬那邊學習，引用）了一些日常學習和工做中的重點（自我認爲），但願給你們帶來一些幫助

不少業務場景須要咱們某一特定的時刻去作某件任務，定時任務解決的就是這種業務場景。通常來講，系統可使用消息傳遞代替部分定時任務，二者有不少能夠相互替換場景。如，發貨成功發短信通知客戶的業務場景，咱們能夠在發貨成功後發送MQ消息到隊列，而後去消費mq消息，發送短信。可是在不少狀況，MQ系統並不能承擔定時任務：

• 天天5:30定時去sftp下載一天的還款計劃
• 天天23：00提交一天的日終計劃
• 每5分鐘同步一次相關的訂單狀態

當遇到這些問題的時候，就能夠考慮用到定時任務了。

XXL-JOB介紹

XXL-JOB是一個分佈式任務調度平臺，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線，開箱即用。

一、XXL-JOB特性：

• 一、簡單：支持經過Web頁面對任務進行CRUD操做，操做簡單，一分鐘上手；
• 二、動態：支持動態修改任務狀態、啓動/中止任務，以及終止運行中任務，即時生效；
• 三、調度中心HA（中心式）：調度採用中心式設計，「調度中心」自研調度組件並支持集羣部署，可保證調度中心HA；
• 四、執行器HA（分佈式）：任務分佈式執行，任務」執行器」支持集羣部署，可保證任務執行HA；
• 五、註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時，也支持手動錄入執行器地址；
• 六、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會從新分配任務；
• 七、觸發策略：提供豐富的任務觸發策略，包括：Cron觸發、固定間隔觸發、固定延時觸發、API（事件）觸發、人工觸發、父子任務觸發；
• 八、調度過時策略：調度中心錯過調度時間的補償處理策略，包括：忽略、當即補償觸發一次等；
• 九、阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄後續調度、覆蓋以前調度；
• 十、任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務；
• 十一、任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；其中分片任務支持分片粒度的失敗重試；
• 十二、任務失敗告警；默認提供郵件方式失敗告警，同時預留擴展接口，可方便的擴展短信、釘釘等告警方式；
• 1三、路由策略：執行器集羣部署時提供豐富的路由策略，包括：第一個、最後一個、輪詢、隨機、一致性HASH、最不常用、最近最久未使用、故障轉移、忙碌轉移等；
• 1四、分片廣播任務：執行器集羣部署時，任務路由策略選擇」分片廣播」狀況下，一次任務調度將會廣播觸發集羣中全部執行器執行一次任務，可根據分片參數開發分片任務；
• 1五、動態分片：分片廣播任務以執行器爲維度進行分片，支持動態擴容執行器集羣從而動態增長分片數量，協同進行業務處理；在進行大數據量業務操做時可顯著提高任務處理能力和速度。
• 1六、故障轉移：任務路由策略選擇」故障轉移」狀況下，若是執行器集羣中某一臺機器故障，將會自動Failover切換到一臺正常的執行器發送調度請求。
• 1七、任務進度監控：支持實時監控任務進度；
• 1八、Rolling實時日誌：支持在線查看調度結果，而且支持以Rolling方式實時查看執行器輸出的完整的執行日誌；
• 1九、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發佈，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。
• 20、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
• 2一、命令行任務：原生提供通用命令行任務Handler（Bean任務，」CommandJobHandler」）；業務方只須要提供命令行便可；
• 2二、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
• 2三、一致性：「調度中心」經過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行；
• 2四、自定義任務參數：支持在線配置調度任務入參，即時生效；
• 2五、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；
• 2六、數據加密：調度中心和執行器之間的通信進行數據加密，提高調度信息安全性；
• 2七、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址羣發報警郵件；
• 2八、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
• 2九、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分佈圖，調度成功分佈圖等；
• 30、全異步：任務調度流程全異步化設計實現，如異步調度、異步運行、異步回調等，有效對密集調度進行流量削峯，理論上支持任意時長任務的運行；
• 3一、跨語言：調度中心與執行器提供語言無關的 RESTful API 服務，第三方任意語言可據此對接調度中心或者實現執行器。除此以外，還提供了 「多任務模式」和「httpJobHandler」等其餘跨語言方案；
• 3二、國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認爲中文；
• 3三、容器化：提供官方docker鏡像，並實時更新推送dockerhub，進一步實現產品開箱即用；
• 3四、線程池隔離：調度線程池進行隔離拆分，慢任務自動降級進入」Slow」線程池，避免耗盡調度線程，提升系統穩定性；
• 3五、用戶管理：支持在線管理系統用戶，存在管理員、普通用戶兩種角色；
• 3六、權限控制：執行器維度進行權限控制，管理員擁有全量權限，普通用戶須要分配執行器權限後才容許相關操做；

（感受這個像水字數啊）

二、系統組成

調度模塊（調度中心）：負責管理調度信息，按照調度配置發出調度請求，自身不承擔業務代碼。調度系統與任務解耦，提升了系統可用性和穩定性，同時調度系統性能再也不受限於任務模塊；支持可視化、簡單且動態的管理調度信息，包括任務新建，更新，刪除，GLUE開發和任務報警等，全部上述操做都會實時生效，同時支持監控調度結果以及執行日誌，支持執行器Failover。

執行模塊（執行器）：負責接收調度請求並執行任務邏輯。任務模塊專一於任務的執行等操做，開發和維護更加簡單和高效；接收「調度中心」的執行請求、終止請求和日誌請求等。

如圖，咱們能夠看出xxl-job的執行方式，在調度中心創建好調度器，在代碼中設定好執行器，就可以很是輕鬆的實現定時任務，比springboot裏自帶的定時任務更加的簡單與可視化。

可視化就是XXL-JOB受歡迎的一個重要因素。

須要搭建xxl-job體系的同窗能夠去開源社區看

三、新增定時任務

xxl-job的使用也很簡單，搭建完調度中心以後。

一、登陸調度中心，密碼之類的能夠自行設置，默認的端口號是8080

二、新建一個執行器，執行器就相似於一個項目，調度任務須要隸屬於某個執行器，執行器支持集羣部署，提高調度系統可用性，同時提高任務處理能力。
固然，調度中心也是能夠集羣部署的，能夠經過nginx爲調度中心集羣作負載均衡，分配域名。

• 執行器回調地址（xxl.job.admin.addresses）須要保持一致；執行器根據該配置進行執行器自動註冊等操做。
• 同一個執行器集羣內AppName（xxl.job.executor.appname）須要保持一致；調度中心根據該配置動態發現不一樣集羣的在線執行器列表。
  
  三、登陸調度中心，點擊下圖所示「新建任務」按鈕，新建示例任務。而後，參考下面截圖中任務的參數配置，點擊保存。
  
  新建任務後有不少操做的選項，能夠根據實際狀況進行使用（強烈建議關閉不必的定時任務，嚴重影響性能，若是你配置了elk，你會發現kibana裏全是定時任務的日誌）
  

四、在程序中開發：(介紹的是BEAN模式（類形式）)

• JobHander：爲Job方法添加註解，註解名爲新增任務中的註解名。
• 執行日誌：須要經過 "XxlJobLogger.log" 打印執行日誌。
• 任務結果：默認任務結果爲 "成功" 狀態，不須要主動設置；若有訴求，好比設置任務結果爲失敗，能夠經過"XxlJobHelper.handleFail/handleSuccess" 自主設置任務結果。
  

五、打印日誌，而且能夠在調度中心查看日誌。可是若是是一天內屢次重複調用，日誌比較難查詢，能夠再輔以elk查詢日誌。同時，在新建任務的時候，也能夠指定報錯通知的郵箱，會在報錯後發郵件通知。

四、任務模式的介紹

類形式雖說每一個任務須要佔用一個java類，可是根據接口隔離原則、單一職責原則來看，其實這樣才更加符合java的設計原則。同時，由於使用了調度中心，手動註冊也不成問題。

可是在一些其餘地方，好比不一樣狀況、不一樣時間段執行相同的任務的時候，能夠採用方法形式進行開發，一方面能夠複用代碼邏輯，另外一方面也能夠開發起來更方便。

五、調度模塊剖析

• 一、XXL-JOB中「調度模塊」和「任務模塊」徹底解耦，調度模塊進行任務調度時，將會解析不一樣的任務參數發起遠程調用，調用各自的遠程執行器服務。這種調用模型相似RPC調用，調度中心提供調用代理的功能，而執行器提供遠程服務的功能。

• 二、調度採用線程池方式實現，避免單線程因阻塞而引發任務調度延遲。

• 三、XXL-JOB調度模塊默認採用並行機制，在多線程調度的狀況下，不一樣任務之間並行調度、並行執行，調度模塊被阻塞的概率很低，大大提升了調度系統的承載量。

• 四、XXL-JOB的單個任務，針對多個執行器是並行運行的，針對單個執行器是串行執行的。同時支持任務終止。

• 五、任務調度錯過觸發時間時的處理策略：

  • 可能緣由：服務重啓；調度線程被阻塞，線程被耗盡；上次調度持續阻塞，下次調度被錯過；

    過時超5s：本次忽略，當前時間開始計算下次觸發時間

    過時5s內：當即觸發一次，當前時間開始計算下次觸發時間

六、優缺點介紹

優勢	缺點
開發迅速、學習簡單、輕量級、易擴展。開箱即用	調度中心經過獲取DB鎖來保證集羣中執行任務的惟一性，若是短任務不少，隨着調度中心集羣數量增長，那麼數據庫的鎖競爭會比較厲害，性能很差。
彈性擴容，分片廣播，故障轉移，Rolling實時日誌，GLUE（支持在線編輯代碼，免發佈），任務進度監控，任務依賴，數據加密，郵件報警，運行報表，國際化	須要手動在調度中心添加任務不能實現自動掃描註冊。
可視化管理界面
跨語言
可視化管理界面

還有許多關於xxl-job集羣的內容你們能夠去開源的官網上查看，我主要是向你們介紹一些重點內容與我本身使用的體驗，具體怎麼選擇，如何使用，仍是要根據你們本身的業務需求來進行選擇。下面這張圖是xxl-job和另外一個經常使用的任務調度工具elastic-job的對比，你們也能夠本身參考一下：

定時任務