XXL-JOB 正在角逐 「2019年度最受歡迎中國開源軟件」,期待您寶貴的一票!投票連接html
v2.1.1 Release Notes
- 一、 調度中心日誌自動清理功能(至此,調度中心/執行器均支持日誌自動清理,過時天數均默認設置爲30天):調度中心新增配置項("xxl.job.logretentiondays")日誌保存天數,過時日誌自動清理;解決海量日誌狀況下日誌錶慢SQL問題;限制大於等於7時生效,不然關閉清理功能,默認爲30;
- 二、 調度報表優化:新增日誌報表的存儲表,三天內的任務日誌會以每分鐘一次的頻率異步同步至報表中;任務報表僅讀取報表數據,極大提高加載速度;
- 三、 Cron在線生成工具:任務新增、編輯框經過組件在線生成Cron表達式;
- 四、 Cron下次執行時間查詢:支持經過界面在線查看後續連續5次執行時間;
- 五、 調度中心新增應用健康檢查功能,藉助「spring-boot-starter-actuator」,相對地址 「/actuator/health」;
- 六、 DB腳本默認編碼改成utf8mb4,修復字符亂碼問題(建議Mysql版本5.7+);
- 七、 調度中心任務平均分配,觸發組件每次獲取與線程池數量相關數量的任務,避免大量任務集中在單個調度中心集羣節點;
- 八、 任務觸發組件優化,預加載頻率正常1s一次,當預加載輪空時主動休眠一個加載週期,動態下降加載頻率從而下降DB壓力;
- 九、 調度組件優化:針對永遠不會觸發的Cron禁止配置和啓動;任務Cron最後一次觸發後不再會觸發時,好比一次性任務,主動中止相關任務;
- 十、DB重連優化,修復DB宕機重連後任務調度中止的問題,重連後自動加入調度集羣觸發任務調度;
- 十一、註冊監控線程優化,下降死鎖概率;
- 十二、調度中心日誌刪除優化,改成分頁獲取ID並根據ID刪除的方式,避免批量刪除海量日誌致使死鎖問題;
- 1三、任務重試時參數丟失的問題修復;
- 1四、調度中心移除SQL中的 "now()" 函數;集羣部署時再也不依賴DB時鐘,僅須要保證調度中心應用節點時鐘一致便可;
- 1五、任務觸發組件加載順序調整,避免小几率狀況下組件隨機加載順序致使的I18N的NPE問題;
- 1六、JobThread自銷燬優化,避免併發觸發致使triggerQueue中任務丟失問題;
- 1七、調度中心密碼限制18位,修復修改密碼超過18位沒法登錄的問題;
- 1八、任務告警組件分頁參數無效問題修復;
- 1九、升級xxl-rpc版本:服務端線程優化,下降線程內存開銷;IpUtil優化:增長連通性校,過濾明確非法的網卡;
- 20、調度中心回調API服務改成restful方式;
- 2一、UI優化,任務列表和日誌列表數據表格寬度比例調整,避免數據換行提高體驗;
- 2二、登陸界面取消默認填寫的登陸帳號密碼;
- 2三、執行器表屬性調整,"順序" 屬性調整爲整型,解決執行器數據較多時沒法正確排序的問題;
- 2四、任務列表交互優化,支持查看任務所屬執行器的註冊節點;
- 2五、項目依賴升級至較新穩定版本,如spring、spring-boot、mybatis、slf4j、groovy等等;
簡介
XXL-JOB是一個輕量級分佈式任務調度平臺,其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼並接入多家公司線上產品線,開箱即用。spring
特性
- 一、簡單:支持經過Web頁面對任務進行CRUD操做,操做簡單,一分鐘上手;
- 二、動態:支持動態修改任務狀態、啓動/中止任務,以及終止運行中任務,即時生效;
- 三、調度中心HA(中心式):調度採用中心式設計,「調度中心」自研調度組件並支持集羣部署,可保證調度中心HA;
- 四、執行器HA(分佈式):任務分佈式執行,任務"執行器"支持集羣部署,可保證任務執行HA;
- 五、註冊中心: 執行器會週期性自動註冊任務, 調度中心將會自動發現註冊的任務並觸發執行。同時,也支持手動錄入執行器地址;
- 六、彈性擴容縮容:一旦有新執行器機器上線或者下線,下次調度時將會從新分配任務;
- 七、路由策略:執行器集羣部署時提供豐富的路由策略,包括:第一個、最後一個、輪詢、隨機、一致性HASH、最不常用、最近最久未使用、故障轉移、忙碌轉移等;
- 八、故障轉移:任務路由策略選擇"故障轉移"狀況下,若是執行器集羣中某一臺機器故障,將會自動Failover切換到一臺正常的執行器發送調度請求。
- 九、阻塞處理策略:調度過於密集執行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄後續調度、覆蓋以前調度;
- 十、任務超時控制:支持自定義任務超時時間,任務運行超時將會主動中斷任務;
- 十一、任務失敗重試:支持自定義任務失敗重試次數,當任務失敗時將會按照預設的失敗重試次數主動進行重試;其中分片任務支持分片粒度的失敗重試;
- 十二、任務失敗告警;默認提供郵件方式失敗告警,同時預留擴展接口,可方便的擴展短信、釘釘等告警方式;
- 1三、分片廣播任務:執行器集羣部署時,任務路由策略選擇"分片廣播"狀況下,一次任務調度將會廣播觸發集羣中全部執行器執行一次任務,可根據分片參數開發分片任務;
- 1四、動態分片:分片廣播任務以執行器爲維度進行分片,支持動態擴容執行器集羣從而動態增長分片數量,協同進行業務處理;在進行大數據量業務操做時可顯著提高任務處理能力和速度。
- 1五、事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行以外,支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發。
- 1六、任務進度監控:支持實時監控任務進度;
- 1七、Rolling實時日誌:支持在線查看調度結果,而且支持以Rolling方式實時查看執行器輸出的完整的執行日誌;
- 1八、GLUE:提供Web IDE,支持在線開發任務邏輯代碼,動態發佈,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯。
- 1九、腳本任務:支持以GLUE模式開發和運行腳本任務,包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
- 20、命令行任務:原生提供通用命令行任務Handler(Bean任務,"CommandJobHandler");業務方只須要提供命令行便可;
- 2一、任務依賴:支持配置子任務依賴,當父任務執行結束且執行成功後將會主動觸發一次子任務的執行, 多個子任務用逗號分隔;
- 2二、一致性:「調度中心」經過DB鎖保證集羣分佈式調度的一致性, 一次任務調度只會觸發一次執行;
- 2三、自定義任務參數:支持在線配置調度任務入參,即時生效;
- 2四、調度線程池:調度系統多線程觸發調度運行,確保調度精確執行,不被堵塞;
- 2五、數據加密:調度中心和執行器之間的通信進行數據加密,提高調度信息安全性;
- 2六、郵件報警:任務失敗時支持郵件報警,支持配置多郵件地址羣發報警郵件;
- 2七、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
- 2八、運行報表:支持實時查看運行數據,如任務數量、調度次數、執行器數量等;以及調度報表,如調度日期分佈圖,調度成功分佈圖等;
- 2九、全異步:任務調度流程全異步化設計實現,如異步調度、異步運行、異步回調等,有效對密集調度進行流量削峯,理論上支持任意時長任務的運行;
- 30、跨平臺:原生提供通用HTTP任務Handler(Bean任務,"HttpJobHandler");業務方只須要提供HTTP連接便可,不限制語言、平臺;
- 3一、國際化:調度中心支持國際化設置,提供中文、英文兩種可選語言,默認爲中文;
- 3二、容器化:提供官方docker鏡像,並實時更新推送dockerhub,進一步實現產品開箱即用;
- 3三、線程池隔離:調度線程池進行隔離拆分,慢任務自動降級進入"Slow"線程池,避免耗盡調度線程,提升系統穩定性;;
- 3四、用戶管理:支持在線管理系統用戶,存在管理員、普通用戶兩種角色;
- 3五、權限控制:執行器維度進行權限控制,管理員擁有全量權限,普通用戶須要分配執行器權限後才容許相關操做;
文檔地址
技術交流