10萬級etl批量做業調度工具Taskctl之輕量級Web應用版

什麼是批量做業:

批量處理是銀行業整個信息後臺最爲重要的技術形態，也是銀行核心信息資產數據的分享、傳輸、演化的重要技術手段。有調查指出，全球70%的數據是通過批量處理得以再次使用，可見批量處理在整個信息生態中的技術佔比與重要性。

銀行業通過多年的信息化建設，逐步創建起幾十甚至幾百個信息系統，其中，絕大多數系統後臺都具有有不一樣規模的做業批量處理，整體批量做業數已發展成幾千到幾萬這樣的一個龐大規模。隨着大數據時代的到來，特別是在數據倉庫、大數據平臺的帶動下，這樣的規模還將快速發展，其批量做業數規模也必將產生數量級的增加變化。

銀行面對如此多的系統、批量做業數以及可期的快速增加將來，讓批量處理最爲重要的技術-批量調度走向獨立化、系統化、專業化以及平臺化，是很是有必要的。批量調度不只是批量處理的動力中樞，也是整個批量處理的管理入口，所以，創建一個規範專業的批量做業調度技術平臺，創建一個統一的批量做業調度運維管理平臺，不只能夠從架構層面優化企業整個後臺批量體系，減小IT技術異構風險，爲數據安全提供更可靠的技術保障，還能夠加快具體系統構建速度，提高系統運維效率，下降運維風險。批量調度技術體系的專業化、平臺化、統一化，不只是一個系統建設，更是銀行IT基礎設施平臺的建設，爲銀行整個IT建設健康高效發展提供堅實的基礎。

目前主要實現方式:

目前，因爲銀行內部缺少一款專業批量產品支撐，缺少必定的批量調度規範與標準，使銀行內部幾十上百個系統相關批量調度實時混亂。這種現象不只體如今銀行不一樣系統之間，甚至體如今同一系統的不一樣建設週期之間。

應用系統內置，手工調度調度:

目前，在銀行內有不少系統的後臺批量處理，不管從後臺調度層面，仍是前臺應用層面，都與業務系統自己高度耦合，並且調度觸發啓動主要是靠人工發起。形成這種局面的緣由一方面是銀行缺少統一的調度規範體系，另外一方面，站在整個應用系統的角度，批量調度自己比重不大。這種方案帶來的直接後果體如今兩個方面：

1.因高度耦合，擴展不易；

2.主要靠人工調度，相對較耗人力資源，並且因人工操做，可能會引入更多人爲誤操做的風險;

利用現有ETL工具的調度功能

隨着銀行信息化發展，特別是數據倉庫的創建，並以此爲基礎創建的更多數據類、管理類系統，或多或少都在採用一些專業的ETL工具來實現批量處理，並結合工具自己的調度組件完成相應批量調度處理工做。

關於Taskctl Web應用版

=================

適合中小企業IT自動化類系統建設，如數據系統批量調度自動化、系統運維自動化、企業數據資產監控等等。

適合數據開發人員，大數據從業人員，運維人員學習瞭解批量做業調度技術

功能特性與受權

是TASKCTL 6.0下一個版本的預覽版，具有TASKCTL6.0（官網最新發布版）功能和一些新特性（如工程級變量管理，做業分片執行，微批循環等）。免費受權規格以下表：

（備註：軟件未註冊，不能實現7*24h連續自動化運行，所以不能用於生產環境。）

應用簡介

Taskctl在線應用版V1.2相比C/S應用端功能完整，並精簡部分操做邏輯，適合初學者體驗taskctl產品，也能做爲中小項目生產應用。

安裝環境

初識Taskctl-Web版

Taskctl Free應用版原型是在原有商用版Taskctl 6.0衍生擴展開發出的專門爲批量做業調度自動化打造的一款徹底免費的輕便型敏捷調度工具。可爲批量做業自動化調度者提供簡單的方法來管理各種複雜做業的調度和監控管理。

Taskctl經過將企業內部複雜的做業調度依賴關係，進行靈活的統一編排和管理，帶來史無前例的簡單性。Taskctl採用全內存計算，基於全事件技術驅動，可簡單、快速地對做業進行定義、編排和執行，並生成優化調度執行建議，從而負載均衡執行做業調度。

Taskctl做爲敏捷批量調度的開拓者，產品設計從一開始就專門爲整潔的體驗而設計，並提供豐富、直觀的用戶界面，以簡化常見的做業調度執行編排流程。

Taskctl-Web應用版遵循軟件產品標準化的原則，以「專業、專一」爲設計理念，結合 ETL 調度領域自身的特色，構建了一套直觀易用的 ETL 控制容器調度設計、監控 、維護、管理平臺 Taskctl-Web-Application 。

功能框架

經過上圖能夠了解到，Taskctl-Web版 是Taskctl 中客戶端應用軟件家族的重要一員。

有三大功能模塊：

平臺管理（ Admin ）：平臺級T配W置信息管理。如網絡節點管理，做業類型擴 展，工程管理，全局變量管理，調度元信息導入導出，用戶及權限管理，消息接 口管理等。

做業設計（ Designer ）：做業調度元信息設計。如做業控制容器（定時器 / 做業流）的管理，做業關係、屬性編輯，變量管理，做業組織模塊管理等。

運行監控（ Monitor ）：做業運行監控維護平臺。對設計好的調度元信息進行運行監控以及人工操做干預。對運行信息進行查詢、統計、分析等。

軟件獲取方式

1. 去公衆號: taskctl 回覆內容 "領取" 或 "軟件" 便可;
2. 百度網盤---提取碼（97mk）;
3. 官網網站;
4. Taskctl Web應用版;

系統特性

在 Windows 桌面客戶端的基礎上， TASKCTL 從新構建了一套基於 web 瀏覽器的應用 taskctl-web-application 。它具備以下特性：

功能完整：實現了桌面客戶端 Admin,Designer,Monitor 全部的功能（包括高級分析功能）

部署簡單：採用安裝程序一鍵部署應用，不須要部署額外的 web 容器

體驗簡介：從新優化圖形操做體驗，簡化操做步驟

合理導向：從新組織了頁面 UE，讓每一個操做天然流暢

性能卓越：200k 帶寬、單核處理器便可實現 10 個用戶同時應用

穩定可靠：直接與調度服務核心通信，信息更直接可靠。

登陸界面

平臺部署的時候，已經肯定了調度服務端信息。所以沒必要再像桌面客戶端同樣須要輸入調度服務端地址。

如上圖所示：輸入正確的用戶名、密碼點擊「登陸」按鈕，登陸成功後， Taskctl-Web-Application 將根據登陸用戶進行一系列的初始化操做，加載基本的運 行信息。

主界面

成功登陸後，便可進入 taskctl-web-application 平臺主界面。系統對各個組件進行了合理的初始化佈局，以下圖所示：

經過上圖，咱們能夠直觀的看到 Taskctl-web-application 具有了傳統 web 應用軟件的 「街頭 banner 」、 「頂部導航」，以及主框架區域。