從ETL到API

在IT領域，ETL（提取，轉換，加載）流程長期以來一直用於構建數據倉庫和數據分析報告系統。企業使用面向商業智能化（BI）的ETL流程，從高度分佈的數據源中提取各類數據，經過操做、解析和格式化轉換這些數據，並將其加載到臨時數據庫中。而後對這些臨時數據作總結、統計和分析，並用於填充企業的數據倉庫。

ETL工具如何完成企業運營中的數據集成

須要確定的是，ETL工具在IT環境中佔有一席之地，衆多數據庫管理員利用ETL工具來促進流程併爲業務提供最佳價值。

•數據倉庫：從歷史上看，ETL工具的主要用途是實現商業智能化。ETL工具將數據庫、應用數據和參考數據拖入數據倉庫中，可使企業隨時瞭解其運營狀況，並使管理層可以作出更好的決策。

•數據集成：數據集成容許企業在各類系統之間快速有效地遷移，轉換和整合信息。 ETL工具減小了手動輸入數據的痛苦，並容許來自不一樣系統的數據進行交互，同時提供統一的數據視圖。

領先的ETL工具，例如Informatica PowerCenter等在數據集成領域有着悠久的歷史。它的成功可歸功於其在不一樣系統間交互能力，可重用組件和自動化流程。PowerCenter針對批量方式移動大量數據進行了優化，和其餘相似的ETL工具一塊兒，已被普遍用於跨異構環境集成企業應用程序的場景中。

用於企業運營數據集成的ETL工具

企業的運營數據庫中一般包含事務型數據，例如員工信息、銷售、客戶反饋和PoS信息等等。這些數據庫爲運行業務所需的運營系統和應用程序提供了基礎支撐。隨着企業的運營愈來愈須要這些系統之間可以相互集成，現有的ETL工具提供了一個明確的解決方案。 現代的ETL工具已經支持與許多流行數據庫和應用程序在數據層面上的鏈接，成爲一種快速，而且看似簡單的鏈接和數據移動方式。在API還不夠豐富的時代，ETL工具是企業運營中，實現相似場景的首選解決方案。

ETL工具變得更加複雜

ETL工具確實提供了數據庫和應用程序之間的一種通訊方法，但隨着時間的推移，ETL工具在企業中的應用會面對愈來愈大的挑戰。因爲建立此類鏈接須要全面瞭解每一個運營數據庫或應用程序，所以須要實現很是具備侵入性的自定義集成方法，所以系統之間的互聯將會變得更加複雜。

隨着時間的推移，這種集成方法變得愈來愈複雜。而且互聯的系統數量越多，事情也就越複雜。此外，因爲這種緊密耦合，即便系統中進行了最輕微的改變，相互之間的依賴也會產生巨大的，不可預測的影響。此時，自定義的點對點數據級集成將成爲一個脆弱的鏈接網絡，很快開始看起來像一團「意大利麪條代碼」。

隨着IT環境向雲遷移，（因爲安全等緣由）缺少對雲數據庫和應用程序內部的可見性一般使得在本地和雲的混合場景中沒法輕易實現基於ETL的集成。此外，向雲的過渡意味着完成實時集成和更新的價值更大，而這類價值ETL工具沒法輕鬆提供，由於它們主要是面向批處理過程的。

API簡化了數據集成

API普及程度的提升使得建立鏈接變得更加容易。經過API，開發人員能夠訪問數據端點並構建鏈接，而無需深刻了解系統自己，從而極大地簡化了數據集成流程。因爲ETL工具仍然更多地關注BI和大數據解決方案，而且傳統的運營數據集成方法隨着雲計算的普及而變得過期，API成爲建立鏈接的更好選擇。

企業服務總線（ESB）以及API應用服務器軟件產品能夠提供基於API的鏈接以及實時集成。與用於數據集成的傳統ETL工具不一樣，基於API的鏈接和集成方法經過提供中間服務層將應用程序和數據庫彼此隔離。該抽象層經過系統解耦來減小系統之間的依賴性並提供高度的靈活性。開發人員能夠利用預先構建的鏈接器輕鬆建立應用集成，而無需瞭解特定應用程序和數據庫內部實現，而且能夠快速地對系統中的某部分鏈接進行更改，而不須要擔憂整個集成系統崩潰。經過API實現的屏蔽，應用程序和數據庫能夠進行修改和升級，而不會產生意外後果。與使用ETL工具進行操做集成相比，基於API的鏈接和集成提供了更加合理，且定義明確的方法來實現此類計劃。

靈長科技提供應用集成平臺

靈長的核心產品CEAMS通用企業應用接口管理系統，能夠幫助企業知足其應用集成需求。CEAMS系統的核心組件CDIF是一個高性能的Node.js API應用框架，以及數據交換平臺。可幫助企業鏈接SaaS，雲，移動及本地應用程序，服務和各種數據源。 CEAMS系統經過完整支持Node.js開源生態中的全部組件，爲企業提供強大的集成解決方案：

•應用集成：CEAMS系統經過應用提供的JSON格式的API規範，將被集成的各種外部系統天然地劃分爲多個服務，平臺上部署的每一個應用對應於一個外部系統或數據源。應用具有本身獨立的CPU資源和內存空間，並支持經過高效的異步通信模式在不一樣的應用之間交換JSON格式的數據。相對於傳統的同步模式，這樣的設計能夠大大提升數據集成時的運行效率和吞吐量，而且下降了系統間的耦合性，在某個應用崩潰出錯，無響應，或CPU死鎖時不會影響到其餘應用的正常運行。

•數據轉換：CEAMS系統在完成應用集成時，首先對來自不一樣系統和數據源的數據統一自動轉換和封裝成JSON格式的API。經過完整地支持整個Node.js技術生態中，全球上百萬開發者正在使用的，各種基於Node.js的JSON數據轉換和處理工具，開發者能夠很輕鬆地在CEAMS系統上，在統一的JSON格式基礎上完成數據轉換和應用集成任務。

•鏈接器：經過完整支持高度發達的Node.js生態，CEAMS系統能夠實現與數百種流行應用程序，協議，和服務的即時API鏈接，從而能夠輕鬆地將數據提取和加載到流行的數據源和端點。

•文件類型支持：經過支持平面和結構化數據格式（如XML，JSON，CSV，Excel等），企業能夠靈活地使用哪一種數據格式。

•數據庫級鏈接：對於須要與數據庫直接交互的狀況，CEAMS系統提供ORM，Raw SQL等鏈接到各種關係型數據庫的方法，同時提供Elastic Search， Solr等全文搜索引擎，以及MongoDB，Cassandra，和Hadoop等新興的大數據平臺。

靈長科技提供多種解決方案，幫助企業克服集成難題，並將自身轉變爲高效的新企業。在衆多不一樣的系統和應用程序經過ETL工具集成在知足新企業需求方面受到限制時，靈長科技的CEAMS系統能夠提供基於API的實時，高性能，可擴展的操做功能。瞭解有關靈長科技產品的更多信息，或者與咱們聯繫（email: sales@apemesh.com, 企業QQ技術支持羣：618450152），可得到與CEAMS系統相關的更多信息。