結合Apache Ignite探索機器學習

在此前的文章中，咱們討論過Apache Ignite機器學習網格。當時僅有測試版。在隨後的版本2.4中，機器學習得以運用。新版本對部份內容進行了更新，支持基於分區的數據集以及遺傳算法。Apache Ignite提供了多種可獨立運行的機器學習示例，將入門學習變得簡易。在本系列的後續文章裏，咱們將利用Ignite支持的機器學習算法對部分開源數據集進行分析。

簡介

咱們將在本部分對機器學習網格進行簡單的回顧，圖1展現了機器學習網格的結構。

圖1：機器學習網格

首先，Apache Ignite所呈現的機器學習能力至關實用，可在Ignite內直接構建預測模型。基於此，用戶在不採起高代價ETL（Extract-Transform-Load）過程或數據傳輸的狀況下，獲取高規模高性能的預測模型。

在Ignite出現以前，機器學習模型得訓練和部署在不一樣的系統上。例如，用戶須要將數據移出Ignite，接着使用其它工具對數據進行訓練，這樣模型才能部署到不一樣的系統中。此方法存在以下缺點：

• 須要一個花費昂貴的ETL 進程，特別是針對大型數據集。
• 在進行ETL時會對數據進行快照。以後，實時系統中的數據也許會發生改變，因此須要將已訓練的數據存放至訓練集中。

其次，現今多數系統需處理大量的數據，這些數據一般會超過單個服務器容量。分佈式計算很好的解決了這個問題，但一些平臺並不是爲數據存儲和操做而設計，它們僅適合訓練。因此，研發人員須要考慮如何在生產環境中解決由部署所引起的複雜問題。

Ignite所呈現的機器學習能力致力於解決以下問題：

• 結合Ignite處理數據，能避免因不一樣系統之間轉換而致使的ETL昂貴問題。
• Ignite可以提供分佈式計算，實現對數據的存儲及操做。
• Ignite更新了部分機器學習算法，此舉對分佈式計算進行了優化，而且可充分利用Ignite進行並置處理。
• Ignite能做爲流式數據的接收器，容許機器學習實時應用。

機器學習一般是一個迭代過程，上下文可能會在算法運行時發生改變。所以，爲了不工做損失和延遲，Ignite支持了基於分區的數據集，使其可以應對節點故障問題。