大數據流水線系統PiFlow v0.5

PiFlow是一個基於分佈式計算框架Spark開發的大數據流水線系統。該系統將數據的採集、清洗、計算、存儲等各個環節封裝成組件，以所見即所得方式進行流水線配置。簡單易用，功能強大。它具有如下特性： 簡單易用：可視化配置流水線，實時監控流水線運行狀態，查看日誌 功能強大：提供100+的數據處理組件， 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、Ela

>>阅读原文<<