AirFlow/NiFi/MLFlow/KubeFlow進展

大數據分析中，進行流程化的批處理是必不可少的。傳統的大數據處理大部分是基於關係數據庫系統，難以實現大規模擴展；主流的基於Hadoop/Spark體系整體性能較強，但使用複雜、擴展能力弱。大數據分析向Kubernnetes等容器集羣發展是大勢所趨，AirFlow、NiFi、MLFlow、KubeFlow就是能夠用於這些方向的新興開源軟件平臺，能夠充分容器集羣和DevOps、雲計算的優點，並且將傳統的大量數據處理和機器學習等先進算法可以實現有機的結合。

AirFlow數據流程化處理系統

AirFlow是可編程的DAG流程框架，主要經過Python執行。最新版本經過Executor機制支持Kubernetes集羣做爲執行環境，從而能夠將大量數據處理的流程在容器雲中進行遷移。

• Airflow在Kubernetes上的操做器
• AirFlow-Tutorial
• AirFlow-Install
• Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines

NiFi可視化數據流處理系統

經過可視化的方法編輯流程，並在線運行，支持後臺監控、任務調度、執行器擴展等能力。NiFi採用Java和HTML開發，經過Web瀏覽器訪問圖形交互界面，服務器端能夠運行於容器中。

• NiFi (https://nifi.apache.org/)
• NiFi-面向流程的大數據處理框架
• NiFi資源大全
  • http://www.javashuo.com/article/p-dkcrvjuz-nt.html

MLFlow機器學習系統

MLFlow是基於Python開發的DAG數據工做流框架，主要面向機器學習，支持Spark並行環境和Kubernetes容器集羣。

• Spark機器學習工具鏈-MLflow簡介
• Spark機器學習工具鏈-MLflow使用教程
• MLflow機器學習工做流框架更新(2019.3)
• Jupyter on Kubernetes機器學習-MLflow

KubeFlow機器學習系統

Kubeflow是面向機器學習的數據流批處理框架，原生支持Kubernetes集羣環境，支持多種機器學習引擎，內置JupyterHub的交互式數據分析環境。

• ksonnet 使用教程
• 基於Kubernetes的機器學習系統
• 深度學習框架的發展與展望(2019.3)
• Kubeflow更新升級到0.4.1
• Kubeflow 入門——爲 Kubernetes 打造的組件化、可移植、可擴展的機器學習堆棧
• 使用Argo CD實現Kubeflow的GitOps
• Kubeflow-機器學習工做流框架
• PyTorch支持Kubernetes集羣
• Kubeflow 使用指南
• Kubeflow 快速入門
• Kubeflow等鏡像部署到集羣多節點
• Kubeflow鏡像的快速下載（V0.3.3）

JupyterHub/JupyterLab

• 爲JupyterHub自定義Notebook Images
• Databook-數據之書