MLflow機器學習工做流框架更新(2019.3)

MLflow機器學習工做流框架最新進展(2019.3)

MLflow（，https://mlflow.org）是Databricks（Spark的主要開發者）爲機器學習開發的流程化框架，用於簡化機器學習的訓練流程，減小訓練實驗的工做量。能夠經過將訓練數據集代入已有的模型，並運行多重實驗性測試，而後對輸出的結果優選，從而得出最佳的模型參數，並保存爲一個能夠重用的模型文件。

• 項目源碼：https://github.com/mlflow/mlflow
• 使用教程：https://www.mlflow.org/docs/latest/tutorial.html

快速使用

安裝：

pip install mlflow

運行模型：

git clone https://github.com/mlflow/mlflow

python examples/quickstart/mlflow_tracking.py

查看結果：

mlflow ui

顯示Web頁面，以下：

最近更新

從去年設立該項目開始，MLflow進展迅速，目前是0.8.2版本，已經開始Beta。

MLflow 0.8.2爲Bug修復版本，MLflow 0.8.1 主要改進以下：

• 加強 UI 響應和載入時間，尤爲是當成百上千次運行的實驗結果顯示。
• 加強可視化，包括交互 scatter plots用於比較 MLflow運行結果。
• 擴展支持python評分模塊做爲 Spark UDFs。更多信息參考 updated documentation for this feature。
• 缺省狀況下，保存 models 將包括Conda environment，包含全部的指定依賴，用於在新的環境載入該模型。

特徵:

• [API/CLI] 支持從ZIP文件運行 MLflow projects  (#759, @jmorefieldexpe)。
• [Python API] 支持傳遞 model 的conda environments，做爲詞典結構在 save_model 和 log_model 函數中使用 (#748, @dbczumar)。
• [Models] 缺省的 Anaconda environments已經被添加到多個 Python model flavors。缺省狀況下，經過 save_model 和 log_model 函數產生的模型將包含運行環境參數，其指定了全部的版本化環境信息，對於在如何提供模型服務是必須的。以前，用戶必須手工指定。 (#705, #707, #708, #749, @dbczumar)。
• [Scoring] 支持同步部署模型到 SageMaker (#717, @dbczumar)。
• [Tracking] 包含 Git repository URL 做爲tag，當跟蹤 MLflow 運行在 Git repository (#741, @whiletruelearn, @mateiz)。
• [UI] 改善的 UI 性能，經過使用 react-virtualized 表來優化行的渲染 (#765, #762, #745, @smurching)。
• [UI] 運行 metrics, tags, 和 parameter 信息時的顯著性能提高 (#764, #747, @smurching)。
• [UI] Scatter plots, 包括運行比較圖，如今是交互性的 (#737, @mateiz)。
• [UI] 擴展的 CSRF 支持，容許 MLflow UI server 指定一系列指望的 headers，客戶端能夠在AJAX請求時進行設置 (#733, @aarondav)。

Bug 修復與文檔更新：

• [Python/Scoring] MLflow Python 模塊生成 Pandas DataFrames 能夠 evaluated 爲 Spark UDFs，如今正確。Spark UDF 輸出包含多類型列也支持了 (#719, @tomasatdatabricks)。
• [Scoring] 修復了阻止模型爲 Azure ML 服務的系列錯誤，當返回Pandas DataFrames時 (#754, @dbczumar)。
• [Docs] 新的例子演示 MLflow REST API 能夠被用於建立實驗和日誌的運行信息 (#750, kjahan)。
• [Docs] R 文檔已更新，以反映分類和風格的一致性 (#683, @stbof)。
• [Docs] 添加用戶設置要求的分類，在Databricks上運行 remote MLflow 時 (#736, @andyk)。
• 其它bug修復和文檔更新參見 (#768, #715, @smurching; #728, dodysw; #730, mshr-h; #725, @kryptec; #769, #721, @dbczumar; #714, @stbof)。

更多參考：

• Spark機器學習工具鏈-MLflow簡介
• Spark機器學習工具鏈-MLflow使用教程
• 爲JupyterHub自定義Notebook Images
• Databook-數據之書