Keras On Spark

spark是優秀的分佈式計算框架，自己包含了機器學習模塊；Keras是抽象的深度學習框架，底層支持對tensorflow或theono等的封裝。Spark和Keras在各自的領域都是很是有發展前景的優秀開源框架。

如何結合二者的優勢是一個很是有意思的事情，你們知道在深度學習領域經常使用的開發語言是python，Keras也是基於python開發的，而Spark自己是支持python的，因此顯而易見最適合的開發語言就是python。

這裏介紹一款很是優秀的集合keras和spark的開發框架Elephas，它的核心思想是將數據集用RDD來表示，將數據集分紅多個分區分別訓練，每一個分區的訓練做爲一個Spark任務在不一樣的節點（Worker）運行，對RDD的每一個分區的數據設計Keras模型，並經過Spark的Driver收集各個分區的訓練權重參數來更新Keras模型的參數。

項目地址：http://maxpumperla.com/elephas/

Github地址：https://github.com/maxpumperla/elephas