Keras On Spark

spark是優秀的分佈式計算框架,自己包含了機器學習模塊;Keras是抽象的深度學習框架,底層支持對tensorflow或theono等的封裝。Spark和Keras在各自的領域都是很是有發展前景的優秀開源框架。python

如何結合二者的優勢是一個很是有意思的事情,你們知道在深度學習領域經常使用的開發語言是python,Keras也是基於python開發的,而Spark自己是支持python的,因此顯而易見最適合的開發語言就是python。git

這裏介紹一款很是優秀的集合keras和spark的開發框架Elephas,它的核心思想是將數據集用RDD來表示,將數據集分紅多個分區分別訓練,每一個分區的訓練做爲一個Spark任務在不一樣的節點(Worker)運行,對RDD的每一個分區的數據設計Keras模型,並經過Spark的Driver收集各個分區的訓練權重參數來更新Keras模型的參數。github

項目地址:http://maxpumperla.com/elephas/框架

Github地址:https://github.com/maxpumperla/elephas機器學習

相關文章
相關標籤/搜索