Apache Spark集羣模式選擇

Standalone

Standalone是最容易搭建的模式,在只運行Spark的狀況下,Standalone提供了跟其餘兩種模式差很少的特性。因此若是在只運行Spark,而且Spark集羣節點小於100的狀況下,能夠選擇Standalone模式。node

Apache Mesos

若是已經使用Docker容器,或者有些其餘項目須要運行在集羣上,可選擇Apache Mesos模式。oop

Hadoop YARN

若是項目中已經有使用Hadoop,可以使用Hadoop YARN模式。spa


詳細對比參考資料:get

which-cluster-type-should-i-choose-for-sparkit

with-how-many-spark-nodes-should-i-use-mesos-or-yarnspark

How does YARN compare to Mesosio

相關文章
相關標籤/搜索