Spark on Yarn

1.配置 安裝Hadoop：需要安裝HDFS模塊和YARN模塊，spark運行時要把jar包放到HDFS上。 安裝Spark：不需要啓動Spark集羣，在client節點配置中spark-env.sh添加JDK和HADOOP_CONF_DIR目錄，Spark程序將作爲yarn的客戶端用戶提交任務。 export JAVA_HOME=/usr/local/jdk1.8.0_161 export HA

>>阅读原文<<