Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 18/12/19 17:19:05 INFO SparkContext: Running Spark version 1.6.3 18/12/19 17:19:05 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 18/12/19 17:19:06 ERROR SparkContext: Error initializing SparkContext. org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.scala:401) at tmp_naive_bayes$.main(tmp_naive_bayes.scala:17) at tmp_naive_bayes.main(tmp_naive_bayes.scala) 18/12/19 17:19:06 INFO SparkContext: Successfully stopped SparkContext Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration at org.apache.spark.SparkContext.<init>(SparkContext.scala:401) at tmp_naive_bayes$.main(tmp_naive_bayes.scala:17) at tmp_naive_bayes.main(tmp_naive_bayes.scala)
從提示中能夠看出找不到程序運行的master,此時須要配置環境變量。
傳遞給spark的master url能夠有以下幾種:java
local 本地單線程
local[K] 本地多線程(指定K個內核)
local[*] 本地多線程(指定全部可用內核)
spark://HOST:PORT 鏈接到指定的 Spark standalone cluster master,須要指定端口。
mesos://HOST:PORT 鏈接到指定的 Mesos 集羣,須要指定端口。
yarn-client客戶端模式 鏈接到 YARN 集羣。須要配置 HADOOP_CONF_DIR。
yarn-cluster集羣模式 鏈接到 YARN 集羣。須要配置 HADOOP_CONF_DIR。
apache