spark編程中設置hadoop的屬性

當使用spark進行編程時，若是使用yarn-client方式提交，能夠經過如下方式設置hadoop的屬性html val conf = new SparkConf() conf.set("spark.hadoop.yarn.resourcemanager.address", "test01:8050") 源碼分析： 當spark任務提交時採用yarn模式，程序會啓動YarnClientSched

>>阅读原文<<