SparkConf和SparkContext

任何Spark程序都是SparkContext開始的,SparkContext的初始化需要一個SparkConf對象,SparkConf包含了Spark集羣配置的各種參數。 初始化後,就可以使用SparkContext對象所包含的各種方法來創建和操作RDD和共享變量。 Scala: 1 2 3 4 val conf = new SparkConf().setMaster("master").set
相關文章
相關標籤/搜索