【SPARK】- RDD操作

spark相關流程 每個Spark應用都由一個驅動器程序(drive program)來發起集羣上的各種並行操作。驅動器程序包含應用的main函數,驅動器負責創建SparkContext,SparkContext可以與不同種類的集羣資源管理器(Cluster Manager),例如Hadoop YARN,Mesos進行通信,獲取到集羣進行所需的資源後,SparkContext將得到集羣中工作節點(
相關文章
相關標籤/搜索