11九、Spark核心編程進階之集羣架構

這裏以yarn-cluster集羣架構進行舉例 spark程序寫完了之後,就要提交到spark集羣上面去運行,這就是spark做業(一次代碼的運行+一份數據的處理+一次結果的產出) spark做業是經過spark集羣中的多個獨立的進程來並行運行的,每一個進程都處理一部分數據,從而作到分佈式並行計算,才能對大數據進行處理和計算 做業在多個進程中的運行,是經過SparkContext對象來居中調度的,
相關文章
相關標籤/搜索