Spark 的運行過程(本人的一些總結)

  最近在複習Spark,有了一些自己的總結,在這裏碼上留作自己以後回憶所用。 (ps:本文不涉及基本概念的解答,只提供一個大致的思路)     代碼的編寫,缺少不了的就是main函數,而一個使用Spark的代碼是怎麼寫的呢,首先是main函數,在main函數裏會先創建一個Sparkcontext,數據的形式是RDD,內部函數是Spark中的transformation和action這兩大類的多功
相關文章
相關標籤/搜索