Spark編程模型(一):SparkContext的作用

    開發人員根據自己的需求,在main函數中調用Spark提供的數據操縱接口,利用集羣來對數據執行並操作。Spark爲開發人員提供了兩類抽象接口。第一類抽象接口是彈性分佈式數據集RDD,其是對數據集的抽象封裝,開發人員可以通過RDD提供的開發接口來訪問和操縱數據集合,而無需瞭解數據的存儲介質(內存或磁盤)、文件系統(本地文件系統、HDFS或Tachyon)、存儲結點(本地或遠程結點)等諸多實現
相關文章
相關標籤/搜索