林子雨-Spark入門教程(Python版)-學習筆記(二)

第3章 Spark編程基礎 從文件加載數據 從文件系統中加載數據創建RDD——textFile()方法,該方法把文件的URI作爲參數 注意: (1)本地文件系統的路徑,必須要保證在所有的worker節點上都有該文件。 (2)textFile()方法的輸入參數,可以是文件名,也可以是目錄,也可以是壓縮文件等。比如,textFile(「/my/directory」), textFile(「/my/di
相關文章
相關標籤/搜索