spark的學習之路:pyspark的本地運行以及在YARN的運行

一、本地運行 pyspark --master local[N] local[N] 代表在本地運行,N的值代表同時執行N個程序 (1)查看當前的運行模式:sc.master  (2)讀取本地文件,路徑之前加上「file:」     testFile = sc.textFile('file:/usr/local/spark/README.md') (3)顯示項數 testFile.count() (
相關文章
相關標籤/搜索