Spark【學習筆記】 textfile讀取 HDFS 文件分區 [壓縮與非壓縮]

Spark【學習筆記】 textfile讀取 HDFS 文件分區 [壓縮與非壓縮] sc.textFile("/blabla/{*.gz}") 當咱們建立spark context後使用textfile讀取文件時候，究竟是根據什麼分區的呢？分區大小又是多少java 文件的壓縮格式 文件的大小及HDFS塊大小 textfile 將會建立一個HadoopRDD，這個RDD的使用了 TextInputF

>>阅读原文<<