【spark2】【源碼學習】【分區數】spark讀取 本地/可分割/多個 的文件時是如何劃分分區

spark的textFile API 支持讀取單個文件，也支持讀取文件夾路徑並將文件夾路徑下的文件都讀取進內存處理，前面已經寫了一篇關於 【本地/可分割/單個】 文件的分區處理，今天來看下 【本地/可分割/多個】 文件是怎麼處理的。 一、簡要概述 1、goalSize從單個文件totalSize/minPartitions變成多個文件totalSize/minPartitions， 2、然後依舊是

>>阅读原文<<