spark2實戰-經過spark dataframe導入csv文件到動態分區表

概述 本文講述如何把一個dataframe加載到spark的動態分區表中。web 場景介紹 把csv和parquet文件加載到spark的動態分區表中，有不少中方案，這裏介紹如何經過spark的dataframe把數據文件加載到動態分區表中。sql 注意：爲了保證性能，指定分區的字段的字典數據的惟一值最好不要超過幾萬。這是spark-2.3的partitionBy算子的源碼的註釋中寫到的。apac

>>阅读原文<<