Spark SQL總結

1、DataFrame和RDD的區別 1、左側的RDD[Person]雖然以Person爲類型參數，但Spark框架本身不瞭解 Person類的內部結構。 而右側的DataFrame卻提供了詳細的結構信息，使得Spark SQL可以清楚地知道該數據集中包含哪些列，每列的名稱和類型各是什麼，DataFrame多了數據的結構信息，即schema。這樣看起來就像一張表了。 2、DataFrame通過引入

>>阅读原文<<