SparkSQL與DataFrame

SparkSQL 歷史回顧 對SparkSQL瞭解的童鞋或多或少據說過Shark,不錯,Shark就是SparkSQL的前身。2011的時候,Hive能夠說是SQL On Hadoop的惟一選擇,負責將SQL解析成MR任務運行在大數據上,實現交互式查詢、報表等功能。就在那個時候,Spark社區的小夥伴就意識到可使用Spark做爲執行引擎替換Hive中的MR,這樣可使Hive的執行效率獲得極大提高。
相關文章
相關標籤/搜索