Spark SQL和DataFrame

Spark SQL是Spark用來處理結構化數據的一個模塊,它提供了一個編程抽象叫做DataFrame並且作爲分佈式SQL查詢引擎的作用. 由於MapReduce這種模型執行效率較慢,所以Spark SQL應用而生,它是將Spark SQL轉換成RDD,然後提交到集羣執行,執行效率非常快. DataFrame:與RDD類似,DataFrame也是一個分佈式數據容器.然而DataFrame更像傳統數
相關文章
相關標籤/搜索