sparksql(1)——Dataframe

sparksql類似於hive,但它基於內存,而hive基於mapreduce,而mapreduce又基於磁盤,所以spark處理數據快得多。 sparksql不止有sql語句,現在他還有Dataframe的API,Dataframe比寫RDD要快。dataframe將非結構化數據schema化: 前提:打開spark—master和spark—slave(前面有講過,我們用的是standalon
相關文章
相關標籤/搜索