sparkSQL實戰詳解

1、sparkSQL層級      當我們想用sparkSQL來解決我們的需求時,其實說簡單也簡單,就經歷了三步:讀入數據 -> 對數據進行處理  -> 寫入最後結果,那麼這三個步驟用的主要類其實就三個:讀入數據和寫入最後結果用到兩個類HiveContext和SQLContext,對數據進行處理用到的是DataFrame類,此類是你把數據從外部讀入到內存後,數據在內存中進行存儲的基本數據結構,在對
相關文章
相關標籤/搜索