spark流式讀取hdfs中數據

名詞解釋：shell spark streaming： 定義：一個對實時數據進行高容通量、容錯處理的流式處理系統，能夠對多種數據源進行Map、reduce和join等複雜操做，並將結果保存到外部文件系統、數據庫活應用到實時儀表盤。 流式數據：像流水同樣一點一點流過來流式數據被封裝成二進制的流。 流式處理：一樣像流水同樣一點點處理。若是所有接受數據之後在處理的話會有很大延遲也會消耗大量內存。 計算流

>>阅读原文<<