Spark實戰學習

1.什麼是Spark?   2.爲什麼要使用Spark? 因爲Hadoop在處理數據的時候有多次的IO和網絡操作,Mapreduce都要轉成map,shuffle和reduce等核心階段,而且任務之間是串行執行的 Spark對比Hadoop MR的特點 內存計算比mr快100倍,磁盤計算快mr10倍 使用方便,安裝部署簡單,支持交互式 支持處理豐富 繼承hadoop,能都讀取hadoop上的數據,

>>阅读原文<<