Spark使用實例

1.介紹 Spark是基於Hadoop的大數據處理框架，相比較MapReduce，Spark對數據的處理是在本地內存中進行，中間數據不須要落地，所以速度有很大的提高。而MapReduce在map階段和Reduce階段後都須要文件落地，對於連續的數據處理，就須要寫多個MapReduce Job接力執行。 最近分析用戶查詢日誌提取共現查詢，流程以下：a.先得到<uid, query>對；b.合併同一個

>>阅读原文<<