Spark處理框架

Spark 處理框架 一、 Spark VS Hadoop Hadoop MapReduce侷限性 表達能力有限 計算必須轉爲map和reduce函數，這並不適合所有的情況，無法直接用join等操作 磁盤IO開銷大（單個job） 輸入、輸出及shuffle中間結果都需要讀寫磁盤 延遲高（多個job） 一次計算可能需要分解成一系列按順序執行的MapReduce任務，任務之間的銜接由於涉及到IO開銷，

>>阅读原文<<