spark與hadoop生態圈(一)

Spark是一個開源計算框架,開發者藉助於其API編寫分佈式應用來使用集羣資源,無須關心底層的分佈;它支持各種工作負載,包括批處理、流式計算、商業智能分析、圖形計算、以及機器學習。 爲什麼使用spark 可編程性:MapReduce需要幾個鏈式的步驟來完成某些工作負載步驟,還需要這對不同應用的專用系統; Mr在計算步驟之間將中間數據寫入磁盤,使得一些執行交互式分析和迭代算法的應用程序在重用數據時,
相關文章
相關標籤/搜索