Spark 與 Hadoop 學習筆記 介紹及對比

這篇博客將會簡單記錄Hadoop與Spark對比，HDFS，MapReduce的基本概念，及Spark架構設計，RDD，運行模式。整理起來一起閱讀方便我們理解整個大數據處理框架全局和發展。 1. Hadoop 1.1 背景 Hadoop就是解決了大數據（大到一臺計算機無法進行存儲，一臺計算機無法在要求的時間內進行處理）的可靠存儲和處理。 HDFS: 分佈式文件存儲 YARN: 分佈式資源管理 Ma

>>阅读原文<<