Hadoop與Spark開源大數據技術棧概述

隨着大數據技術的快速發展，目前開源社區已經積累了比較完整的大數據技術棧，目前市場上應用最廣泛的是以Hadoop與Spark爲核心的生態系統。該生態系統分爲5個層級分別是：數據收集，數據存儲，資源管理與服務協調，計算引擎和數據分析。下面分別對這5個層級進行介紹 1.數據收集層： 該層主要對關係型數據以及非關係型數據進行收集，以及分佈式消息的收集 Sqoop/canal：關係型數據收集和導入工具，是連

>>阅读原文<<