Spark 簡介

==> 什麼是 Spark

    ---> Spark 是一個針對大規模數據處理的快速通用引擎

    ---> Spark 是 MapReduce 的替代方案，並且兼容 HDFS, Hive, 可容入Hadoop 的生態系統，彌補 MapReduce 的不足

==> Spark 核心    RDD (Resilient Distributed Datasets  彈性分佈式數據集)

    ---> RDD 可簡單理解爲： 一個提供了不少操做接口的數據集合，分佈式存儲於集羣環境中的存儲設備中（內存或硬盤），其中包括容錯，並行處理等功能

==> Spark 特色

    ---> 快

        ---- 優勢：與Mapreduce 相比，Spark 基於內存運算，運算速度要快100倍，基於硬盤計算，運算速度要快 10 倍

        ---- 缺點：沒有對內存進行管理，把全部的內存管理都交給應用程序，以彌補MapReduce的不足，

                        容易出現 OOM（out  of  memory）, 可以使用 Java  Heap  Dump  工具分析 Java 程序的內存溢出

    ---> 易用 

        ---- Spark 支持 Java ，Python, Scala 的 API 

        ---- 支持80多種算法

        ---- 支持交互式，能夠在shell 中使用Spark 驗證解決問題的方法

    ---> 通用（生態圈）

        ---- 批處理

        ---- 交互式查詢   （Spark  SQL）

        ---- 實時流處理    （Spark Streaming）

        ---- 機器學習        ( Spark  MLlib )

        ---- 圖計算            ( GraphX )

        ---- 與 Hadoop 很好的融合， 能夠直接操做 HDFS, 並提供 Hive on Spark, Pig on Spark的框架集成 Hadoop（配置Hive on Spark 還不成熟）

    ---> 兼容性    能夠很是方便的與其它開源產品進行融合

        ---- 能夠使用 Hadoop 的  YARN 和 Apache  Mesos 做爲它的資源管理調度器

        ----  能夠處理全部 Hadoop 支持的數據：HDFS， HBase，  Cassandra 等

        ---- 不須要作任何的數據遷移就能夠使用 Spark 的強大處理能力

        ---- 能夠不依賴第三方的資源管理和調度器，實現 Standalone 做爲它的內置的資源管理和調試框架，下降部署的複雜性

        ----  提供了在 EC2 上部署 Standalone 的Spark 集羣工具

==> Spark 生太圈

    ---> Spark Core

    ---> Spark SQL

    ---> Spark Streaming

    ---> Spark MLLib: 機器學習

    ---> Spark GraphX: 圖計算