大數據系列整個課程課程大綱

 

• 大數據體系結構（開源組件介紹），讓你對當前大數據技術棧一目瞭然；

• Linux命令基礎實戰；

• Hadoop基礎，對Hadoop架構、核心組件HDFS/YARN作了深刻淺出的介紹，讓你快速把握Hadoop的核心技術和工做原理，逐漸造成分佈式思惟；

• Sqoop，做爲關係型數據庫與Hadoop之間的橋樑，批量傳輸數據，讓你天然的從關係型數據庫過分到Hadoop平臺，在關係型數據庫與Hadoop之間遊刃有餘的進行數據導入導出；

• Hive，基於Hadoop大數據平臺的數據倉庫，能夠讓你實現傳統數據倉庫中的絕大部分數據處理、統計分析，讓你在Hadoop大數據平臺上感覺到Hive QL帶來的便利的交互式查詢體驗；Mars將以日誌分析或其餘示例帶你們熟練掌握Hive的應用；

• HBase，列式存儲數據庫，提供了快速的查詢方式，是Apache Kylin的默認數據存儲結果；

• Kylin，基於Hadoop的OLAP分析引擎，在Kylin中能夠實現傳統OLAP的各類操做，直接讀取Hive的數據或流式數據做爲數據源，把這些數據根據業務模型構建成Cube，Kylin提供了基於Hadoop（MapReduce）的Cube構建，Build完成的Cube數據直接存儲於HBase中。Kylin提供了Web UI供查詢，包括一些圖表展示，是基於大數據的完美OLAP工具；

• Spark，基於內存計算的大數據計算引擎，提供了Spark SQL、Spark MLlib(基於Spark的機器學習）、SparkR等框架適應不一樣的應用需求，Spark專題將和你們一塊兒實踐操做各類應用和算法；