大數據學習計劃

大數據如此火熱的如今，想必許多小夥伴都想要加入這個行業。也是咱們今天就要拿出收藏已久的大數據學習計劃。幫助你不走彎路，邁向大數據

1

大數據應用離不開基礎軟件的支撐，且大部分大數據組件部署在 Linux 操做系統上的用戶空間，也有不少組件也借鑑了Linux 操做系統的一些設計精髓，因此 Linux 既是大數據的強力支撐，也是不少性能問題的支撐者。

同時數據庫的相關知識也是必要的基礎，熟悉 MySQL 數據庫的安裝與部署，還有備份和恢復等都是重點。

因此在第一部分的學習中咱們須要達到如下目標：

一、經過對 Linux 操做系統體系結構、 服務管理、包管理、NTP 協議時間 服務器、關係型數據庫理論和 MySQL 數據庫等相關知識的學習，

掌握大部分安裝部署 Hadoop 集羣操做系統層面的技能，爲後續搭建 Hdoop 集羣、對 比 RDBMS 與 NoSQL 數據庫打基 礎。

二、經過對 Linux 文件系統、（大數據學習羣142974151】內核參數、內存結構、以及 Java 虛 擬機等相關知識的學習，爲後續學習分佈式文件系統， Hadoop 集羣優化掃清操做系統層 面知識的障礙

2

Hadoop 由許多元素構成。其最底部是HDFS，它存儲 Hadoop 集羣中全部存儲節點上的文件。HDFS(對於本文)的上一層是MapReduce 引擎，經過對Hadoop分佈式計算平臺最核心的分佈式文件系統HDFS、MapReduce處理過程，以及數據倉庫工具Hive和分佈式數據庫Hbase的介紹，基本涵蓋了Hadoop分佈式平臺的全部技術核心。

還有Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各種數據發送方，用於收集數據。在大數據中也起到必定做用。

本模塊經過學習HDFS，YARN(MapReduce)Spark 等核 心組件，瞭解Hadoop 的基本運行框架。

因此在第二部分的學習中咱們須要達到如下目標：

一、

搭建單節點模擬分佈式集羣，熟悉 HDFS 命令;

掌握 HDFS 體系結 構，讀寫流程，能 dump HDFS 元 數據文件;

理解 Flume 組件架構， 並能用 Flume 向 HDFS 平臺導入文 本日誌;

二、

搭建多節點、可擴展集羣;

部署 HDFS HA 架構;

理解並實現 Hadoop YARN 的多 租戶架構

掌握 Zookeeper 組件原理;

掌握 Hadoop 集羣優化路徑;

3

傳統數據倉庫在面對更大規模數據時顯得力不從心，在寄但願於大數據平臺時，MapReduce 編程門檻讓不少數據分析師望而卻步，而Hive是基於Hadoop的一個數據倉庫工具，能夠將結構化的數據文件映射爲一張數據庫表，並提供簡單的sql查詢功能，能夠將sql語句轉換爲MapReduce任務進行運行。 其優勢是學習成本低，大數據學習kou羣74零零加【41三八yi】能夠經過類SQL語句快速實現簡單的MapReduce統計，沒必要開發專門的MapReduce應用，十分適合數據倉庫的統計分析。

本模塊經過學習 Hive、Impala 等大數據 SQL 分析組件，讓用戶將隱匿在泥沙之下的數據價值挖掘出來。

因此在第三部分的學習中咱們須要達到如下目標：

一、

安裝部署 Hive;

理解 Hive 架構及執行原理 ;

Hive 的優化(分區、桶) ;

Hive SQL 語句優化;

Hive 常見故障診斷;

4

在上個模塊中，OLAP 類型的需求獲得了很好的解決方案，即針對數據查詢分析的應用。可是這些組件對於數據的隨機刪改並不擅長。針對此種 OLTP 類型應用，大數據生態系統中有另一類 組件處理這樣的問題，那就是 NoSQL 家族。這部分將介紹 NoSQL 的數據模型和分類，着重講述最具表明的 HBase。

ZooKeeper是一個分佈式的，開放源碼的分佈式應用程序協調服務，，是Hadoop和Hbase的重要組件。它是一個爲分佈式應用提供一致性服務的軟件，提供的功能包括:配置維護、名字服務、分佈式同步、組服務等。在本部分也會涉及。

因此在第四部分的學習中咱們須要達到如下目標：

1

理解HBase 體系結構水平擴展的 優點; 部署 HBase ;

設計 HBase 表;

在這裏我仍是要推薦下我本身建的大數據學習交流qq裙： 142974151， 裙 裏都是學大數據開發的，若是你正在學習大數據 ，歡迎你加入，你們都是軟件開發黨，不按期分享乾貨（只有大數據開發相關的），包括我本身整理的一份2019最新的大數據進階資料和高級開發教程，歡迎進階中和進想深刻大數據的小夥伴

2

理解 zookeeper 在 HBase集羣中的做用;

掌握 HBase Schema 設計注意 事項;

理解 HBase 協處理器;

掌握 HBase 備份恢復步驟;

5

SQL 語句屬於聲明式編程語言，這種 Relational 方式擅長處理結構化數據。大數據的數據來源種類繁多，數據類型多種多樣，SQL 並不能處理全部問題。因此須要用 procedural 方式，即編程 方式處理複雜多變的數據類型和應用。本章介紹 MapReduce、Spark編程模型，着重講述利用 Python 在 Spark 平臺作數據轉換和分析。

因此在第五部分的學習中咱們須要達到如下目標：

1

能指出 Spark 組件的產生背景;

掌握 Spark 與 RDD 的關係;

瞭解 RDD 使用場景，熟悉 RDD 操做; 使用 RDD 方法作日誌分析;

理解 Spark-on-YARN 運行原 理;

掌握數據持久化方法。

2

理解 Spark 共享變量及使用場 景;

在程序中使用廣播變量和累加 器;

理解 Spark SQL 的產生的歷史背 景;

建立 DataFrame 和 DataSet;

使用 SparkSQL 關聯結構數據與 非機構化數據 ;

可以利用 Spark 實現客戶羣的分 類;

5

前面5部分學習完畢以後，對於大數據平臺的大部分問題，相比你們都會有思路去解決了。系統穩定運行以後，就要考慮運行的好很差，快不快。本模塊針對 HDFS 數據、HBase 數據、實時抓取數 據加索引，以及 Spark Streaming 流式處理技術作重點介紹，爲大數據處理提速

因此在第六部分的學習中咱們須要達到如下目標：

1

. 理解 Solr Cloud 組件架構及原 理;

掌握 MapReduce 對靜態數據索 引過程;

掌握 Flume 對實時數據索引過 程;

理解 HBase 索引實現原理-協處 理器; 掌握 HBase Lily 對 HBase 數據索引過 程;

介紹 Cloudera Search

2

瞭解流式計算的基本概念及分類 方式;

掌握 Flume、Kafka 組件的架構 及原理;

用 Flume、Kafka、Spark Streaming 搭建 簡單的流式處理應 用;

學會使用狀態保持及滑動窗口等 流式計算 特性;

3

事物的原理和規律隱藏在紛繁雜亂的數據中，如何從數據中將他們挖掘出來服務生產生活，大數據的核心價值體如今此。 本模塊咱們一塊兒學習數據科學的數學基礎、機器學習的算法。大數據學習kou羣74零零加【41三八yi】由於Spark 正在取代 MapReduce 成爲大數據平臺數據處理的全新引擎，它也使得在大數據環境下高效的運用數據科學成爲可能， 因此咱們着重介紹基於 Spark 的機器學習的實現， 把握大數據的發展趨勢，步入數據科學的殿堂。

因此在第七部分的學習中咱們須要達到如下目標：

一、掌握數據科學的數據基礎，掌握統 計學基礎知識。

二、 掌握機器學習理論; 掌握 推薦系統和決策系統原理

三、掌握 Spark Mllib 組件架構; 利用 Spark Mllib 實現推薦器; . 學會引用經常使用機器學習算法。

選修

1.大數據Hadoop生態系統的組建大部分是java編寫，但95%的企業是直接使用不會修改組建，因此培訓課程包含冗長的java是不科學的。不過對於Java能作到一點了解仍是不錯的。

2.web開發html及javascript，只是在大數據可視化階段纔會用到，並非大數據課程的核心內容，因此有須要的同窗再去學習吧。

3.R 語言具備豐富的統計方法，大多數人使用R語言是由於其具備強大的統計功能， R 語言內部包含了許多經典統計技術的環境。經過對 R 語言基礎知識的學習，瞭解 R 數據分析的通用流程 。同時學習R 語言在 Spark 計算框架的基本使用方法，能夠爲實現更強大的數據分析打基礎。

4.大數據時代須要數據開放，同時又須要保障敏感數據的安全。企業如何保障數據中心的安全性成爲即將面臨的重大課題，因此 Hadoop 集羣的安全機制能夠學習一下。