大數據學習路線2019版（附全套視頻教程及網盤下載）

什麼是大數據？

 

大數據（BIG DATA）是指沒法在必定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是須要新處理模式才能具備更強的決策力、洞察發現力和流程優化能力的海量、高增加率和多樣化的信息資產。

大數據的5V特色：VOLUME（大量）、VELOCITY（高速）、VARIETY（多樣）、VALUE（低價值密度）、VERACITY（真實性）。

 

爲何要學習大數據？

 

目前，全球數據呈現爆發增加、海量集聚的特色。大數據計算技術完美地解決了海量數據的收集、存儲、計算、分析的問題。預計到2022年大數據市場規模達800億美圓，年均實現15.37%的增加，大數據時代開啓人類社會利用數據價值的另外一個時代。國家對大數據戰略政策的制定和實施，也是大數據市場不斷髮展的有力條件。

1. 應用領域廣：產業規模空前，各行持續發力：包含金融、政務、交通、電信、商貿、醫療、教育、旅遊、工業、農業等行業領域。
2. 就業薪資高：行業平均月薪22690元，30K-50K佔29.7%，20K-30K佔43.2%，15K-20K佔12.2%，10K-15K佔2.7%，6K-8K佔8.1%。
3. 缺口大：行業日招聘崗位量154598個，智聯日招聘量50916條，前程無憂日均招聘量55804條，獵聘日均招聘量1萬+條，職友集日均招聘量37878條。
4. 政策支持：國家大力推進實施大數據發展戰略，行業政策環境良好。

十二屆全國人大二次會議政府工做報告：「要設立新興產業創業創新平臺，在新一代移動通訊、集成電路、大數據、先進製造等方面趕超先進。」

十八大期間國務院頒發文件：「《促進大數據發展行動剛要》的頒發，證實大數據成爲推進經濟轉型發展的新動力。」

黨的十九大報告中提出：「加快建設製造強國，加快發展先進製造業，推進互聯網、大數據、人工智能和實體經濟深度整合。」

 

大數據學習路線大綱：

 

第一階段：Java語言基礎階段

1.1 Java編程語言基本概述

1.1.1 計算機語言與編程概述      1.1.2 介紹Java生態圈……

1.2 Java基礎語法

1.2.1 分支循環語句         1.2.2 if分支結構……

1.3 面向對象編程

1.3.1 軟件的生命週期         1.3.2 軟件的設計原則……

1.4 面向對象高級編程

1.4.1包 (package) 的管理與做用         1.4.2JavaBean規範……

1.5 Java中的經常使用類庫

1.5.1包裝類（Wrapper Class）         1.5.2裝箱和拆箱……

1.6 枚舉和異常類

1.6.1枚舉定義和使用         1.6.2經過枚舉的class文件查看底層實現……

1.7 Java數據結構和集合框架泛型

1.7.1數據結構舉例剖析         1.7.2數組的定義和使用方式……

1.8 Java中的IO流

1.8.1File類的經常使用操做        1.8.2遞歸遍歷文件夾……

1.9 Java中的多線程

1.9.1程序，進程，線程的關係詳解         1.9.2線程的原理……

1.10 Java中網絡編程和反射

1.10.1網絡通信協議         1.10.2網絡七層協議……

1.11 Java8新特性

1.11.1Lambda表達式         1.11.2Java能夠函數式編……

1.12 Java基礎增強

1.12.1Tomcat介紹與搭建         1.12.2軟件B/S和C/S……

 

 

第二階段：Linux系統&Hadoop生態體系

 

0一、 Linux入門

02 、經常使用基本命令

03 、系統管理

04 、Linux操做加強

05 、Linux shell編程

06 、Hadoop生態

0七、 分佈式系統概述

0八、 Hadoop入門

0九、 Hadoop僞分佈式

十、 Hadoop全分佈式

十一、 HDFS基本概念

12 、HDFS的應用開發

1三、 HDFS的IO流操做

14 、NameNode工做機制

1五、 DataNode工做機制

1六、 Zookeeper入門

17 、Zookeeper詳解

18 、HA框架原理

1九、 Hadoop-HA集羣配置

20 、MapReduce框架原理

21 、Shuffle機制

2二、 Mapreduce案例一

2三、 Mapreduce案例二

24 、Hive入門

25 、Hive DDL數據定義

26 、Hive分區表

27 、Hive分桶表

2八、 Hive查詢

29 、Hive的高級查詢Join與排序

30 、Hive的函數

3一、 Hive DML數據管理

32 、Hive文件存儲

3三、 Hive企業級調優

34 、Hive企業級調優二

3五、 Hive企業級項目實戰

3六、 Flume詳解

3七、 Sqoop詳解

3八、 Hbase概念

39 、Hbase的操做

40 、Hbase整合

41 、Hbase的實戰和優化

 

第三階段：分佈式計算框架

3.1 scala

3.1.1 安裝idea配置環境變量     3.1.2 Maven本地庫配置     3.1.3 JDK環境變量配置     3.1.4 idea版本配置……

3.2 Spark Core

3.2.1 大數據架構體系     3.2.2 架構詳解     3.2.3 Spark集羣介紹     3.2.4 Spark集羣配置……

3.3 Spark SQL

3.3.1 Spark SQL的發展歷史     3.3.2 Spark SQL的原理介紹      3.3.3 DataFrame概述      3.3.4 建立DataFrame的方式……

3.4 Spark Streaming

3.4.1 Spark Streaming概述     3.4.2 Spark Streaming的原理介紹     3.4.3 Spark Streaming與Storm對比     3.4.4 DStream的概念……

3.5 kafka

3.5.1 Kafka的基本概念3.5.2 Kafka的發展歷史3.5.3 Kafka的應用背景3.5.4 JMS基礎……

3.6 ElasticSearch

3.6.1 全文檢索技術簡介     3.6.2 ES安裝配置入門     3.6.3 ES插件安裝     3.6.4 ES基本操做……

3.7 Logstash

3.7.1 Logstash介紹     3.7.2 Input組件介紹     3.7.3 Filter組件介紹     3.7.4 Output組件介紹……

3.8 Kibana

3.8.1 Kibana介紹     3.8.2 Kibana環境準備     3.8.3 Kibana安裝     3.8.4 Kibana演示……

3.9 Kibana

3.9.1 什麼是NoSQL     3.9.2 NoSQL數據庫的分類     3.9.3 Redis介紹     3.9.4 Redis發展歷史……

 

 

第四階段：大數據實戰項目

4.1 互金領域-廣告投放

項目介紹：構建廣告投放平臺，進行廣告投放業務，吸引潛在客戶，推廣產品，包含投放微服務平臺、競價模塊、客戶羣體畫像、 千人千面推薦產品。

4.2 電商平臺

項目介紹： 埋點業務，進行用戶細分畫像、創建信用體系、進行線上各種活動。

4.3 共享單車

項目介紹： 依據用戶行爲軌跡構成出行規律，根據用戶羣體出行規律、區域狀況等動態調度用車狀況。

4.4 工業大數據

項目介紹：國家電網_省級輸／變電監控項目：監控線路的傳感設備，確保設備安全、下降故障成本，動態監控線路、變電站二次設備工做狀況、報警自動化。

4.5 交通

項目介紹：貴州交通廳，交通離線/實時監控項目：經過交通卡口採集實時數據，動態監控全省各道路通行和事故情況，避免擁堵、避免交通事故、 精準測速、防止套牌和提供便捷最佳出行方案、 預測擁堵係數，爲各級提供最優道路規劃方案。

4.6 旅遊

項目介紹：安順智慧旅遊，整合各種旅遊相關應用系統及信息資源，在公安、交通、工商等相關領域實現信息共享、協同合做，共同打造良性的旅遊雲生態系統。

4.7 醫療

項目介紹：某市人民醫院，隨着老年化的持續增長，患病率愈來愈高。增長大數據平臺，採集醫療相關數據，提升診斷的準確性，預防一些疾病的發生，監控相關病情康復進展，真正實現解決看病難，下降發病率等。

 

第五階段：大數據分析

5.1 Data Analyze數據分析基礎

5.1.1 AI&&機器學習&&深度學習概論     5.1.2 數據科學……

5.2 工做環境準備

5.2.1 數據分析中經常使用的Python技巧     5.2.2 Python字符串操做……

5.3 數據可視化的概念與準則

5.3.1 Python Matplotlib庫     5.3.2 Matplotlib架構……

5.4 Python機器學習

5.4.1 機器學習的基本概念     5.4.2 分類算法與迴歸算法……

5.5 選擇模型

5.5.1 訓練模型     5.5.2 測試模型……

5.6 構建樹的過程

5.6.1 sklearn中決策樹重要的參數     5.6.2 經過決策樹能夠獲得特徵的重要性得分……

5.7 網格搜索

5.7.1 10折交叉驗證     5.7.2 模型評價指標及模型選擇……

5.8 sklearn中有三類樸素貝葉斯算法

5.8.1 Bernoulli模型     5.8.2 Multinomial模型……

5.9 顏色特徵

5.9.1 紋理特徵     5.9.2 形狀特徵……

5.10 手寫數字識別

5.10.1 人臉識別     5.10.2 物體識別……

5.11 文本的基本組成

5.11.1 Python經常使用文本處理函數（字符串操做）     5.11.2 正則表達式……

5.12 文本的基本組成

5.12.1 主題模型及LDA     5.12.2 隱含狄利克雷分佈(Latent Dirichlet Allocation, LDA)……

 

大數據視頻教程：

 

教程1、2019大數據初識與職業發展

本教程介紹了大數據中hadoop的基本概念與生態體系，以及在企業中的案例應用。最後搭建一個Hadoop環境，而且展現Hadoop如何進行文分析與統計。

 2019千鋒大數據初識與職業發展https://pan.baidu.com/s/17rJ2iBRDSlfImaKtx8_kDA

 

教程2、 Hadoop生態圈視頻教程

本教程全面涵蓋hadoop生態圈技術，內容涉及linux、hdfs、mapreduce、zookeeper、hive、sqoop等，對比教學，從基礎到進階，輕鬆搞定hadoop生態圈。

 5天學會Hadoop基礎教程 https://pan.baidu.com/s/1gMrPQKKt04FTsdf6Qc8IZw 提取碼：4p2o

 

教程3、 最新Hive入門教程

在企業中，離線數據的來源主要是已存在的有固定格式的文件，或數據庫中積累的結構化的數據，如何高效的進行數據的管理以及基本的統計分析是每一個大數據開發者必須掌握的技能。

 2019最新Hive入門教程https://pan.baidu.com/s/1iVFTXVm0-hkAja7slZEVjg 提取碼：mefj

 

教程4、2019最新Hadoop入門教程

Hadoop入門教程全面涵蓋hadoop生態圈技術，內容涉及linux、hdfs、mapreduce、zookeeper、hive、sqoop等。

 2019最新Hadoop入門教程https://pan.baidu.com/s/1NfMUR4zTap8IRrNNfsCE4A 提取碼：phzx

 

教程5、Hive課程詳解

在企業中，離線數據的來源主要是已存在的有固定格式的文件，或數據庫中積累的結構化的數據，如何高效的進行數據的管理以及基本的統計分析是每一個大數據開發者必須掌握的技能，本教程在Hadoop集羣的基礎上，系統的講述了Hive的做用，安裝部署過程，經常使用的內置函數，UDF的引入方式，數據導入導出的相關組件等，並結合一些企業的場景進行了說明。

 Hive入門必學教程 https://pan.baidu.com/s/1I-RsrZPifCfDOFNdJ57-PA 提取碼：rh76

 

教程6、統計機器學習算法精講

本教程全方面的介紹決策樹是一種基本的分類與迴歸方法，學習一般包含三個步驟：特徵選擇、決策樹的生成和決策樹的剪枝。

 2019大數據統計機器學習算法精講https://pan.baidu.com/s/1aFPKBgCcZ1SdYpWW3vt44Q 提取碼：ges5

 

教程7、 Spark基礎及源碼分析

Apache Spark 是在大數據工業界裏用的最多的基於內存的技術框架，尤爲是RDD的特性以及應用，對幫助理解Spark和任務提交的流程以及緩存機制 。

 全套Spark視頻教程 https://pan.baidu.com/s/1235kpqE4UtIaESxD_qu6Ew 提取碼：43j4

 

教程8、 玩轉數據可視化

數據可視化相關技術主要爲了提升數據的可讀性，將數據以圖表的方式進行展現，普遍應用於各大平臺及商業智能領域，便於數據結果的解讀和分享。

 2019最新快速玩轉HBase~連載https://pan.baidu.com/s/1RbjmaBDCR4jJmy6D1JDRRQ 提取碼：jsye

 

教程9、 機器學習之邏輯迴歸教程

分類（邏輯迴歸）和迴歸（線性迴歸）。當你使用邏輯迴歸或者線性迴歸創建你整個流程的時候（越簡單越好），你會慢慢地熟悉機器學習裏的一些概念。你也會知道如何準備你的數據，以及這過程當中有什麼挑戰（好比填補缺失值和特徵選擇）。

 大數據教程-機器學習之邏輯迴歸 https://pan.baidu.com/s/1ElzIP6npB6f-s1ioo3X0Og 提取碼：jb7d

 

教程10、機器學習入門篇

本課程全方面的介紹機器學習的監督學習、半監督學習和非監督學習的概念，詳細介紹 數據 + 算法  = AI應用 。

 大數據教程-機器學習之線性迴歸 https://pan.baidu.com/s/1i3gpkVrrJGzVi3qeD0wmjw 提取碼：vgop

 

教程11、大數據高級教程-SVM模型

經典的支持向量機算法只給出了二類分類的算法，而在數據挖掘的實際應用中，通常要解決多類的分類問題。能夠經過多個二類支持向量機的組合來解決。主要有一對多組合模式、一對一組合模式和SVM決策樹；再就是經過構造多個分類器的組合來解決。主要原理是克服SVM固有的缺點，結合其餘算法的優點，解決多類問題的分類精度。如：與粗集理論結合，造成一種優點互補的多類問題的組合分類器。

 大數據教程-機器學習之SVM模型 https://pan.baidu.com/s/1GmOy-iU2hVY5vZ4Zi4Wotg 提取碼：xbz1

 

教程12、 線性迴歸案例之廣告與媒體的多元關係

本課程講解了迴歸模型在工業上的應用，已經重要的超參數調參的方法，經過加載數據集獲得原始數據，而且對選擇建模過程要細化工做。

 大數據教程-機器學習之線性迴歸 https://pan.baidu.com/s/1i3gpkVrrJGzVi3qeD0wmjw 提取碼：vgop

 

教程十3、 快速入門Spark

Apache Spark 是在大數據工業界裏用的最多的基於內存的技術框架，尤爲是RDD的特性以及應用，對幫助理解Spark和任務提交的流程以及緩存機制。

 2019大數據之快速入門Spark~連載https://pan.baidu.com/s/1z_et0uq8w9gpt8WWvGHIIw 提取碼：ilyu

 

教程十4、快速玩轉SparkGraphx系列

Spark GraphX是一個分佈式的圖處理框架。社交網絡中，用戶與用戶之間會存在錯綜複雜的聯繫，如微信、QQ、微博的用戶之間的好友、關注等關係，構成了一張巨大的圖，單機沒法處理，只能使用分佈式圖處理框架處理，Spark GraphX就是一種分佈式圖處理框架。

 2019最新快速玩轉SparkGraphx系列https://pan.baidu.com/s/1_9PDPimgeuOL6pzND0QNLQ 提取碼：s5za

 

教程十5、2天學會Lambda表達式

本系列視頻旨在講解JAVA8的一個新特性: Lambda表達式。

 2019大數據：2天學會Lambda表達式https://pan.baidu.com/s/180n1SMnp_lwtrEoMFsdrIA 提取碼：0bwj

 

教程十6、快速入門Scala

本套視頻由淺入深對Scala內容進行全面講解，主要針對Scala小白用戶，若是有必定的編程語言基礎，如瞭解Java語言，學習起來會更輕鬆。

 大數據之快速入門Scala~連載 連接https://pan.baidu.com/s/1_V0E5DZYD8zBRY5qTA97uQ 提取碼：0jac

 

教程十7、深刻學習scala

本套視頻由淺入深對Scala內容進行全面講解，主要針對Scala小白用戶，若是有必定的編程語言基礎，如瞭解Java語言，學習起來會更輕鬆。

 全套Scala視頻教程 https://pan.baidu.com/s/18AUDdTUSBbe8pBatL2Vsyw 提取碼：c3g2

 

教程十8、2019人工智能必學用數學看待機器學習

本章從深度學習工程實踐的視角，幫助廣大工程師朋友們梳理和學習深度學習中所用到的微積分部分的知識。

 大數據之人工智能必學用數學看待機器學習https://pan.baidu.com/s/1Q_fqIE5RBsMl6ccsN-QbTg 提取碼：1h0y

 

教程十9、 2019Java多線程精講

Java給多線程編程提供了內置的支持。一條線程指的是進程中一個單一順序的控制流，一個進程中能夠併發多個線程，每條線程並行執行不一樣的任務。

 2019Java多線程精講 https://pan.baidu.com/s/1kHUkh7ZqJReiamt-0BOXAA 提取碼：johs

 

教程二10、2019大數據之快速入門Flink

Flink是一個開源的分佈式流式和批處理平臺；Flink核心是流式數據流引擎，而後在流式引擎的基礎上實現批處理。和spark正好相反，spark核心是批處理引擎，而後在批處理引擎的基礎上實現流式處理。

 大數據之快速入門Flink~連載https://pan.baidu.com/s/1g3ubsn8Rgna6BfwZGtAfVg 提取碼：k5ew

 

教程二11、2019最新小白速成調度框架Azkaban

本課程視頻適合全部瞭解或者系統學習過hadoop生態圈相關組件的學生。若對大數據沒有相關了解，能聽懂概念，不少操做不能關聯。

 2019最新小白速成調度框架azkaban【千鋒大數據】https://pan.baidu.com/s/1RVLh8UVL7SBwK77j4SbEXw 提取碼：nvql

 

教程二12、2019JAVA設計模式精講

設計模式（Design pattern）表明了最佳的實踐，一般被有經驗的面向對象的軟件開發人員所採用。

 2019JAVA設計模式精講【千鋒大數據】https://pan.baidu.com/s/1FqdYFOOAy-mVfc8Zqbq87A 提取碼：zs29

 

教程二十3、 JAVA8新特性之集合的流式操做

本課程全方面的介紹對集合流式操做,數據準備,collect方法的使用,reduce方法的使用,max和min方法的使用,matching匹配操做,count方法使用,forEach方法的使用等。

 2019JAVA8新特性之集合的流式操做~連載https://pan.baidu.com/s/1ttcPxagRXo1_ivrEiHVVNA 提取碼：eipt

 

教程二十4、 線性迴歸全解

本課程講解了參數估計的求導過程，在工業算法界中要跟業務結合，理解假設函數和損失函數已經最優函數的理解和推導。

 大數據教程-機器學習之線性迴歸 https://pan.baidu.com/s/1i3gpkVrrJGzVi3qeD0wmjw 提取碼：vgop

 

教程二十5、 ElasticSearch快速入門教程

全文搜索的需求很是大。而開源的解決辦法Elasricsearch（Elastic）就是一個很是好的工具。目前是全文搜索引擎的首選。

 2019最新ElasticSearch快速入門教程https://pan.baidu.com/s/182RTgdJNpnajqygFgS9XbQ 提取碼：offj

 

教程二十6、 2019最新快速玩轉Hbase

HBase是一個基於HDFS的分佈式、面向列的開源數據庫，是一個結構化數據的分佈式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集羣。是每個大數據都應該掌握的基本框架。

 2019最新快速玩轉HBase~連載https://pan.baidu.com/s/1RbjmaBDCR4jJmy6D1JDRRQ 提取碼：jsye

 

教程二十7、2019最新小白速成調度框架oozie

Oozie是大數據生態圈中一個基於工做流的任務調度工具，也是大數據工程師的一個經常使用工具。在本課程中，你將學習到，Oozie的原理、安裝配置、使用Oozie實現調度Shell腳本、邏輯調度多個Shell腳本、直接調度MapReduce任務以及定時邏輯調度多個任務。

 2019最新小白速成調度框架ooziehttps://pan.baidu.com/s/1Wmh41Q4mWop7obnXvVNUJA 提取碼：trpv

 

教程二十8、 2019最新快速玩轉Flume教程

Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統。Flume基於流式架構，靈活簡單。是大數據大數據開發工程師必須會的框架之一。有利於代碼的開發和維護。

 2019最新快速玩轉Flume教程https://pan.baidu.com/s/1gLowi7EZ_sNAKeLV-jmJBg 提取碼：8xt2

 

教程二十9、Spark Livy入門到精通

Spark Livy入門到精通，livy是cloudera開發的經過REST來鏈接、管理spark的解決方案，供你們免費學習使用。

大數據教程-Spark Livy入門到精通 https://pan.baidu.com/s/1h6oU3gLWfEXxtq4-1PHa7A 提取碼：rw05