學習大數據，你的職業是如何規劃的？

做爲IT類職業中的「大熊貓」，大數據人才（數據工程師，數據分析師，數據挖掘師，算法工程師等）、在國內人才市場可謂是一顆閃耀的新星。因爲剛剛出於萌芽階段，這個領域出現很大的人才缺口。

學習大數據，你的職業是如何規劃的？

1 大數據人才作什麼？

2 須要具有的能力

2.1 精通SQL

2.2 數據模型技能

2.3 ETL設計

2.4 架構項目

3 知識體系

機器學習基礎

機器學習工具

3.1 大數據通用處理平臺

3.2 分佈式存儲

3.3 資源調度

3.4 機器學習工具

3.5 數據分析/數據倉庫(SQL類)

3.6 消息隊列

3.7 流式計算

3.8 日誌收集

3.9 編程語言

3.10 數據分析挖掘

3.11 數據可視化

3.12 機器學習

4 大數據人才的職業發展

4.1 薪酬待遇

4.2 職業發展路徑

1 大數據人才作什麼？

大數據是眼下很是時髦的技術名詞，與此同時天然也催生出了一些與大數據處理相關的職業，經過對數據的挖掘分析來影響企業的商業決策。大數據工程師就是一羣「玩數據」的人，玩出數據的商業價值，讓數據變成生產力。大數據和傳統數據的最大區別在於，它是在線的、實時的，規模海量且形式不規整，無章法可循，所以「會玩」這些數據的人就很重要。

大數據開發學習有必定難度，零基礎入門首先要學習Java語言打基礎，通常而言，Java學習SE、EE，須要約3個月的時間；而後進入大數據技術體系的學習，主要學習Hadoop、Spark、Storm等，從零基礎到精通學習大數據扣扣羣606859705分享大數據學習資源，有大佬指導學習，學習路線清晰
。
所以，分析歷史、預測將來、優化選擇，這是大數據人才在「玩數據」時最重要的三大任務。經過這三個工做方向，他們幫助企業作出更好的商業決策，找出最優化的結果。

2 須要具有的能力

2.1 精通SQL

若是英語是業務的交流工具，那麼SQL就是數據的交流工具。一個不會流利的英語的業務人員能有多大的成就？無論任何技術時代的產生和更替，SQL一直是數據的通用語。數據工程師應該有能用SQL表達任何‘相關子查詢’和窗口函數複雜度的技術能力。對數據工程師來講初始SQL／DML/DDL簡單到根本沒有難度。即便是沒有接觸過SQL的人，他也能讀懂並明白數據庫的執行計劃，瞭解全部步驟，知道程序怎麼被調用，鏈接算法的不一樣和執行計劃內的分佈式維度。

2.2 數據模型技能

做爲一個數據工程師，有對實體－關係模型的認知反射，規範化的清晰認識，權衡反規範化的敏銳直覺。數據工程師應該熟悉維度建模及相關概念與術語。

2.3 ETL設計

可以寫出有效率、有彈性的、「可發展」的ETL任務是一個關鍵。

2.4 架構項目

就如任何一個領域的專家的專業技能同樣，數據工程師須要一個較高層次的綜括，對大多數的工具，平臺，庫，和其餘供他支配的資源的瞭解。認識到不一樣類型的數據庫、計算引擎、流處理器、消息隊列、工做流協調器、序列化格式及其餘相關技術的屬性、用例、微妙之處。在設計解決方案的時候，他應該有能力選擇即將要使用的技術，並有一個構想去協調怎麼使他們一塊兒更好地工做。

3 知識體系

3.1 大數據通用處理平臺

Spark

Flink

Hadoop

3.2 分佈式存儲

HDFS

3.3 資源調度

Yarn

Mesos

3.4 機器學習工具

Mahout

Spark Mlib

TensorFlow (Google 系)

Amazon Machine Learning

DMTK (微軟分佈式機器學習工具)

3.5 數據分析/數據倉庫(SQL類)

Pig

Hive

kylin

Spark SQL,

Spark DataFrame

Impala

Phoenix

ELK

ElasticSearch

Logstash

Kibana

3.6 消息隊列

Kafka(純日誌類，大吞吐量)

RocketMQ

ZeroMQ

ActiveMQ

RabbitMQ

3.7 流式計算

Storm/JStorm

Spark Streaming

Flink

3.8 日誌收集

Scribe

Flume

3.9 編程語言

Java

Python

R

Ruby

Scala

3.10 數據分析挖掘

MATLAB

SPSS

SAS

3.11 數據可視化

R

D3.js

ECharts

Excle

Python

3.12 機器學習

機器學習基礎

聚類

時間序列

推薦系統

迴歸分析

文本挖掘

決策樹

支持向量機

貝葉斯分類

神經網絡

深度學習

機器學習工具

Mahout

Spark Mlib

TensorFlow (Google 系)

Amazon Machine Learning

DMTK (微軟分佈式機器學習工具)

4 大數據人才的職業發展

4.1 薪酬待遇

做爲IT類職業中的「大熊貓」，大數據人才的收入待遇能夠說達到了同類的頂級。國內IT、通信、行業招聘中，有10％都是和大數據相關的，且比例還在上升。在美國，大數據工程師平均每一年薪酬高達17.5萬美圓，而據瞭解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其餘職位高20％至30％，且頗受企業重視。

4.2 職業發展路徑

因爲大數據人才數量較少，所以大多數公司的數據部門通常都是扁平化的層級模式，大體分爲數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不一樣團隊，而在小公司則須要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。這個職位的大部分人會往研究方向發展，成爲重要數據戰略人才。另外一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，所以也可轉向產品部或市場部，乃至上升爲公司的高級管理層。