轉型大數據：大數據職位和就任要求的介紹

1、大數據相關職位介紹（數據來源於拉鉤、智聯）

（一）大數據相關職位列舉

（二）每一個相關職位的崗位職責與要求

 

既然要轉型大數據，那從職業的角度先爲你們介紹一下大數據相關的職位。

我推薦一個學習交流羣：784789432

大數據相關的職位列舉

（一）開發崗位

ETL工程師

數據倉庫工程師

大數據工程師

Hadoop開發工程師

Java大數據工程師

Spark開發工程師

大數據運維工程師

（二）數據崗位

數據可視化工程師

機器學習算法工程師

數據挖掘工程師

大數據分析師

（三）綜合崗位

大數據架構師

大數據科學家

（四）職能崗位

大數據產品經理

數據運營

BI工程師

商業分析師

每一個相關職位的崗位職責與要求

01. ETL工程師（參考微貸網招聘信息）

崗位職責：

a. 負責數據倉庫工具開發，

b. 負責外圍系統建設和數據倉庫建設，

c. 針對業務場景編寫ETL通用工具腳本，

d. 數據字典編寫，造成對其它團隊的數據接口文檔；

崗位要求：

a. 熟悉Hive、Mysql、HBase中的一種並熟悉SQL。

b. 對數字或互聯網金融領域敏感，對數據建模、存取、處理、可視化等相關技術有很強的學習熱情。

c. 熟悉數據倉庫任務調度。

d. 熟悉linux，熟悉LINUX經常使用命令，至少熟悉python,php,shell等一種腳本語言。

e. 瞭解HADOOP，HIVE有使用這兩個平臺，或有在上面開發過相關應用。

f. 熟悉DataStage、Informatica、微軟DTS、OWB、Kettle中的一種或多種ETL工具,可以熟練的進行事實表、維度表、彙總表的ETL開發。

g. 具有良好的溝通能力，作事認真、仔細，有責任心，具備團隊協做能力。

優先考慮：

a. 有分佈式存儲/實時計算開發經驗優先

b. 熟悉PostgreSQL、Greenplum優先

c. 熟悉Hadoop、Spark技術優先

d. 有海量數據處理經驗者優先

02. 數據倉庫工程師（參考貝貝網招聘信息）

崗位職責：

a. 基於大型分佈式平臺的數據倉庫模型設計及實現。

b. ETL開發、優化、技術攻關，BI報表定製開發數據支持。

c. 協助創建數據模型，對數據進行挖掘、優化及統計。

d. 負責企業級數據倉庫架構設計、建模以及ETL開發，構建可擴展的數據倉庫解決方案。

e. 負責公司平常運營報表開發維護，和業務及分析部門溝通協做，提供多層面數據服務。

f. 提供完善的數據保障體系，包括元數據管理、數據質量、數據安全等。

崗位要求：

a. 兩年以上數據倉庫實施經驗，ETL實施經驗，承認數據產生價值。

b. 理解數據庫原理，熟練Mysql，瞭解Hadoop，Hive，Spark。

c. 熟悉Linux 操做系統，熟練掌握 Shell、Python。

d. 具有較強的業務理解能力和項目管理、推進力。

e. 熟悉數據標準管理、元數據管理、數據質量管理，對總體數據有綜合的把控能力。

f. 計算機或相關專業本科及以上學歷 。

g. 具備豐富的數據開發經驗，對數據處理、數據建模、數據分析等有深入認識和實戰經驗。

h. 熟悉SQL，有必定的SQL性能優化經驗。

i. 熟練掌握Java語言，MapReduce編程，腳本語言Shell/Python/Perl之一。

j. 業務理解力強，對數據、新技術敏感，對雲計算、大數據技術充滿熱情。

k. 積極樂觀、誠信、有責任心；具有強烈的進取心、求知慾及團隊合做精神。

優先考慮：

暫無

03. 大數據工程師（參考京東招聘信息）

崗位職責：

a. 負責大數據處理中的各個環節，參與需求分析、架構設計、技術決策以及詳細設計。

b. 爲現有大數據Hadoop、hive平臺提供性能調優、架構優化重組，解決系統中的關鍵問題和技術難題。

c. 把握基礎業務複雜系統的設計，確保系統的架構質量，編寫核心部分代碼。

d. 持續挑戰新的技術方向，攻克大數據量，高併發，高穩定性，易用性等各類技術難點。

崗位要求：

a. 本科或以上，計算機軟件或相關專業畢業。

b. 紮實的編程能力，熟悉算法和數據結構，熟悉計算機的基礎理論。

c. 熟悉大數據處理相關技術，包括但不限於 Hadoop、Hive 、Hbase、Impala、Spark 、Kafaka、Flume、Sqoop 、Storm、Redis等。

優先考慮：

熟悉推薦系統和數據挖掘算法者優先。

04. Hadoop開發工程師（參考京東金融招聘信息）

崗位職責：

a. 負責Hadoop系統的資源管理和平常維護。

b. 負責Hive/HBase/Spark/Impala等組件的優化和二次開發。

崗位要求：

a. 熟悉Hadoop、Hbase、Hive，5年以上Hadoop開發經驗。

b. 理解MapReduce計算框架的思想，熟悉分佈式計算模型或有高效索引 技術經驗者優先。

c. 精通JAVA語言，熟悉J2EE相關技術。

d. 至少熟練使用Shell、Python、Perl等腳本語言之一。

e. 熱愛技術，工做認真、嚴謹，有團隊精神。

優先考慮：

a. 熟悉主流數據挖掘算法開發。

b. 有github開源項目優先。

c. 有技術博客優先。

05. Java大數據工程師(參考喜馬拉雅招聘信息)

崗位職責：

a. 負責公司大數據相關係統和平臺的設計和開發

b. 負責公司數據業務開發，包括分析、統計、推薦等系統

c. 研究Hadoop/Spark/Hbase/Storm/ES等開源項目，進行系統優化和二次開發

崗位要求：

a. 紮實的計算機系統和算法基礎知識；良好的英文閱讀能力。

b. 紮實的Java語言基礎，對JVM運行機制有深刻了解。

c. 豐富的Java開發經驗，對大數據領域和框架感興趣，並有所瞭解。

d. 對Scala語言有所瞭解，願意深刻學習。

e. 對常見開源框架代碼有研究。

f. 熟悉SQL和noSQL的設計和開發。

g. 熟悉企業應用設計模式、面向對象的分析和設計技術，包括設計模式、UML建模等。

h. 善於思考，能獨立分析和解決問題，熱衷於互聯網技術的研究和創新。

i. 責任心強，具有良好的團隊合做精神。

優先考慮：

暫無

06. Spark開發工程師（參考網易招聘信息）

崗位職責：

a. 負責網易大數據平臺的Spark、Spark Streaming技術研發、性能優化、問題診斷

b. 負責網易雲託管Hadoop產品（EMR）研發

崗位要求：

a. 兩年以上大數據平臺設計和開發經驗，具有優秀的編程能力和良好的開發習慣。

b. 具有獨立架構設計、內核開發、測試與運維的能力，有過大規模系統設計和工程實現的經驗。

c. 熟悉Spark、Spark SQL和Spark Streaming內核原理；瞭解Hadoop生態組件相關技術，例如Hadoop、Hive、Storm等。

d. 精通Java、Scala語言，熟悉Linux 操做系統，熟練使用Python、Shell腳本語言。

e. 具備認真的技術態度，良好的團隊溝通和協做能力。

優先考慮：

有深刻研究過Hadoop/Spark源碼者優先。

07. 大數據運維工程師（參考美圖大數據事業部招聘信息）

崗位職責：

a. 負責公司大數據通用服務集羣相關組件的支撐保障（包括如：Hadoop/Hbase/Hive/Yarn/Spark/Storm/Kafka/Elasticsearch等）

b. 負責集羣容量規劃、擴容及性能調節優化。

c. 參與業務架構設計，在設計階段給出可運維性及可擴展性方面的改進建議。

d. 深刻研究大數據業務相關運維技術，持續優化集羣服務架構，調研集羣資源調度技術及平臺方向。

崗位要求：

a. 至少掌握java/python/shell中的一種語言。

b. 熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch等開源組件項目優先。

c. 熟悉Linux操做系統的配置、管理及優化，可以獨立排查及解決操做系統層面的問題。

d. 良好的客戶服務意識，強烈的責任心和使命感，執行力強，富有團隊合做精神。

e. 對大數據方向運維有很高的熱情和興趣，能主動學習瞭解相關知識。

優先考慮：

掌握ansible、yarn及mesos應用的優先。

08. 數據可視化工程師(參考滴滴出行招聘信息)

崗位職責：

a. 負責滴滴第一大戰略業務-智慧交通業務數據可視化的總體設計與實現，搭建一套業內頂尖的數據可視化平臺(對標echars,datav,raydata) 。

b. 負責數據可視化組件開發及新型展示形式研發；支持智慧交通及數據平臺的相關可視化展現。

c. 深刻理解主要數據可視化展示形式，針對實際場景梳理數據信息，提出專業的數據可視化元素使用意見。

d. 技術挑戰大，海量交通數據的動態，多維展現，在性能和效果層面達到業內頂尖 。

崗位要求：

a. 對數據可視化有熱情，瞭解業界發展示狀和趨勢，熟悉相關工具和技術，對於數據可視化有必定我的看法。

b. 熟練掌握各項Web前端技術 (HTML/CSS/Javascript) ，瞭解svg，canvas，webgl技術。

c. 在地圖/gis相關數據可視化有過開發經驗。

d. 具備計算機圖形學理論基礎，熟悉數據可視化相關基礎算法。

e. 有過dashboard，大屏，數據展現各類開發經驗，熟悉e-charts等工具。

優先考慮：

暫無

09. 機器學習算法工程師

崗位職責：

a. 使用機器學習算法解決常見的業務問題，使用的算法包括經常使用的圖像處理、天然語言處理算法、機器學習推薦算法等。

b. 挖掘各類來源的非結構化數據。

c. 決方案，評估並優化模型。

崗位要求：

a. 計算機、數學或相關專業本科以上學歷。

b. 一年以上機器學習項目經驗，有深度學習項目經驗優先，善於將業務問題抽象爲機器學習問題。

c. 熟悉經常使用的分類聚類算法，清楚瞭解算法原理並能作必定的改進。

d. 瞭解深度學習模型如CNN、RNN、GAN等。

e. 熟悉經常使用參數調整策略。

f. 熟練掌握Java/Python一種或多種。

優先考慮：

a. 熟悉經常使用的深度學習計算框架scikit-learn、對tensorflow熟悉者優先。

b. 熟悉大數據開發者優先。

10. 數據挖掘工程師（參考小米招聘）

崗位職責：

a. 負責小米公司的數據收集、數據挖掘和數據產品的開發工做。

b. 建設小米的用戶畫像和用戶標籤體系。

c. 使用大數據技術賦能小米各業務線，包含新零售，廣告，金融，AI手機等。

d. 從事大數據相關方向的前沿性研究。

崗位要求：

a. 有紮實的編程能力和算法基礎。

b. 掌握Java、Scala、Python等至少一門經常使用語言，熟悉數據結構和算法。

c. 熟練掌握機率統計，具備很強的數據分析能力與敏感度，能快速從給定的數據中找出規律。

優先考慮：

a. 熟悉分佈式/高性能計算系統，有hadoop、spark、mpi等開發經驗者優先。

b. 對行爲預測、天然語言、用戶畫像、社交網絡、時空大數據等領域有深刻實踐者優先。

11. 大數據分析師(參考VIPKID招聘信息)

崗位職責：

a. 負責大數據相關產品的規劃與設計，進行需求分析、數據打點、造成產品設計以及原型構建。

b. 根據新的業務需求，經過數據分析提出創新性的解決方案，並造成數據產品。

c. 對於產品改版迭代進行分析，基於數據爲產品改進提供建議，與產品經理協做，對現有產品進行應用創新。

崗位要求：

a. 統計學、應用數學或計算機等相關專業本科及以上學歷。

b. 有較豐富的BI數據產品實踐經驗，包括需求調研分析、數據模型設計、內外部資源協調、產品運營管理等。

c. 熟悉SQL，excel，熟練使用SPSS／SAS／Python/中的一種或幾種。 - d. 學習溝通能力強，能快速熟悉理解複雜業務，邏輯思惟能力強，善於經過數據挖掘產品改進點。

e. 強烈責任心，開放的性格，樂觀的心態。

優先考慮：

瞭解Hadoop，HDFS，Hive等分佈式大數據技術，能與技術人員良好溝通的優先考慮。

12. 大數據架構師（參考映客直播招聘信息）

崗位職責：

a. 負責大數據項目總體架構規劃，包括應用架構、技術架構、物理架構和數據架構等。

b. 負責指導工程師進行技術驗證與實現，核心技術問題的攻關，解決項目開發過程當中的技術難題。

c. 負責項目對外技術溝通，具備較強的溝通，表達和文案能力。

d. 根據公司項目和業務發展特色，負責研究相關大數據前沿技術。

e. 負責營造團隊技術氛圍，推進技術能力的沉澱。

崗位要求：

a. 計算機、信息系統、數學或相近專業本科以上學歷，7年以上相關研發經驗經驗，5年以上大數據研發和架構經驗。

b. 精通和全面掌握經常使用的軟件設計方法、計算架構和解決方案，包括面向對象設計、SOA、J2EE、雲計算等。

c. 擁有5年以上Hadoop開發設計和實施經驗，精通Hadoop生態及高性能緩存相關的各類工具並有實戰經驗，包括但不限於hadoop/hive/spark/impala/elasticsearch/druid/redis/hbase/kafka/flume等，可以熟練安裝、配置、部署和優化大型Hadoop集羣系統。

d. 有超PB級別大數據處理實戰經驗，熟悉整個大數據的完整處理流程，包括數據的採集、清洗、預處理、存儲、分析挖掘和數據可視化，以及架構設計、開發、部署、自動化運維等工做。

e. 有優秀的業務理解能力，能理解清楚業務並進行合理的模塊和架構設計。

f. 不怕困難，有關鍵技術攻關的決心和能力，可以適應和享受高強度高壓力的工做。

優先考慮：

有BAT工做經驗優先。

13. 大數據科學家（參考好將來招聘信息）

崗位職責：

a. 負責相關大數據應用算法的設計、研發與產品化。包括但不限於數據選品算法、個性化推薦、文本挖掘、圖像分析等方向。

b. 獨立負責算法類產品的商業需求發掘、技術預研、系統設計，以及推進業務方共同落地，並制定後續運營和優化計劃 。

c. 跟蹤最新最熱的機器學習算法理論進展（如deep learning），而且將優秀的算法應用到業務場景當中，提高業務效果。

崗位要求：

a. 計算機、統計、數學相關專業博士及以上學歷，3年以上的互聯網公司機器學習、文本挖掘、圖像識別、搜索或廣告算法研發經驗。

b. 精通Java、C++、Python、R、Matlab等的一種或幾種開發語言；精通hadoop/hive/mahout/MPI/spark等一個或多個分佈式計算框架/算法平臺。

c. 聰明和自我學習。

d. 優秀的溝通和表達能力，清楚的表達我的想法、理解他人觀點，具有團隊合做意識和推進協做達成的能力。

優先考慮：

對數據敏感，快速的發現關鍵問題，超強的業務建模能力，而且持續的迭代優化。

14. 大數據產品經理

崗位職責：

a. 負責數據產品規劃，以產品的視角組織數據，給運營人員提供基於數據的業務指導。

b. 數據需求分析：收集各個業務部門的數據需求，將需求彙總、整合、造成數據數據產品文檔。

c. 參與內部數據平臺建設：推進公司數據化運營的發展，提供數據數據化運營工具。

d. 爲團隊內部按期提供數據報告。

崗位要求：

a. 二年以上互聯網產品經驗或數據產品經驗，熟悉產品設計流程，熟練應用Axure等產品原型設計工具。

b. 具備紮實的產品設計、文檔策劃功底和較豐富的項目管理經驗。

c. 對數據敏感，有數據分析系統設計、報表系統設計經驗者佳。

d. 熟悉數據倉庫、商業智能基本理論，有數據分析系統使用經驗佳（如GA）。

e. 強烈責任心，開放的性格，良好的溝通能力。

f. 擅於協做，具有良好的團隊合做精神。

優先考慮：

暫無

15. 數據運營（參考拉鉤招聘業務部招聘信息）

崗位職責：

a. 業務流程中關鍵節點的跟蹤與反饋。

b. 對接業務模塊Leader進行項目數據收集及彙總。

c. 保證業務數據的準確性，並進行記錄、清洗、彙總與呈現。

d. 其餘業務體系內運營工做。

崗位要求：

a. 本科及以上，經管會計類專業優先。

b. 優秀的溝通能力和抗壓能力，性格樂觀皮實，不拘泥不執拗。

優先考慮：

暫無

16. BI工程師（參考每日優鮮招聘信息）

崗位職責：

a. 瞭解業務團隊的業務數據需求，完成相關數據支持。

b. 完成各類面向業務目標的數據模型的定義和應用開發規範的制定，並保證數據質量。

c. 協調解決數據處理過程當中出現的問題。

崗位要求：

a. 本科以上學歷，2年以上相關工做經驗。

b. 具備海量數據建模實踐經驗，有BI架構體系建設經驗。

c. 熟練使用sql語句，會寫存儲過程。

d. 最好有python、Hadoop、hive、ES等相關經驗。

e. 具備良好的溝通能力、自我學習能力、團隊協做能力。

優先考慮：

暫無

17. 商業分析師（參考貓眼電影招聘信息）

崗位職責：

a. 理解業務方向和戰略，爲管理層提供決策支持，競爭分析及建議。

b. 針對公司業務，經過深度分析進行數據價值挖掘，提供業務策略支持。

c. 配合各業務部門項目，給予數據支持，從多種數據源組合數據進行深度診斷分析，完成業務專題分析，輸出核心業務報告。

d. 創建業務關鍵指標監控體系，搭建數據分析平臺。

崗位要求：

a. 兩年以上相關工做經驗，互聯網公司商業分析、數據分析、BI工做背景。

b. 優秀的商業分析能力（結構化思惟）、敏銳的數據洞察力。

c. 具有良好的溝通協調能力、學習能力，成就驅動，具備團隊合做精神。

d. 熟練使用Mysql、PPT、Excel等工具。

優先考慮：

數學、統計學背景優先。

備註：

不一樣公司對同一個職位的要求是有差別的，因此以上信息僅供參考，還須要具體狀況具體對待。

儘可能選擇了一下比較大的公司作參考，這樣具備表明性。

沒有選擇BAT的招聘信息，有兩個緣由：第一，BAT的招聘信息太過於抽象。第二，BAT通常走校招，比較注重基礎和發展潛力，不在本文討論範圍內。

歡迎加入大數據學習交流羣：