大數據開發工程師-----職位要求（網上招聘查找）

1、

java開發工程師（大數據方向）

• 職位類別：Java開發工程師

崗位職責：

一、參與大數據平臺的設計與開發，解決海量數據面臨的挑戰；

二、管理、優化並維護Hadoop、Spark等集羣，保證集羣規模持續、穩定；

三、負責HDFS/hive/HBase的功能、性能和擴展，解決並實現業務需求；

四、協助團隊成員創建數據模型，對數據進行挖掘、優化及統計。

 

任職要求：

一、本科生及以上學歷，2年及以上互聯網系統或者其餘企業應用系統開發相關經驗；

二、具有Java開發經驗，Java編程基礎紮實，熟練使用struts二、spring、ibatis或hibernate等框架；

三、有分佈式系統開發經驗；

三、熟悉Hadoop/HBase/Spark/Storm/Hive，熟悉數據挖掘策略與算法者優先；

四、數據控，善於發現問題、解決問題,具有良好的分析和解決問題的能力，具有必定的鑽研精神和持續學習的意願，強烈的責任感和團隊感，對負有挑戰性的工做充滿熱情

2、

大數據開發工程師

• 職位類別：軟件工程師

崗位職責：

一、開發大數據的數據接入、數據存儲及管理系統

二、負責大數據的維度分解及統計彙報

三、梳理並維護大數據及彙總工做

四、設計並參與開發大數據服務系統。

任職要求：

一、精通java開發，熟悉JVM及java經常使用包

二、熟悉大數據開發流程

三、熟悉Linux操做系統及Apache Hadoop

四、熟悉大數據生態環境的經常使用組件，如Kafka、Storm等

五、熟悉經常使用關係型及非關係型數據庫

六、人際關係良好，具備較強的溝通技能

七、有工做熱情，愛崗敬業。

 

3、

前端開發工程師（大數據平臺方向）

• 職位類別：WEB前端開發

崗位要求：

一、熟悉Web應用的開發，有2年以上web開發經驗，有良好的編碼習慣，注重代碼質量與代碼整潔；

二、熟練掌握JavaScript語言，對JavaScript core有深入認識，熟悉ES6語法；

三、具有Web前端編程經驗，熟悉HTTP/HTML5/CSS3/Ajax等頁面技術，熟悉Web Service/json等經常使用數據接口和格式，確保頁面代碼對各類瀏覽器的良好兼容性；

四、掌握前端各類經常使用工具，保持着對新技術的追求；

五、對網站性能優化有研究並有相關實踐經驗，包括代碼管理、圖片壓縮、代碼壓縮、減小HTTP請求等；

六、熟悉jquery、bootstrap等經常使用類庫，有/SVG/canvas實戰項目經驗，有web圖形化框架（如d三、echarts、highchart等）實戰項目經驗;

七、有地圖開發框架（如leaflet、openlayers、mapboxgl等）實戰項目經驗者優先考慮;

八、有reactJs、redux、vue、nodejs等實戰項目經驗者優先考慮;

九、熟悉webgl技術，有webgl實戰項目經驗者優先考慮;

十、有數據可視化相關實戰經驗、技術上富有探索性和鑽研性、有較強的學習能力者優先考慮。

 

4、

大數據開發工程師

• 職位類別：高級軟件工程師

崗位職責：

一、負責大數據相關領域技術的跟蹤研究以及相關技術標準、規範、流程的制定與實施

二、負責大數據分析平臺相關數據挖掘算法、統計分析方法、數據處理流程制定及應用開發工做

三、參與研究擬訂及實施公司大數據領域戰略、規劃和政策措施，引導和推進公司大數據領域相關工做

四、協助公司數據服務平臺的大數據分析平臺建設及運行維護

五、協助其餘數據開發工程師制定大數據對應信息的標準和相關要求

六、協助數據需求工程師對口數據用戶，提供相關大數據應用支持

 

任職資格：

一、熟悉Spark生態系統組件使用，2年以上Spark(Core/SQL/Streaming/MLlib)研發經驗

二、熟悉Scala、Java、Python語言，對Scala有比較深刻的研究

三、熟悉Kafka+Spark進行數據的流式實時處理

四、有海量數據處理開發經驗

五、良好的溝通、學習、團隊協做能力

六、有民航領域相關工做經驗優先

七、有統計學數學知識，海量數據處理、數據分析和挖掘經驗優先

八、開源社區活躍並有積極貢獻優先

 

5、

大數據開發工程師

• 職位類別：Java開發工程師

崗位職責：

一、負責大數據平臺的設計研發工做；

二、承擔數據抽取、清洗、轉化等數據處理程序開發；

三、負責大數據相關應用系統的性能分析、性能監控，不斷優化系統運行效率；

任職要求：

1、2年以上大數據技術的實際研發、應用經驗；

二、有文本挖掘、天然語言處理相關的工做經驗優先；

三、爲人踏實，願意挑戰困難，具有必定抗壓能力；

四、較強的邏輯思惟能力，良好的溝通、表達能力，良好的學習能力；

五、具有紮實的java技術；

六、具備分佈式系統架構開發能力，精通大數據相關技術、框架及組件；

七、（Hadoop、Kafka、Spark、Storm、HBase、Hive、Zookeeper)等；

八、熟悉數據倉庫架構，熟悉oralce，mysql數據庫，並精通至少一種數據庫產品。

 

6、

大數據開發工程師

• 職位類別：高級軟件工程師

職責描述：
1. 負責面向下廚房業務的數據平臺研發工做，保證核心數據的準確性、完整性、穩定性；
2.助力數據驅動決策，構建分佈式的數據存儲/計算/查詢等系統。

任職要求：
1.熟悉SQL，有數據倉庫研發經驗，熟悉Hadoop生態技術 (Hive Spark 等)
2.對數據處理、數倉建模、數據分析有深入認識和實戰經驗
3. 熟悉Linux系統環境
加分項：
熟練使用 python 和 java

7、

大數據開發工程師（偏數據分析）

• 職位類別：數據庫開發工程師

崗位職責：

1. 數據統計，基於公司級海量數據，爲產品和商業提供有價值的決策參考

2. 基於海量的用戶反饋數據和算法建模，作智能化的畫像處理和趨勢預測

3. 參與優化與維護大數據平臺數據倉庫，保證BI系統的穩定性與準確度

 

任職要求：

1. 有2年以上大數據項目開發經驗，掌握分佈式數據倉庫、數據模型相關知識2. 熟練使用linux操做系統

2. 熟悉大數據平臺及數據倉庫工具，數據同步工具，包括Spark各類組件，Hive, Impala, Sqoop等

3. 熟練掌握Java/Python及經常使用框架，精通SQL

4. 熟悉AWS環境, S3, EMR, Redshift, Kinesis, Pipeline

5. 極強的學習能力和動力，對未知領域能快速掌握並實踐

6. 熟練使用可視化分析工具者優先考慮，如Tableau/R

 

8、

大數據開發工程師

• 職位類別：數據庫開發工程師

崗位職責：

1.負責工業大數據相關的預測模型開發、模型運維；

2.負責大數據預測產品的核心模型與算法的創新研究和實現； 

3.分佈式平臺應用開發（Hadoop/Spark/Hbase）；

4.從各類數據系統導出指定格式的文件 ，支撐各業務線數據需求；

5.配合指導算法團隊完成大數據文本分析系統建設。

任職要求：

1.具備豐富的數據倉庫開發經驗，有2年以上Hadoop/Spark/SparkStreaming/Hbase等應用開發經驗，對分佈式計算、數據倉庫理論有深入理解 ；

2.熟練掌握linux常規命令與工具 ；

3.精通Scala、Python，有併發應用或者分佈式應用軟件開發經驗優先 ；

4.熟悉主流的大數據產品（Hadoop、Spark、Flume、kafka、es等）並具備其中部分組件的應用或者開發經驗； 

5.熟悉經常使用機器學習算法:如隨機森林、決策樹、時間序列等,對深度學習如TensorFlow瞭解者優先;

6.良好的系統分析、架構設計能力； 

7.對數據敏感、對新技術敏感，有數據挖掘技能者優先 ；

8.對商業和業務邏輯敏感，具有良好的分析、組織、溝通能力和團隊精神。

 

9、

大數據開發工程師

 

• 職位類別：軟件研發工程師

崗位職責：

一、基於Python的Web服務或產品開發 

二、面向對象高效的程序開發 

三、開發數據處理，計算等程序 

四、開發數據統計分析程序 

任職要求：

一、具備2年以上java或者python開發經驗,會C語言更佳 

二、熟練掌握pandas，numpy，sklearn等python開源包 

三、熟練使用tornado， django等python web框架

四、熟悉Hadoop / Spark / Hive / Hbase，有必定的Sql性能調優經驗； 

五、瞭解簡單的機器學習算法 

六、具備良好的自學能力及團隊合做能力

10、

大數據開發工程師

• 職位類別：Java開發工程師

崗位職責：

一、負責公司數據倉庫的搭建以及快速並行化查詢需求的支持

二、負責公司的數據處理、數據統計以及數據挖掘的開發工做 

三、負責公司後臺日誌統計分析系統的具體開發工做  

四、利用hadoop、spark等框架作數據的實時及離線分析

 

崗位要求：

 

一、碩士以上學歷，或優秀的本科生

二、java基本功紮實，熟悉Scala的優先

三、熟悉分佈式計算和存儲技術，熟悉Hadoop、MapReduce、Spark等，

四、熟悉Mongo、HBase等NOSQL數據庫。 

五、熟悉大數據的統計分析和挖掘，瞭解經常使用的數據統計方法和挖掘算法。

六、熟悉Linux 操做系統, 能夠自行部署開發環境

加分項：

一、對程序開發有濃厚熱情的，願意深刻學習，立志成爲開發大牛的；

二、有寫博客習慣或能提供github地址的

三、瞭解股票，期貨和其餘金融衍生品的知識者優先