大數據工程師的通關攻略

大數據時代下，大數據工程師如何應對？

• 平臺型大於業務行

大數據工程師所需的核心技能

大數據團隊構成以及崗位職責簡介

• Hadoop生態研發工程師（平臺工程師）

  • 對Hadoop生態組件很瞭解，精度開源框架源碼，對業務平臺支撐，適合技術極客的人。
  • Java/Scala

• 大數據開發工程師

  • 靈活使用大數據技術解決業務問題
  • 瞭解大數據工具使用原理
  • Java/Scala

• 數據倉庫工程師

  • 對業務敏感
  • 對數據建模
  • Java/HQL/Python

• 數據分析師

  • 基於數倉工程師
  • 對數據業務敏感
  • 熟悉腳本Python
  • 統計學常識

• 算法工程師

  • 熟練掌握機器學習算法
  • 必備的大數據開發技術
  • Java/C++/Python

• Java工程師

  • 支撐各個模塊工程開發
  • Java後端

大數據工程師面試前的準備工做

• 我的以爲定位
• 我的職業規劃
• 紮實的基本功
• 開發語言

• 公司項目回顧與梳理

  • 項目背景
  • 設計與架構
  • 選型與對比
  • 實現細節
  • 最後效果
• 簡歷

面試技巧及經常使用面試題

面試技巧

• 一面基本功技術
• 二面業務項目面，廣度，時間能力
• 三面綜合能力面，執行能力，溝通協調能力
• HR面穩定性，抗壓能力等

面試考覈點

Hadoop工程師

• 對工具的掌握程度
• 熟讀源碼

• 問題

  • 集羣變大，節點過多，hadoop中namenode內存受限如何解決？namenode水平擴展
  • 在Hadoop生態中，敏感數據安全保護措施？採用服務器訪問認證，底層目錄權限，Hive表權限管理。
• 推薦博客：董西成的博客：http://dongxicheng.org
• 推薦書籍：Hadoop實戰，Java核心技術

大數據開發工程師

• 熟練使用各個組件，對各個組件調優，充分發揮大數據技術的價值
• Java/Scala

• HBase/Strom/MR

  • HBase使用適合RowKey怎麼設計？
  • 怎麼開發MR等？
  • Strom併發問題

數據倉庫工程師

• 數據傾斜如何優化，分析？
• 數據倉庫建設有點，解決那些痛點？
• 日誌系統的ETL環節具體都作了那些事情？

數據分析師

• 數據分析項目流程，建模分析
• 腳本語言

• 行業相關的技術

  • 用戶行爲分析，經常使用指標有那些？

算法工程師

• 工程實現擬合和算法深度
• 數學的基礎知識，矩陣變換，特徵值等
• 算法能力

• 工程能力，常見機器學習的設計數據結構

  • 公式推導
  • 算法

大數據人的職業發展與進階通道

• 有一個明確的角色定位和職業規劃
• 轉崗轉行