大數據工程師須要掌握哪些知識?

時間 2020-05-12 標籤數據工程師須要掌握哪些知識

IT行業中Java語言是基礎須要打牢，除此以外還要掌握其餘的技能，大數據之因此被稱爲大數據，是由於這些海量數據的數量級已經達到TB、PB、EB級。傳統的數據處理手段早已知足不了需求。java

大數據處理技術涉及面很是廣，再也不是以往「一招鮮吃遍天」的局面了。主要有分佈式計算、高併發處理、高可用處理、集羣、實時性計算等。python

做爲一名大數據工程師須要掌握哪些知識?咱們一塊兒來看一下。linux

對大數據以及人工智能概念都是模糊不清的，該按照什麼線路去學習，學完往哪方面發展，想深刻了解，想學習的同窗歡迎加入大數據學習qq羣：458345782，有大量乾貨（零基礎以及進階的經典實戰）分享給你們，而且有清華大學畢業的資深大數據講師給你們免費授課，給你們分享目前國內最完整的大數據高端實戰實用學習流程體系。從java和linux入手，其後逐步的深刻到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相關知識一一分享！web

1、Java編程sql

Java語言是基礎，能夠編寫Web應用、桌面應用、分佈式系統、嵌入式系統應用等。Java語言有不少優勢，它的跨平臺能力贏得了不少工程師的喜好。數據庫

2、linux基礎操做命令編程

大數據開發通常在Linux環境下進行。緩存

大數據工程師使用的命令主要在三方面：查看進程，包括CPU、內存;排查故障，定位問題;排除系統慢的緣由等。服務器

3、hadoop數據結構

Hadoop中使用最多的是HDFS集羣和MapReduce框架。

HDFS存儲數據，並優化存取過程。

MapReduce方便了工程師編寫應用程序。

4、HBase

HBase能夠隨機、實時讀寫大數據，更適合於非結構化數據存儲，核心是分佈式的、面向列的Apache HBase數據庫。

HBase做爲Hadoop的數據看，它的應用、架構和高級用法對大數據開發來講很是重要。

5、Hive

Hive做爲Hadoop的一個數據倉庫工具，方便了數據彙總和統計分析。

6、ZooKeeper

ZooKeeper是Hadoop和Hbase的重要組件，能夠協調爲分佈式應用程序。

ZooKeeper的的功能主要有：配置維護、域名服務、分佈式同步、組件服務。

7、phoenix

phoenix是一種開源的sql引擎，是用Java語言編寫的。

8、Avro與Protobuf

Avro、Protobuf是適合作數據存儲的數據序列化系統，有較豐富的數據結構類型，能夠在多種不一樣的語言間進行通訊。

9、Cassandra

Apache Cassandra是運行在服務器或者雲基礎設施上的能夠爲數據提供完美平臺的數據庫，具備高性能、可擴展性、高線性。

Cassandra支持數據中心間互相複製，低延遲、不受斷電影響。它的數據模型有列索引、高性能視圖和內置緩存。

10、Kafka

Kafka能夠經過集羣來提供實時的消息的分佈式發佈訂閱消息系統，具備很高的吞吐量，主要是利用Hadoop的並行加載來統一線上、離線的消息處理。

11、Chukwa

Chukwa是一個分佈式的數據採集監視系統，具備可伸縮性和健壯性。

Chukwa的工具包能夠對結果進行顯示、監測、分析，充分使用收集到的數據。

12、Flume

Flume是海量日誌處理系統，具備高可用、高可靠、分佈式的特色，能夠對日誌進行採集、聚合和傳輸。

Flume能夠定製數據發送方來收集數據，也能夠對數據簡單處理後寫到數據接收方。