大數據平臺常見開源工具備哪些？

大數據平臺是對海量結構化、非結構化、半機構化數據進行採集、存儲、計算、統計、分析處理的一系列技術平臺。大數據平臺處理的數據量一般是TB級，甚至是PB或EB級的數據，這是傳統數據倉庫工具沒法處理完成的，其涉及的技術有分佈式計算、高併發處理、高可用處理、集羣、實時性計算等，聚集了當前IT領域熱門流行的各種技術。

大數據平臺常見的一些工具聚集

主要包含：語言工具類、數據採集工具、ETL工具、數據存儲工具、分析計算、查詢應用及運維監控工具等。如下對各工具做爲簡要的說明。

一語言工具類

一、Java編程技術

Java編程技術是目前使用最爲普遍的網絡編程語言之一,是大數據學習的基礎。Java具備簡單性、面向對象、分佈式、健壯性、安全性、平臺獨立與可移植性、多線程、動態性等特色，擁有極高的跨平臺能力，是一種強類型語言，能夠編寫桌面應用程序、Web應用程序、分佈式系統和嵌入式系統應用程序等，是大數據工程師最喜歡的編程工具，最重要的是，Hadoop以及其餘大數據處理技術不少都是用Java，所以，想學好大數據，掌握Java基礎是必不可少的。

二、Python與數據分析

Python是面向對象的編程語言，擁有豐富的庫，使用簡單，應用普遍，在大數據領域也有所應用，主要可用於數據採集、數據分析以及數據可視化等，所以，大數據開發需學習必定的Python知識。

2、數據採集類工具

1)Nutch是一個開源Java 實現的搜索引擎。它提供了咱們運行本身的搜索引擎所需的所有工具，包括全文搜索和Web爬蟲。

2)Scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架，能夠應用在數據挖掘，信息處理或存儲歷史數據等一系列的程序中。大數據的採集須要掌握Nutch與Scrapy爬蟲技術。

3、ETL工具

一、Sqoop

Sqoop是一個用於在Hadoop和關係數據庫服務器之間傳輸數據的工具。它用於從關係數據庫(如MySQL，Oracle)導入數據到Hadoop HDFS，並從Hadoop文件系統導出到關係數據庫,學習使用Sqoop對關係型數據庫數據和Hadoop之間的導入有很大的幫助。

二、Kettle

Kettle是一個ETL工具集，它容許你管理來自不一樣數據庫的數據，經過提供一個圖形化的用戶環境來描述你想作什麼，而不是你想怎麼作。做爲Pentaho的一個重要組成部分，如今在國內項目應用上逐漸增多。其數據抽取高效穩定。

4、數據存儲類工具

一、Hadoop分佈式存儲與計算

Hadoop實現了一個分佈式文件系統(Hadoop Distributed File System)，簡稱HDFS。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS爲海量的數據提供了存儲，MapReduce則爲海量的數據提供了計算，所以，須要重點掌握，除此以外，還須要掌握Hadoop集羣、Hadoop集羣管理、YARN以及Hadoop高級管理等相關技術與操做!

二、Hive

Hive是基於Hadoop的一個數據倉庫工具，能夠將結構化的數據文件映射爲一張數據庫表，並提供簡單的SQL查詢功能，能夠將SQL語句轉換爲MapReduce任務進行運行。相對於用Java代碼編寫MapReduce來講，Hive的優點明顯：快速開發，人員成本低，可擴展性(自由擴展集羣規模)，延展性(支持自定義函數)。十分適合數據倉庫的統計分析。對於Hive需掌握其安裝、應用及高級操做等。

三、ZooKeeper

ZooKeeper 是一個開源的分佈式協調服務，是Hadoop和HBase的重要組件，是一個爲分佈式應用提供一致性服務的軟件，提供的功能包括：配置維護、域名服務、分佈式同步、組件服務等，在大數據開發中要掌握ZooKeeper的經常使用命令及功能的實現方法。

四、HBase

HBase是一個分佈式的、面向列的開源數據庫，它不一樣於通常的關係數據庫，更適合於非結構化數據存儲的數據庫，是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統，大數據開發需掌握HBase基礎知識、應用、架構以及高級用法等。

五、Redis

Redis是一個Key-Value存儲系統，其出現很大程度補償了Memcached這類Key/Value存儲的不足，在部分場合能夠對關係數據庫起到很好的補充做用，它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客戶端，使用很方便，大數據開發需掌握Redis的安裝、配置及相關使用方法。

六、Kafka

Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，其在大數據開發應用上的目的是經過Hadoop的並行加載機制來統一線上和離線的消息處理，也是爲了經過集羣來提供實時的消息。大數據開發需掌握Kafka架構原理及各組件的做用和使用方法及相關功能的實現。

在在國內項目應用上逐漸增多。其數據抽取高效穩定。

5、數據分析類工具

NBI一站式大數據可視化分析構建平臺

NBI一站式大數據分析平臺做爲國內領先 的新一代自助式、探索式分析工具，在產品設 計理念上始終從用戶的角度出發，一直圍繞簡 單、易用，強調交互分析爲目的的新型產品。 咱們將數據分析的各環節（數據準備、自服務 數據建模、探索式分析、權限管控）融入到系 統當中，讓企業有序的、安全的管理數據和分 析數據。

 

NBI一站式自服務大數據可視化分析平臺 NBI數據分析決策大屏 諮詢與定製化服務 只需在系統中經過拖拽式或點擊的方式，便可在 幾分鐘內爲所欲爲的構建一張張精美的數據可視 化分析報告。

NBI擁有幾十種傳統圖形和新型大數據圖形組件（如桑 基圖， treemap、層級聚類圖、旭日圖、熱力矩 陣、日曆矩陣、gis等等）能讓您輕鬆構建各種炫 酷的數據大屏。

產品特色：

 

案例展現：

 

全方位數據接入，輕量級數據建模

無縫鏈接企業各類數據，告別數據孤島，拖拽式數據建模，數據準備

就是這麼簡單。

 

簡單易用的可視化分析工具

無需技術背景，只需經過拖拽方式，馬上將繁複的基礎數據轉換成簡單易

懂的各種圖形，實時瞭解企業經營情況，從而及時的作出更明智的決策。