大數據工具千千萬，到底誰纔是最強王者？

外面有成千上萬的大數據工具。它們都承諾能夠爲你節省時間和資金，並幫助發掘以前歷來見過的業務洞察力。雖然確實如此，但是面對那麼多的選擇，想理清這麼多的工具談何容易。

哪種工具適合你的技能組合?哪種工具適合你的項目?

爲了替你節省一點時間，並幫助你首次選對工具，咱們列出了咱們青睞的幾款數據工具，涉及數據提取、存儲、清理、挖掘、可視化、分析和整合等領域。

數據存儲和管理

若是你準備處理大數據，就要考慮該如何存儲大數據。大數據獲得「大」這個名號，一方面在於，大數據太龐大了，傳統系統處理不了。一家優秀的數據存儲提供商應該能夠爲你提供一套基礎設施，除了用來存儲和查詢數據外，你還能夠在上面運行其餘全部分析工具。

Hadoop

Hadoop這個名稱已成爲了大數據的代名詞。它是一種開源軟件框架，用於在計算機集羣上分佈式存儲很是龐大的數據集。這一切意味着你能夠擴大或縮小數據規模，不必爲硬件故障而擔憂。Hadoop爲任何一種數據提供了海量存儲空間、強大的處理能力以及處理幾乎無限制的併發任務或做業這一功能。

Hadoop並不適合數據初學者。想真正發揮其功能，你其實須要知道Java。這可能須要一番投入，可是Hadoop無疑值得你付出努力――由於其餘許多公司和技術運行在它的基礎上或者與它整合起來。

Cloudera

說到Cloudera，它實際上是Hadoop的一個品牌名，上面添加了一些額外服務。它能夠幫助貴公司構建一個企業數據樞紐，讓貴企業的人員能夠更方便地訪問所存儲的數據。

雖然確實有開源組件，但Cloudera主要仍是一款企業解決方案，幫助公司管理Hadoop生態系統。實際上，它能夠替你處理管理Hadoop的大量繁重工做。它還提供了必定級別的數據安全性，若是你要存儲任何敏感數據或私人數據，這相當重要。

MongoDB

MongoDB是新穎的現代數據庫方法，可謂是後起之秀。它比如是關係數據庫的替代技術。它適用於管理常常變化的數據或者非結構化或半結構化數據。

常見的使用場合包括：爲移動應用程序、產品目錄、實時個性化、內容管理以及跨多個系統提供單一視圖的應用程序存儲數據。MongoDB一樣不適合數據新手。與任何數據庫同樣，你確實須要瞭解如何使用一種編程語言來查詢它。

Talend

Talend是另外一家出色的開源公司，它提供許多數據產品。咱們在這裏主要介紹其主數據管理(MDM)產品，該產品將實時數據、應用程序和流程整合與嵌入式數據質量及監管結合起來。

因爲是開源產品，Talend徹底免費，於是是個不錯的選擇，不管貴公司處於哪一個發展階段。並且，它讓你不必構建和維護本身的數據管理系統――這是一項很是複雜而困難的任務。

開始入門

若是你對大數據徹底一無所知，數據庫可能不是最適合入手的方面。它們比較複雜，確實須要具有必定的編程知識才能上手(這不像下面提到的其餘許多工具)。然而，若是你確實想要從事或處理大數據，那知道數據庫的基本知識、聊起數據庫頭頭是道必不可少。你能夠全面瞭解推進大數據的技術，包括數據庫和存儲發展史、關係數據庫和文檔數據庫的區別、大數據的挑戰以及必不可少的工具，還有Hadoop簡要介紹。

數據清理

在你真正挖掘數據、獲取洞察力以前，須要清理數據。儘管建立一個整潔、結構清晰的數據集老是好作法，但有時這並不是始終行得通。數據集可能形狀和大小不一(有些好的，有些不太好!)，尤爲是你從網上獲取數據時。下列公司能夠幫助你完善和重組數據，處理成實用的數據集。

OpenRefine

OpenRefine(之前叫GoogleRefine)是一種開源工具，專門用於清理凌亂的數據。你能夠輕鬆快速地瀏覽龐大的數據集，即使數據有點非結構化。就數據軟件而言，OpenRefine很易於使用。不過，熟悉數據清理原則確定有所幫助。OpenRefine好就好在，它有一個龐大社區，擁有衆多貢獻者，這意味着這款軟件在不斷變得完善。要是遇到了難題，你能夠向社區提問。能夠查看其Github代碼庫。

DataCleaner

DataCleaner認識到數據處理是一項冗長乏味的任務。數據可視化工具只能讀取結構條理化、「乾淨」的數據集。DataCleaner能夠替你幹髒活，將凌亂的半結構化數據集轉換成乾淨的、可讀取的數據集，那樣全部可視化公司都能讀取。

爲了幫助你們讓學習變得輕鬆、高效，給你們免費分享一大批資料，幫助你們在成爲大數據工程師，乃至架構師的路上披荊斬棘。在這裏給你們推薦一個大數據學習交流圈：658558542 歡迎你們進羣交流討論，學習交流，共同進步。

當真正開始學習的時候不免不知道從哪入手，致使效率低下影響繼續學習的信心。

但最重要的是不知道哪些技術須要重點掌握，學習時頻繁踩坑，最終浪費大量時間，因此有有效資源仍是頗有必要的。

最後祝福全部遇到瓶疾且不知道怎麼辦的大數據程序員們，祝福你們在日後的工做與面試中一切順利。