hadoop快速入門之DKH安裝準備

前幾天去參加了一個線下的聚會,參加聚會的基本都是從事互聯網工做的。會上有人提到了區塊鏈,從而引起了一場關於大數據方面的探討。我也是從去年才正式接觸大數據,一直在學習hadoop。相信接觸過hadoop的人都知道,。單獨搭建hadoop裏每一個組建都須要運行環境、修改配置文件、測試等過程,每一個組件幾乎都有坑,尤爲是讓新手甚是苦惱。此前有在微博上與一些博友瞭解過他們的配置過程,有的配置了好幾天愣是沒成功。服務器

Hadoop運行環境配置的坑只有走過的人才懂,不過三月份的時候發現了一個比較有意思的國產hadoop發行版——大快開源的發行版DKHadoop。DKHadoop將開源社區裏多種經常使用組建包括:HDFS,Hbase,Storm,Flume,Kafka,Mahout,ES等都集成到了這一個平臺裏,因此整個運行環境的配置安裝就大大被簡化了。網絡

hadoop快速入門

我把此前安裝的過程整理了一下分享給感興趣的朋友,主要分爲:準備階段、服務器操做系統配置、DKH系統安裝、常見問題解決方法四個部門。因爲文章偏於較長,本篇重點爲你們分享第一部分——準備階段。併發

第一部分:準備工做工具

  1. 大數據平臺所需配置:

(1) 系統:CentOS 6.5 64位(需默認安裝Desktop)oop

(2) CPU :intel E3及以上。學習

(3) 內存:建議最小8G,用圖計算建議32G,推薦128G。區塊鏈

(4) 硬盤:256G以上,推薦使用固態硬盤。測試

(5) 系統分區要求: 如無特殊需求,除swap分區外,可將剩餘空間所有分配 到/ (根) 分區大數據

(6) 網絡要求:如無特殊狀況,儘可能能夠接入外網。操作系統

(7) 至少三臺服務器(三臺服務器名字任意起,密碼須一致)。

(8)安裝使用root用戶做爲默認用戶

  1. 遠程上傳和遠程鏈接工具:
  1. 若直接使用我的PC開啓的虛擬機做爲服務器的基礎,直接拷貝到虛擬機下便可。
  2. 如果使用機房服務器做平臺搭建的服務器,如若不能直接接觸到服務器,則須要使用遠程工具鏈接併發送安裝包。

第一部分的主要是安裝前的準備工做,除了作好上述這些,還須要去下載一下安裝版本。我是直接搜索找到了大快的官網下載的一個三節點的發行版。須要的朋友也能夠搜索主要一下,若是沒有找到能夠留言給我。

相關文章
相關標籤/搜索