hadoop平臺搭建

前言

這是小的第一次搭建hadoop平臺，寫下這篇博客有如下幾個目的（ps：本博只記錄在linux系統下搭建hadoop的步驟，若是須要了解在其餘平臺上搭建hadoop的步驟，還請移步）：

• 1.但願大牛能夠指出小的在搭建hadoop平臺中的錯誤的打開方式
• 2.但願能夠幫助到那些須要在linux平臺上搭建hadoop的人們
• 3.記錄下搭建過程，以便之後很好的回顧

準備工做

• 1.linux中java環境的搭建（ps：java環境的搭建不是本博的重點，若是不知道搭建方法，請自行百度）
• 2.硬件需求至少4g內存

搭建環境

• 1.ubuntu 14（ps：必定要是64位的操做系統，否則安裝cloudera-manager-agant會報錯）
• 2.jdk 7

安裝Hadoop

安裝SSH

SSH的做用：

• 1.cloudera manager須要經過SSH跳轉到全部的節點上執行任務
• 2.爲未來遠程服務提供方便

安裝步驟：

• 1.更新最新的軟件列表（ps：下載最新的軟件列表）：

sudo apt-get update

• 2.安裝ssh：

sudo apt-get -y --force-yes install ssh

• 3.查看ssh是否安裝成功：

sudo service ssh status

4.安裝ntp

安裝步驟：

• 1.安裝ntp：

sudo apt-get -y --force-yes install ntp

配置無密碼sudo

緣由：在安裝CDH的過程當中，讓Cloudera Manager能夠不使用密碼直接獲取root權限

操做步驟：

• 1.建立一個新的用戶cdh：

sudo useradd -b /home -d /home/cdh -m -s /bin/bash cdh

• 2.查看用戶是否建立成功：

sudo cat /etc/passwd

• 3.設置cdh用戶的密碼（ps：以後集羣頁面安裝，提供ssh憑證時須要用到）

sudo passwd cdh

• 4.生成文件nopasswd

echo "cdh ALL=(ALL:ALL) NOPASSWD: ALL" > nopasswd

• 5.修改nopasswd文件的用戶

sudo chown root.root nopasswd

• 6.將文件放入權限配置文件夾下

sudo mv nopasswd /etc/sudoers.d/nopasswd

配置網絡

介紹：Ubuntu默認將網絡配置成以DHCP的方式獲取IP地址。集羣中每一臺都已經有固定IP地址，因此咱們須要固定一個IP地址，所以須要將IP獲取方式改成靜態獲取。

操做步驟：

• 1.修改/etc/network/interfaces文件（ps：如下指令使用到了vim，若各位看官沒有該指令，請百度自行安裝）

sudo vim /etc/network/interface

在打開的文件末尾添加如下代碼：

auto eth0
iface eth0 inet static
address x.x.x.x
netmask x.x.x.x
gateway x.x.x.x
broadcast x.x.x.x
dns-nameservers x.x.x.x 8.8.8.8

• 2.保存文件，而且重啓電腦

reboot

問題記錄：

• 1.修改成靜態獲取ip後，重啓系統，發現該主機ping局域網的其餘主機顯示dstination host unreachable，可是能夠上網。

  緣由：經過百度，發現小弟安裝的是桌面版的ubuntu，然而桌面版的ubuntu修改interface文件後，重啓系統也是不會生效的。

  解決：修改 /etc/NetworkManager/NetworkManager.conf 文檔中的managed參數，使之爲true。重啓系統，問題解決。

配置host文件

操做步驟：

• 1.打開hosts文件

sudo vim /etc/hosts

• 2.在文件最後面加入以下代碼

127.0.0.1 server.bigdata.net localhost

配置hostsname文件

操做步驟：

• 1.打開hostsname文件

sudo vim /etc/hostname

• 2.在文件末尾加入如下代碼

server.bigdata.net

配置sysctl.conf文件

操做步驟：

• 1.打開sysctl.conf文件

sudo vim /etc/sysctl.conf

• 2.在文件末尾加入如下代碼

vm.swappiness=0

安裝CDH

注意：在安裝CDH的過程當中，請保持電腦能夠訪問外網，由於在安裝的過程當中須要下載安裝包。

安裝步驟：

• 1.進入到sources.list.d文件夾下（ps：該文件夾是使用 add-apt-repository命令安裝的第三方源庫）

cd /etc/apt/sources.list.d/

• 2.下載couldera的第三方源

sudo wget http://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/cloudera.list

• 3.向apt添加cloudera源公鑰（不執行這一步,更新源可能會出現NO_PUBKEY的錯誤提示）

sudo curl -s http://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/archive.key | sudo apt-key add -

• 4.更新源

sudo apt-get update

• 5.在Cloudera Manager節點上安裝cloudera server

sudo apt-get -y --force-yes install cloudera-manager-daemons cloudera-manager-server

• 6.在Cloudera Manager節點上安裝DB

sudo apt-get -y --force-yes install cloudera-manager-server-db-2

• 7.啓動Cloudera Manager節點

sudo service cloudera-scm-server-db start

sudo service cloudera-scm-server start

經過網頁安裝cdh

• 1.使用瀏覽器訪問Cloudera Manager節點的7180端口，好比http://server.bigdata.net:7180

輸入用戶名和密碼（ps：默認都是admin），點擊登陸

• 2.選擇版本

這裏我選擇的是免費版本，點擊繼續，看到下面的界面，點擊繼續

• 3.指定集羣的主機
  

在這裏，因爲就一個節點，因此咱們在框內填寫server.bigdata.net，而且點擊搜索按鈕，出現下圖的節點信息，勾選，而後點擊繼續。

• 4.集羣CDH包的選擇
  這裏保持默認的就行了，除非你肯定還要選擇其餘的包。而後點繼續按鈕

• 5.JDK選項
  先選中安裝Oracle JDK，而後再選中安裝Java無限制強度加密,而後點繼續按鈕

• 6.啓用單用戶模式
  這一頁保持默認就行了，點繼續按鈕

• 7.提供SSH登錄憑據

這裏咱們選擇其餘用戶，密碼就是以前設置的密碼，其餘的配置保持不變，點擊繼續，安裝完成後，點擊繼續。

• 8.安裝選定的Parcel
  在這個界面耐心等待繼續按鈕變亮，注意，若是你如今作的是爲了備份安裝包而進行的單節點臨時安裝過程，那麼到這裏就能夠中止了，而後進行安裝包的備份操做。若是你是在安裝一個實際會使用的集羣，那麼請點擊繼續按鈕

• 9.檢查主機正確性
  在這個界面耐心等待主機檢查完成，要保證沒有一個錯誤。若是有任何錯誤，參考前面的配置修改，而後點「從新運行」按鈕，若是沒有任何問題了，就點完成按鈕

• 10.後續配置請參考這裏(#http://blog.csdn.net/f1321368/article/details/49635587)