zookeeper集羣搭建+hadoop集羣部署

   很久沒寫技術博客了，由於以前一直在開發跟公司內部業務相關的接口以及項目，感受大可能是跟公司具體業務相關的東西，所以不方便在此公開記錄下來。今天抓住休息的時間想在工做之餘給本身補充一點大數據的知識(工做上暫時用不到)在本身電腦上安裝了6臺虛擬linux系統，而後在這個6臺機器上分別部署了zookeeper集羣以及hadoop-2.2.0集羣，部署zookeeper集羣相對來講簡單一點，由於網上的資料比較多，而因爲本身的虛擬機是64位的，所以在部署hadoop的時候須要從新編譯一遍，在這個過程當中遇到的問題還蠻多的，不過幸虧都解決了。

1：首先，在VM上安裝6臺64位的虛擬機主要是遇到了安裝包的問題以及環境部署的問題。

   如下是本身安裝使用的ISO文件下載地址：

   http://mirrors.sohu.com/centos/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso

   其實我是以前就把這個頁面的全部安裝包都下載下來的，一個個試着去安裝，而後最終選定了無桌面版的，能夠再安裝的時候選擇設置，這個過程就是有點耗時間。接下來我分別在每一個主機上部署了jdk，maven，git，mysql，openssh-clients,還有把相關的項目部署上去，之歌過程也有點耗時間，接下來我想嘗試寫個ssh腳本自動化安裝測試一下。

   配置環境變量以後，就開始搭建zookeeper集羣了，這個集羣主要是配合阿里的開源項目dubbo(git下載：https://github.com/alibaba/dubbo)使用，我是使用5臺虛擬機器部署zookeeper集羣做爲dubbo的註冊中心，這個過程也是比較簡單的，由於關於zookeeper集羣的部署之前dubbo的部署網上資料一大把，固然因爲在部署zookeeper集羣的時候沒有采用腳本部署方式，這個過程也是比較耗時間的，接下來會嘗試腳本部署方式，部署完以後跑了dubbo的demo之前dubbo-admin查看了一下仍是OK的，固然因爲條件有限沒有繼續深刻下去。

2：hadoop的編譯，這個編譯比較繁瑣，本身也是走一步再修改一下，整理了一下，以後發現原來網上有一篇文章記載的步驟跟錯誤跟我在操做的時候沒多大的差別，大概就是如下步驟

首先須要安裝的是：

• maven:maven有版本衝突的問題，確實是這樣的，我機子上面安裝的都是最新的版本，可是都會報錯，以後我下載了3.0.5這個版本以後那個錯誤九消失了。wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz

• yum install gcc-c++

• wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz?download

     findbugs須要配置環境變量

• wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

• wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz

• yum install pkgconfig

• yum install openssl

• yum install openssl-devel

• vi hadoop-common-project/hadoop-auth/pom.xml(增長有加號的)

  </dependency>
      <dependency>
        <groupId>org.mortbay.jetty</groupId>
  +      <artifactId>jetty-util</artifactId>
  +      <scope>test</scope>
  +    </dependency>
  +    <dependency>
  +      <groupId>org.mortbay.jetty</groupId>
        <artifactId>jetty</artifactId>
        <scope>test</scope>
      </dependency>

• 最後就是執行命令：mvn package -DskipTests -Pdist,native -Dtar

  執行以上步驟後，接下來就是漫長的等待了，反正我是至少等待了30分鐘，不過還好最終編譯成功了，接下來的事情就是重複使用scp命令傳輸文件了，關於hadoop+zookeeper集羣的搭建網上也有一大堆。

 

本文出自 「陳硯羲」 博客，請務必保留此出處http://chenyanxi.blog.51cto.com/4599355/1552425