hadoop hbase集羣

一：卸載redhat操做系統默認jdk
1：查找安裝默認安裝jdk
   rpm -qa | grep java
2：刪除jdk
   rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.21.b17.el6.x86_64

二：安裝jdk
1：使用root帳號安裝
2：建立目錄：/usr/java
3：下載jdk存放到/usr/java目錄：jdk-6u33-linux-x64.bin
4：給安裝文件添加執行權限：
   chmod +x jdk-6u43-linux-x64.bin
5：執行jdk安裝包
   ./jdk-6u43-linux-x64.bin
6：在/etc/profile文件中添加環境變量
export JAVA_HOME=/usr/java/jdk1.6.0_43
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin
7：配置生效，執行下面命令
source /etc/profile

8：配置內很參數
設置每一個進程能夠打開文件數目，以及同時啓動的最大進程數量。
vi /etc/security/limits.conf
hadoop soft nofile 65535
hadoop hard nofile 65535
hadoop soft nproc 32000
hadoop hard nproc  32000

echo "session required pam_limits.so" >> /etc/pam.d/common-session
9：vm.swappiness參數設置，調低內存頁交換到磁盤中的主動程度。
echo "vm.swappiness = 0" >> /etc/sysctl.conf

三：主機分配，在每個機器的的/etc/hosts文件中添加下面四行內容
192.168.205.23 inm1
192.168.205.24 inm2
192.168.205.25 inm3
192.168.205.26 inm4

四：關閉全部機器防火牆
chkconfig iptables off
service iptables stop

五：在每臺機器上建立hadoop用戶組合hadoop用戶
1：建立用戶組：groupadd hadoop
2：建立用戶：useradd -g hadoop hadoop
3：修改密碼：passwd hadoop

六：在master.hadoop機器上配置SSH
[hadoop@master  ~]$ ssh-keygen -t rsa -P ""
   Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): /home/hadoop/.ssh/id_rsa
[hadoop@master  ~]cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
[hadoop@master  ~]chmod 700 ~/.ssh/
[hadoop@master  ~]chmod 600 ~/.ssh/authorized_key
驗證
[hadoop@master  ~]ssh localhost
[hadoop@master  ~]ssh inm1
複製ssh配置到其它機器
[hadoop@master  ~]ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@inm2
[hadoop@master  ~]ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@inm3

七：zookeeper三節點集羣安裝
1：使用三臺服務器安裝zookeeper，安裝在hadoop用戶上
   192.168.205.2四、192.168.205.2五、192.168.205.26
2：使用cloudera版本zookeeper：zookeeper-3.4.5-cdh4.4.0.tar.gz
3：解壓並修改目錄名稱
   tar -zxf zookeeper-3.4.5-cdh4.4.0.tar.gz
4：配置zookeeper，在conf目錄下建立zoo.cfg文件，添加文件內容
   tickTime=2000 
   initLimit=5  
   syncLimit=2  
   dataDir=/homt/hadoop/storage/zookeeper/data
   dataLogDir=/homt/hadoop/storage/zookeeper/logs  
   clientPort=2181
   server.1=inm2:2888:3888  
   server.2=inm3:2888:3888  
   server.3=inm4:2888:3888
   maxClientCnxns=60
5：設置JVM參數，在conf/java.env文件添加以下內容
   export JVMFLAGS="-Xms1g -Xmx1g $JVMFLAGS"
6：建立zookeeper的數據文件和日誌存放目錄
   /home/hadoop/storage/zookeeper/data
   /home/hadoop/storage/zookeeper/logs
   在/home/hadoop/storage/zookeeper/data目錄中建立文件myid，添加內容爲：1
7：複製安裝的zookeeper和storage目錄到inm3和inm4機器上。
   scp -r zookeeper inm4:/home/hadoop
   scp -r storage inm4:/home/hadoop
   修改inm3機器上myid文件中值爲2
   修改inm3機器上myid文件中值爲3
8：啓動服務器
   ./bin/zkServer.sh start
9：驗證安裝
   ./bin/zkCli.sh -server inm3:2181 

八：安裝HDFS，hadoop-2.0.0-cdh4.2.0
用戶hadoop帳號進入系統
1：解壓tar -xvzf hadoop-2.0.0-cdh4.4.0.tar.gz
2：配置Hadoop環境變量：修改vi ~/.bashrc，在文件最後面加上以下配置：
export HADOOP_HOME="/home/hadoop/hadoop-2.0.0-cdh4.4.0"
export HADOOP_MAPRED_HOME="/home/hadoop/hadoop-2.0.0-mr1-cdh4.4.0"
export HBASE_HOME="/home/hadoop/hbase-0.94.6-cdh4.4.0"

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin
#防止啓動hdfs時，出現找不到native lib錯誤。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/
4：進入hadoop-2.0.0-cdh4.4.0/src目錄，構建hadoop native lib：libhadoop.so
   mvn package -Pnative -DskipTests -Dbundle.snappy=true -Dsnappy.prefix=/usr/local/lib
   再參照《hadoop2.0 lzo安裝》構建lzo native lib，把相關的native lib放入到：$HADOOP_HOME/lib/native/目錄
5：使配置生效
   source .bashrc
6：修改HADOOP_HOME/etc/hadoop目錄下mastes和slaves文件
   masters文件內容：
   inm1
   slaves文件內容：
   inm2
   inm3
   inm4
7：修改HADOOP_HOME/etc/hadoop/core-site.xml文件配置
8：修改HADOOP_HOME/etc/hadoop/hdfs-site.xml文件配置
9：同步hadoop工程到inm2,inm3,inm4機器上面
scp -r hadoop-2.0.0-cdh4.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-cdh4.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-cdh4.4.0 inm2:/home/hadoop
10：格式文件系統
hadoop namenode -format
11：啓動hdfs和yarn，啓動腳本在HADOOP_HOME/sbin目錄中
./start-dfs.sh

八：安裝mapreduce v1，hadoop-2.0.0-mr1-cdh4.4.0
1：解壓tar -xvzf ，hadoop-2.0.0-mr1-cdh4.4.0.tar.gz
2：複製$HADOOP_HOME/lib/native/ 下的文件到 HADOOP_MAPRED_HOME/lib/native/Linux-amd64-64
3：修改 HADOOP_MAPRED_HOME/conf 目錄下mastes和slaves文件
   masters文件內容：
   inm1
   slaves文件內容：
   inm2
   inm3
   inm4
4：修改 HADOOP_MAPRED_HOME/etc/hadoop/core-site.xml文件配置
5：同步hadoop-mr1工程到inm2,inm3,inm4機器上面
scp -r hadoop-2.0.0-mr1-cdh4.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-mr1-cdh4.4.0 inm2:/home/hadoop
scp -r hadoop-2.0.0-mr1-cdh4.4.0 inm2:/home/hadoop
6：啓動mapreduce，啓動腳本在HADOOP_HOME/bin目錄中
./start-mapred.sh

九：安裝hbase-0.94.6-cdh4.4.01：解壓tar -xvzf hbase-0.94.6-cdh4.4.0.tar.gz2：複製$HADOOP_HOME/lib/native/ 下的文件到 HBASE_HOME/lib/native/Linux-amd64-643：修改HBASE_HOME/conf/regionservers文件，添加運行HRegionServer進程的機器名稱。   inm2   inm3   inm44：修改HBASE_HOME/conf/hbase-site.xml文件5：同步hbase工程到inm2,inm3,inm4機器上面scp -r hbase-0.94.6-cdh4.4.0 inm2:/home/hadoopscp -r hbase-0.94.6-cdh4.4.0 inm2:/home/hadoopscp -r hbase-0.94.6-cdh4.4.0 inm2:/home/hadoop6：在inm1上啓動hbase集羣HBASE_HOME/bin/start-hbase.sh7：執行hbase shell進入hbase console。執行list命令驗證安裝。