【1】搭建HA高可用hadoop-2.3（規劃+環境準備）

【1】搭建HA高可用hadoop-2.3（規劃+環境準備）

【2】搭建HA高可用hadoop-2.3（安裝zookeeper）

       【3】搭建HA高可用hadoop-2.3（部署配置hadoop--cdh5.1.0）

【4】搭建HA高可用hadoop-2.3（部署配置HBase）

搭建HA高可用hadoop-2.3

前言：

    做爲安裝Hadoop的第一步，就是根據實際狀況選擇合適的Hadoop版本，此次我所用的CDH5.1.0，基於Hadoop2.3版本。那麼什麼是CDH呢，下面科普一下。

    Cloudera是一家提供Hadoop支持、諮詢和管理工具的公司，在Hadoop生態圈有着舉足輕重的地位，它的拳頭產品就是著名的Cloudera's Distribution for Hadoop，簡稱CDH。該軟件同咱們熟知的Apache Hadoop同樣，都是徹底開源，基於Apache軟件許可證，免費爲我的和商業使用。Coudera從一個穩定的Apache Hadoop版本開始，接二連三的發佈新版本併爲舊版本打上補丁，爲各類不一樣的生產環境提供安裝文件，在Cloudera的團隊中有許多Apache Hadoop的代碼貢獻者，因此Cloudera的公司實力毋庸置疑。

    通常用戶安裝Hadoop時，不單單隻安裝HDFS、MapReduce，還會根據須要安裝Hive、HBase、Spark等。Cloudera將這些相關的項目都集成在一個CDH版本里面，目前CDH包括Hadoop、HBase、Hive、Pig、Sqood、Zooksspe、Spark、Flume、Oozie、Mahout等等，幾乎覆蓋了Hadoop生態圈，這樣作的好處是保證了組件之間的兼容性，由於各個項目之間也存在徹底獨立的版本，其各個版本與Hadoop之間必然會存在兼容性的問題，若是選擇CDH，那麼同一個CDH版本內的各個組建將徹底不存在兼容性問題。因此初學者使用CDH來搭建Hadoop是一個很好的選擇。

規劃：

機器：5臺   OS：centos6.5 

機器規劃

主機名	IP	HDFS	Yarn	HBase
master1	10.64.8.1	Namenode1	ResourceManager	HMaster
master1	10.64.8.2	Namenode2
slave1	10.64.8.3	Datanode1	NodeManager	HRegionServer
slave2	10.64.8.4	Datanode2	NodeManager	HRegionServer
slave3	10.64.8.5	Datanode3	NodeManager	HRegionServer

準備工做：

（1）關閉selinux和防火牆

• master一、master二、slave一、slave二、slave3

#setenforce 0&& service iptables stop &&chkconfig iptables off

（2）修改主機名

• master1
  

#hostname master1 && echo master1 >/etc/hostname

• master2
  

#hostname master1 && echo master1 >/etc/hostname

• slave1
  

#hostname slave1 && echo slave1 >/etc/hostname

• slave2
  

#hostname slave2 && echo slave2 >/etc/hostname

• slave3
  

#hostname slave3 && echo slave3 >/etc/hostname

• master一、master二、slave一、slave二、slave3
  

#cat >> /etc/hosts << EOF
10.64.8.1 master1
10.64.8.2 master2
10.64.8.3 slave1
10.64.8.4 slave2
10.64.8.5 slave3
EOF

（3）主從節點ssh互信

生產中使用hadoop用戶來運行，root用戶會有風險，初學者可使用root用戶，避免權限問題的困擾。

• master一、master2

#ssh-keygen -t rsa
#ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1
#ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave2
#ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave3

（4）安裝jdk

• master一、master二、slave一、slave二、slave3

#rpm -e --nodeps java-1.6.0-openjdk   ---刪除openjdk
#yum install jdk1.8.0_60.x86_64

（5）格式化硬盤

• master一、master二、slave一、slave二、slave3

#mkfs.ext4 /dev/sdb
#mkdir /data
#mount /dev/sdb /data
#echo "mount /dev/sdb /data" >>/etc/rc.local

（6）系統參數調優

• master一、master二、slave一、slave二、slave3

cat >>/etc/sysctl.conf <<EOF
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200 
net.ipv4.tcp_syncookies = 1 
net.ipv4.tcp_tw_reuse = 1 
net.ipv4.tcp_tw_recycle = 1 
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_max_syn_baklog = 8192
net.ipv4.tcp_max_tw_bukets = 5000
EOF

cat >> /etc/security/limits.conf <<EOF
*             soft    nofile          65535*             hard    nofile          65535
EOF

重啓

（7）下載須要的安裝包

#cd /opt
#wget hadoop-2.3.0-cdh5.1.0.tar.gz

附CDH5.1.0下載連接

hadoop-2.3.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.3.0-cdh5.1.0.tar.gz

zookeeper-3.4.5-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.1.0.tar.gz

hive-0.12.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/hive-0.12.0-cdh5.1.0.tar.gz

hbase-solr-1.5-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/hbase-solr-1.5-cdh5.1.0.tar.gz

hbase-0.98.1-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/hbase-0.98.1-cdh5.1.0.tar.gz

spark-1.0.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/spark-1.0.0-cdh5.1.0.tar.gz

flume-ng-1.5.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.1.0.tar.gz

solr-4.4.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/solr-4.4.0-cdh5.1.0.tar.gz

mahout-0.9-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/mahout-0.9-cdh5.1.0.tar.gz

hue-3.6.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/hue-3.6.0-cdh5.1.0.tar.gz

oozie-4.0.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.1.0.tar.gz

whirr-0.9.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/whirr-0.9.0-cdh5.1.0.tar.gz

pig-0.12.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/pig-0.12.0-cdh5.1.0.tar.gz

search-1.0.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/search-1.0.0-cdh5.1.0.tar.gz

parquet-1.2.5-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/parquet-1.2.5-cdh5.1.0.tar.gz

parquet-format-1.0.0-cdh5.1.0.tar.gz

http://archive.cloudera.com/cdh5/cdh/5/parquet-format-1.0.0-cdh5.1.0.tar.gz

【1】搭建HA高可用hadoop-2.3（規劃+環境準備）

【2】搭建HA高可用hadoop-2.3（安裝zookeeper）

       【3】搭建HA高可用hadoop-2.3（部署配置hadoop--cdh5.1.0）

【4】搭建HA高可用hadoop-2.3（部署配置HBase）