docker搭建hadoop集羣企業級詳細步驟

時間 2019-12-05

標籤 docker 搭建 hadoop 集羣企業詳細步驟欄目 Docker 简体版

原文原文鏈接

1、主機規劃

3臺主機：1個master、2個slaver/worker ip地址使用docker默認的分配地址：java

master： 主機名： hadoop二、ip地址： 172.17.0.2node

slaver1： 主機名： hadoop三、ip地址： 172.17.0.3 主機名： hadoop四、ip地址： 172.17.0.4linux

2、軟件安裝

一、在docker中安裝centos鏡像，並啓動centos容器，安裝ssh。–詳見」docker上安裝centos鏡像」一文。二、經過ssh鏈接到centos容器，安裝jdk1.八、hadoop3.0 能夠按照傳統linux安裝軟件的方法，經過將jdk和hadoop的tar包上傳到主機進行安裝。web

獲取centos7鏡像docker

$ docker pull centos

大概是70多M，使用阿里雲等Docker加速器的話很快就能下載完，以後在鏡像列表中就能夠看到查看鏡像列表的命令：apache

$ docker images

安裝SSHcentos

以centos7鏡像爲基礎，構建一個帶有SSH功能的centosbash

cd ~ 
mkdir dockerfile
cd dockerfile
vi dockerfile-ssh

dockerfile-ssh內容：app

FROM centos
MAINTAINER ljh@hdd520.cn

RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum  install -y openssh-clients

RUN echo "root:admin" | chpasswd
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

這段內容的大意是：以 centos 鏡像爲基礎，安裝SSH的相關包，設置了root用戶的密碼爲 admin，並啓動SSH服務執行構建鏡像的命令，新鏡像命名爲 centos7-sshssh

docker build -t="centos7-ssh" . -f /root/dockerfile/docker-ssh

注意中間有個點號，表示構建後的名字爲：centos7-ssh ,在當前上下文路徑下，文件爲docker-ssh，（默認名字是Dockerfile）

執行完成後，能夠在鏡像列表中看到

$ docker images

構建Hadoop鏡像

上面是運行了3個centos容器，須要在每一個容器中單獨安裝Hadoop環境，咱們能夠像構建SSH鏡像同樣，構建一個Hadoop鏡像，而後運行3個Hadoop容器，這樣就更簡單了

$ vi dockerfile-hadoop

內容：

FROM centos7-ssh
ADD jdk-8u144-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1.8.0_144 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH

ADD hadoop-2.7.7.tar.gz /usr/local
RUN mv /usr/local/hadoop-2.7.7 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

RUN yum install -y which sudo

這裏是基於 centos7-ssh 這個鏡像，把 JAVA 和 Hadoop 的環境都配置好了前提：在dockerfile-hadoop所在目錄下準備好 jdk-8u144-linux-x64.tar.gz 與 hadoop-2.7.7.tar.gz 執行構建命令，新鏡像命名爲 hadoop

docker build -t="hadoop" . -f /root/dockerfile/dockerfile-hadoop

注意中間有個點號，表示構建後的名字爲：hadoop ,在當前上下文路徑下，文件爲dockerfile-hadoop，（默認名字是Dockerfile）

在/etc/hosts文件中添加3臺主機的主機名和ip地址對應信息

172.17.0.2      hadoop2
172.17.0.3      hadoop3
172.17.0.4      hadoop4

在docker中直接修改/etc/hosts文件，在重啓容器後會被重置、覆蓋。所以須要經過容器啓動腳本docker run的–add-host參數將主機和ip地址的對應關係傳入，容器在啓動後會寫入hosts文件中。如：

docker run --name hadoop2--add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 hadoop

docker exec -it hadoop2 bash

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

hadoop部署

1.在workers文件中定義工做節點在hadoop根目錄下的etc/hadoop目錄下新建workers文件，並添加工做節點主機信息。按照步驟一中的主機規劃，工做節點主機爲hadoop3和hadoop4兩臺主機。如：

cd /usr/local/hadoop/etc/hadoop/
vi workers 
內容：hadoop3
     hadoop4
查看
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/workers
hadoop3
hadoop4

二、修改配置文件信息

a、在hadoop-env.sh中，添加JAVA_HOME信息

cd /usr/local/hadoop/etc/hadoop 
vi hadoop-env.sh 
內容：export JAVA_HOME=/usr/local/jdk1.8
查看
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/hadoop-env.sh |grep JAVA_HOME
#  JAVA_HOME=/usr/java/testing hdfs dfs -ls
# Technically, the only required environment variable is JAVA_HOME.
# export JAVA_HOME=
export JAVA_HOME=/usr/local/jdk1.8

b、vi core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop2:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>

c、vi hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop2:9001</value>
<description># 經過web界面來查看HDFS狀態 </description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description># 每一個Block有2個備份</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>

d、vi yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop2:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop2:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop2:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop2:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop2:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>

e、vi mapred-site.xml

 cp mapred-site.xml.template ./mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>
</configuration>

f、爲防止進坑提早作好準備

vi start-dfs.sh vi stop-dfs.sh

HDFS_DATANODE_USER=root
#HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs

vi start-yarn.sh vi stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

注意： 以上步驟完成之後中止當前容器，並使用docker命令保持到一個新的鏡像。使用新的鏡像從新啓動集羣，這樣集羣每臺機器都有相同的帳戶、配置和軟件，無需再從新配置。如：

a、中止容器

docker stop hadoop2

b、保存鏡像

docker commit hadoop2 hadoop_me:v1.0

測試一、端口映射集羣啓動後，須要經過web界面觀察集羣的運行狀況，所以須要將容器的端口映射到宿主主機的端口上，能夠經過docker run命令的-p選項完成。好比：將yarn任務調度端口映射到宿主主機8088端口上：

docker run -it -p 8088:8088 hadoop_me:v1.0

二、重新鏡像啓動3個容器

hadoop 3.x web訪問的端口是9870和8088
docker run --name hadoop2 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5002:22 -p 9870:9870 -p 8088:8088 -p 19888:19888 hadoop_me:v1.0
hadoop 2.x web訪問的端口是50070和8080
docker run --name hadoop2 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5002:22 -p 50070:50070 -p 8088:8088 -p 19888:19888 hadoop_me:v1.0

docker run --name hadoop3 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5003:22 hadoop_me:v1.0 

docker run --name hadoop4 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5004:22 hadoop_me:v1.0

3.格式化進入到/usr/local/hadoop目錄下執行格式化命令

docker exec -it hadoop2 bash
cd /usr/local/hadoop
bin/hdfs namenode -format

修改hadoop2中hadoop的一個配置文件etc/hadoop/slaves 刪除原來的全部內容，修改成以下

vi etc/hadoop/slaves
內容：
hadoop3
hadoop4

在hadoop2中執行命令

scp  -rq /usr/local/hadoop   hadoop3:/usr/local
 scp  -rq /usr/local/hadoop   hadoop4:/usr/local

4.在master啓動集羣

cd /usr/local/hadoop

sbin/start-dfs.sh

sbin/start-yarn.sh

5.經過web頁面訪問

http://192.168.15.90:8088

DOCKER 給運行中的容器添加映射端口
方法1
一、得到容器IP

將container_name 換成實際環境中的容器名

docker inspect `container_name` | grep IPAddress
1
二、 iptable轉發端口

將容器的50070端口映射到docker主機的50070端口

iptables -t nat -A DOCKER -p tcp --dport 50070-j DNAT --to-destination 172.17.0.19:50070

iptables -t nat -A DOCKER -p tcp --dport 9000 -j DNAT --to-destination 172.17.0.2:9000 iptables -t nat -A DOCKER -p tcp --dport 9001 -j DNAT --to-destination 172.17.0.2:9001