Hadoop 部署之環境準備(一)

[TOC]

1、軟硬件規劃

ID	主機類型	主機名	IP	應用軟件	操做系統	硬件配置
1	物理機	namenode01	192.168.1.200	jdk1.8.0_17一、hadoop-2.7.三、hive-2.3.三、hbase-1.2.六、zookeeper-3.4.十、spark-2.3.1	CentOS7.4	6核CPU、8G內存、250存儲
2	物理機	datanode01	192.168.1.201	jdk1.8.0_17一、hadoop-2.7.三、hive-2.3.三、hbase-1.2.六、zookeeper-3.4.十、spark-2.3.1	CentOS7.4	6核CPU、8G內存、250存儲
3	物理機	datanode02	192.168.1.202	jdk1.8.0_17一、hadoop-2.7.三、hive-2.3.三、hbase-1.2.六、zookeeper-3.4.十、spark-2.3.1	CentOS7.4	6核CPU、8G內存、250存儲
4	物理機	datanode03	192.168.1.203	jdk1.8.0_17一、hadoop-2.7.三、hive-2.3.三、hbase-1.2.六、zookeeper-3.4.十、spark-2.3.1	CentOS7.4	6核CPU、8G內存、250存儲

我這裏規劃的角色不是太好，若是是四臺機器，建議你們按照咱們下面的分配

• ZooKeeper ZooKeeper Server：namenode01
• HDFS NameNode：namenode01 SecondaryNameNode：namenode01 DataNode：datanode[01-03]
• YARN ResourceManager：namenode01 NodeManager：datanode[01-03]
• HBase Master：namenode01 RegionServer：datanode[01-03]
• Hive HiveServer2：namenode01 Hive Metastore Server：namenode01
• Spark Master：namenode01 Worker：datanode[01-03]

2、主機名解析

修改四臺服務器的主機名。

192.168.1.200 namenode01 hbase01 spark01 hive01 cluster1
192.168.1.201 datanode01 hbase02 spark02 zk01 mysql01
192.168.1.202 datanode02 hbase03 spark03 zk02
192.168.1.203 datanode03 hbase04 spark04 zk03

3、配置 SSH 互信

在namenode01節點上面進行操做。

ssh-keygen -t rsa
ssh-copy-id namenode01
ssh-copy-id datanode01
ssh-copy-id datanode02
ssh-copy-id datanode03

4、建立用戶

建立用戶（4臺機器相同操做）

useradd hadoop && echo '123456' |passwd --stdin hadoop

使用命令visudo設置用戶權限（4臺機器相同操做），添加以下內容：

hadoop    ALL=(ALL)       ALL

5、JDK 的安裝

下載JDK1.8，能夠選擇下載rpm包，直接安裝便可使用。 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html