Hadoop的HDFS和MapReduce的安裝（三臺僞分佈式集羣）

時間 2020-05-06

標籤 hadoop hdfs mapreduce 安裝三臺分佈式集羣欄目 Hadoop 简体版

原文原文鏈接

1、建立虛擬機java

　　一、從網上下載一個Centos6.X的鏡像（http://vault.centos.org/）node

　　二、安裝一臺虛擬機配置以下：cpu1個、內存1G、磁盤分配20G（看我的配置和需求，本人配置有點低因此參數有點低）linux

　　三、虛擬機安裝建議去挑戰minidesktop，分區本身建立有/boot（300）、swap（300）、/（分配所有空間）。vim

2、集羣環境配置windows

　　1.準備Linux環境centos

　　　　設置一個IP地址，先將虛擬機的網絡模式選爲NAT模式，對應vmnet1和vmnet8，保證能ping通VMNet8和網絡例：www.baidu.com 服務器

　　　　修改主機名微信

#vi /etc/sysconfig/network NETWORKING=yes HOSTNAME= hadoop01

修改IP網絡

兩種方式：app

第一種：經過Linux圖形界面進行修改

進入Linux圖形界面 -> 右鍵點擊右上方的兩個小電腦 -> 點擊Edit connections -> 選中當前網絡System eth0 -> 點擊edit按鈕 -> 選擇IPv4 -> method選擇爲manual -> 點擊add按鈕 -> 添加IP：192.168.35.100 子網掩碼：255.255.255.0 （網關：192.168.1.1） -> apply

第二種：修改配置文件方式

#vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" ONBOOT="yes" TYPE="Ethernet" IPADDR="192.168.35.100" NETMASK="255.255.255.0"

　　　　修改主機名和IP的映射關係

#vim /etc/hosts 192.168.35.100 hadoop01 192.168.35.101 hadoop02

　　　　關閉linux的防火牆

　　　　 #查看防火牆狀態 service iptables status #關閉防火牆 service iptables stop #查看防火牆開機啓動狀態 chkconfig iptables --list #關閉防火牆開機啓動 開啓防火牆 on chkconfig iptables off

　　　　關閉window的防火牆

　　　　進入到windows的控制面板-> 找到window防火牆 -> 點擊關閉windwos防火牆，所有關閉

　　開啓或關閉linux服務器的圖形界面：

 　　vi /etc/inittab

　　　　重啓Linux ： reboot

　　2.安裝JDK

　　　　上傳JDK (上傳工具 wincp ，securecrt ，vmtools)

　　　　解壓jdk

tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/local (通常在linux裏放公共的系統使用的文件)

　　　　將java添加到環境變量中

vim /etc/profile #在文件最後添加 export JAVA_HOME=/usr/local/jdk1.7.0_80 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile

　　　　Java -sersion驗證一下

3、Hadoop環境搭建（在這裏我將HDFS和YARN的配置信息放在了一塊兒）

　　一、安裝hadoop2.8.5

　　　　建立一個目錄mkdir /bigdata，先上傳hadoop的安裝包到服務器上去/bigdata，解壓hadoop工具到/bigdata文件中，tar -zxvf hadoop-2.6.4.tar.gz -C /bigdata

　　　　注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

　　　　僞分佈式須要修改5個配置文件　　

　　二、配置hadoop核心文件

 1 　　　　　　<!--第一個：hadoop-env.sh->  2  　　　　 vim hadoop-env.sh  3  　　　　#第27行  4  　　　　 export JAVA_HOME=/usr/local/jdk1.7.0_80  5  　　 　　<!--第二個：core-site.xml->  6  　　 <!-- 指定HADOOP所使用的文件系統schema（URI），HDFS的老大（NameNode）的地址 -->  7 <property>  8 <name>fs.defaultFS</name>  9 <value>hdfs://hadoop01:9000</value> 10 　　　　　　　　　<!--必須配置了hosts,要否則就是ip-? 11  　　　　 </property> 12  　　　　<!-- 指定hadoop運行時產生文件的存儲目錄 --> 13 <property> 14 <name>hadoop.tmp.dir</name> 15 <value>/bigdata/hadoop-2.6.4/data</value> 16 </property> 17 　　 　　　　 <!--第三個：hdfs-site.xml-> 18  　　　　<!-- 指定HDFS副本的數量 --> 19 <property> 20 <name>dfs.replication</name> 21 <value>1</value> 3 22 </property> 23 　　　　　　<!--第四個：mapred-site.xml 系統沒有直接提供，須要修改模板文件 mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml -> 24 　　　　　　　　<!-- 指定mr運行在yarn上 --> 25 <property> 26 <name>mapreduce.framework.name</name> 27 <value>yarn</value> 28 </property> 29 　　　　 <!-- 第五個：yarn-site.xml-> 30  　　<!-- 指定YARN的老大（ResourceManager）的地址 --> 31 <property> 32 <name>yarn.resourcemanager.hostname</name> 33 <value>hadoop01</value> 34 </property> 35 　　<!-- reducer獲取數據的方式 --> 36 <property> 37 <name>yarn.nodemanager.aux-services</name> 38 <value>mapreduce_shuffle</value> 39 </property>

　　　　將hadoop添加到環境變量

1 　vim /etc/proflie 2 export JAVA_HOME=/usr/local/jdk1.7.0_80 3 export HADOOP_HOME=/bigdata/hadoop-2.6.4 4 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

　　　　刷新配置文件