centos7搭建僞分佈式集羣

centos7搭建僞分佈式集羣

須要

　　centos7虛擬機一臺；

　　jdk-linux安裝包一個

　　hadoop-2.x安裝包1個（推薦2.7.x）

 

1、設置虛擬機網絡爲靜態IP（最好設成靜態，爲以後編程提供方便，不設置靜態ip也能夠）

一、進入網絡配置查看ip

 

二、選擇NAT模式鏈鏈接

三、點擊NAT設置，記住網關IP，後面要用到

 

 

四、進入終端，輸入命令： cd  /etc/sysconfig/network-scripts,而後 vim ./ifcfg-eth0,（有的虛擬機是文件是：ifcfg-ens33）並進行以下設置，

【IPADDR爲靜態ip地址，格式必須與網關IP的前三位同樣：192.168.13.X】 X在1-255之間

GATWAY是以前記得的網關IP.

其餘的如圖所示。

 

 

 五、重啓網絡服務：service network restart

 

 

 六、網絡測試：ping網關，ping外網。都能ping通表示網絡正常，大功告成（前提主機聯網）

成功標誌如圖：

 

 

 

2、配置ssh免密登陸（開啓集羣服務時沒必要每次都輸入密碼）

　　一、命令：ssh-keygen    一路回車。遇到overwrite(覆蓋寫入)輸入y

　　

 

 

 　　二、將生成的密鑰發送到本機地址：ssh-copy-id localhost

　　

 

 

 　　三、測試是否能夠免密登陸。出現下圖解果就OK;

　　

 

 

 3、安裝java環境（jdk）

一、卸載虛擬機自帶的dk;　

　　肯定JDK版本

　　rpm –qa | grep jdk

　　rpm –qa | grep gcj

　　

　　切換到root用戶，根據結果卸載java

　　yum -y remove java-1.8.0-openjdk-headless.x86_64

　　yum -y remove java-1.7.0-openjdk-headless.x86_64

二、測試jdk是否卸載乾淨 java -version

　　

 

 

三、安裝jdk.

　　將jdk-linux-xxx解壓到某一個文件夾（記好路徑，不要有中文）

　　

　　經過pwd命令查看當前路徑

　　

 

 

　　 

 

　　

 

 

四、配置環境變量

　　在root用戶下，將/etc/profile的權限賦給普通用戶：chown -R zck:zck /etc/profile  (zck是個人普通用戶名，否則普通用戶沒法修改環境變量)

　　

　　

　　轉到普通用戶(zck)下，修改環境變量：vim /etc/profile    （注意本身的jdk路徑）

　　

 

 

 　　

 

 

#java export  JAVA_HOME=/home/hadoop/app/jdk1.8.0_141 export JAVA_JRE=JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_JRE/lib export PATH=$PATH:$JAVA_HOME/bin

五、保存退出，並使/etc/profile文件生效：source  /etc/profile

 

 

 

 六、測試jdk環境：java -version

 

 

 4、安裝hadoop

　　一、解壓hadoop(同jdk)

　　二、配置環境變量(基本步驟與jdk同樣)。

#hadoop export HADOOP_HOME=/home/zck/software/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

 

 

 三、測試(保存以後要source /etc/profile   否則環境變量修改不生效)

 

 

 5、搭建僞分佈式

修改5個配置文件

進入文件目錄 ../hadoop/etc/hadoop

 

 

 

一、修改core-site.xml配置文件 (建議將localhost修改成你以前設置的靜態ip)

<configuration> <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value> </property> <property>         <name>hadoop.tmp.dir</name>         <value>file:/data/tmp</value> </property> <property>         <name>hadoop.proxyuser.hadoop.hosts</name>         <value>*</value> </property> <property>         <name>hadoop.proxyuser.hadoop.groups</name>         <value>*</value> </property> </configuration>

二、修改hdfs-site.xml配置文件

<configuration> <property>         <name>dfs.namenode.name.dir</name>         <value>/data/dfs/name</value>         <final>true</final> </property> <property>         <name>dfs.datanode.data.dir</name>         <value>/data/dfs/data</value>         <final>true</final> </property> <property>         <name>dfs.replication</name>         <value>1</value> </property> <property>         <name>dfs.permissions</name>         <value>false</value> </property> </configuration>

三、修改hadoop-env.sh配置文件（改爲jdk位置）

 

 

 

 

四、修改mapred-site.xml.template配置文件（先重命名爲mapred-site.xml）

<configuration> <property>         <name>mapreduce.frameword.name</name>         <value>yarn</value> </property> </configuration>

五、修改yarn-site.xml配置文件

<property>         <name>yarn.nodemanager.aux-servies</name>         <value>mapreduce_shuffle</value> </property> </configuration>

使修改生效，命令：sourec /etc/profile

 

六、格式化namenode

切回到hadoop目錄，輸入以下命令：bin/hdfs  namenode -format

 

 啓動hadoop僞分佈式集羣：sbin/start-all.sh

 

 啓動完畢輸入jps查看