【Hadoop大數據分析與挖掘實戰】（一）----------P19~22

　　這是一本書的名字，叫作【Hadoop大數據分析與挖掘實戰】，我從2017.1開始學習

　　軟件版本爲Centos6.4 64bit，VMware，Hadoop2.6.0，JDK1.7.

　　可是這本書的出版時間爲2016.1，待到我2017.1使用時，一部份內容已經發生了翻天覆地的變化。

　　因而我開始寫這麼一個博客，把這些記錄下來。

　　我使用的軟件版本爲：

軟件	版本
操做系統	CentOS 7 64bit-1611
虛擬機	VMware 12.5.2
Hadoop	2.7.3
JDK	1.8.0

 　　本人大二學生，只是想記錄一下，謝絕轉載，謝謝。

         順便留個聯繫方式吧——qq690855226

=============================================

2.2安裝與配置

1.配置VMware網絡

　　我使用了橋接模式（複製物理網絡鏈接狀態），和真實機使用了相同的網關，沒有按照書中的進行查詢。

2.準備機器

　　經過VMware新建一臺CentOS 7虛擬機，使用root用戶登陸，添加一個新用戶hadoop。設置hadoop用戶的密碼並授予hadoop用戶sudo權限。

[root@localhost ~]$ useradd hadoop
[root@localhost ~]$ passwd hadoop
[root@localhost ~]$ chmod u + w /etc/sudoers
[root@localhost ~]$ vim /etc/sudoers
#在root ALL=(ALL) ALL下添加hadoop ALL=(ALL) ALL
[root@localhost ~]$ chomd u - w /etc/sudoers

　　其中chmod的用法和vim編輯器的用法能夠自行百度。

3.設置靜態IP

　　VMware默認使用動態IP，可是因爲Hadoop集羣是使用機器名進行定位的，在/etc/hosts中配置了機器名和IP的映射，若是IP不斷變化，則須要不斷修改配置文件，因此這裏須要把IP設置爲靜態，方便後面的操做。

　　1）修改/etc/sysconfig/network-scripts/ifcfg-******。

　　每一個人須要修改的文件名不一樣，書中修改的文件爲ifcfg-eth0，其中eth0是其網卡名。在個人虛擬機中修改的是ifcfg-ens33。能夠自行使用ifconfig命令進行查看。

[root@localhost ~]$ vim /etc/sysconfig/network-scripts/ifcfg-ens33
#須要修改的內容以下（若是沒有這一項就本身添加上）：
DEVICE=ens33 #名稱填本身網卡名稱
BOOTPROTO=static #靜態IP
ONBOOT=yes #設置開機自動啓動
IPADDR=192.168.0.131 #IP地址
GATEWAY=192.168.0.1 #網關
DNS1=192.168.0.1 #DNS服務器
HWADDR=00:0C:29:B7:73:4F #MAC地址①注
NETMASK=255.255.255.0 #這麼填就對了
TYPE=Ethernet #這一塊我也不懂
IPV6INIT=no #禁用IPV6

　　注①：mac地址查看方法：虛擬機——設置——網絡適配器——高級——MAC地址

　　2）修改/etc/sysconfig/network。設置主機名稱和啓動NETWORK與否。

[root@localhost ~]$ vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=localhost.localdomain
GATEWAY=192.168.0.1

　　3）修改DNS信息。

　　書中手工設置 /etc/resolv.conf 裏的DNS，使用source（！）時會對nameserver和search報錯，找不到命令。因而我找到了一篇博客文章：《CentOS 7 下，如何設置DNS服務器》

　　如下爲文中內容：

　　在CentOS 7下，手工設置 /etc/resolv.conf 裏的DNS，過了一會，發現被系統從新覆蓋或者清除了。和CentOS 6下的設置DNS方法不一樣，有幾種方式：

　　 ①使用全新的命令行工具 nmcli 來設置

#顯示當前網絡鏈接
#nmcli connection show
NAME　　 UUID                                  TYPE            DEVICE
ens33   76d23444-4b71-498b-9a0b-fd2d2d9de735  802-3-ethernet  ens33  
virbr0  a1015131-ba11-4ecc-81a3-9c9e27eaba32  bridge          virbr0 

#修改當前網絡鏈接對應的DNS服務器，這裏的網絡鏈接能夠用名稱或者UUID來標識
#nmcli con mod ens33 ipv4.dns "192.168.0.1"

#將dns配置生效
#nmcli con up ens33

　　②使用傳統方法，手工修改 /etc/resolv.conf

• 修改 /etc/NetworkManager/NetworkManager.conf 文件，在main部分添加 「dns=none」 選項：

[main]
plugins=ifcfg-rh
dns=none

• NetworkManager從新裝載上面修改的配置

# systemctl restart NetworkManager.service

• 手工修改 /etc/resolv.conf

nameserver 192.168.0.1

　　詳細參見：

# man NetworkManager.conf
# man nmcli

　　4）關閉防火牆並修改其啓動策略爲不開機啓動。

　　CentOS 6中使用service iptables stop 及 chkconfig iptables off進行設置。

　　CentOS 7中使用systemctl工具管理這些服務。

　　可使用systemctl list-unit-files | grep enabled查看服務中enabled項，能夠看到firewalld.service已啓用。

#禁用防火牆
[root@localhost ~]$ systemctl stop firewalld.service
#禁止開機啓動防火牆，如需啓用，把disable改爲enable
[root@localhost ~]$ systemctl disable firewalld.service
#顯示一個服務狀態
[root@localhost ~]$ systemctl status firewalld.service

4.安裝JDK

　　1）使用yum search jdk在線查找jdk列表，任意選擇一個版本，我選擇了最新版，即1.8.0。

[root@localhost ~]$ yum search jdk
[root@localhost ~]$ yum install java-1.8.0-openjdk-devel.x86_64 -y

　　2）配置Java環境變量。

　　其中還配置了maven的環境變量，可是maven沒有安裝過，不知道是爲何。我找了一下，maven的下載地址是：http://mirrors.hust.edu.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz ，下載完成後直接解壓便可使用，我解壓到了/home/hadoop/opt中，因此下文中配置環境變量添加了一條/home/hadoop/opt/apache-maven-3.3.9/bin

[root@localhost ~]$ whereis java
[root@localhost ~]$ ll /usr/bin/java
[root@localhost ~]$ ll /etc/alternatives/java #這時能夠看到JDK路徑了
#修改配置文件
[root@localhost ~]$ vim /etc/profile
#在末尾追加
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.111-2.b15.el7_3.x86_64
export MAVEN_HOME=/home/hadoop/opt/apache-maven-3.3.9
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH
export CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#保存配置後使用source命令使配置當即生效
[root@localhost ~]$ source /etc/profile

　　3）使用java -version命令查看環境變量配置是否成功。

[root@localhost ~]# java -version
openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

　　至此，完成JDK的安裝和配置，接下來使用VMware克隆兩臺機器，並分別設置靜態IP地址爲192.168.0.132，192.168.0.133。（建立鏈接克隆）

　　書中提示：克隆完成，啓動機器後，會出現沒有網絡設備信息，沒法鏈接網絡的狀況。

　　可是我在實際使用中沒有發現這種狀況。

　　能夠查看下載Hadoop大數據分析與挖掘實戰這本書去看。我就不寫上來了。