Hadoop3.x入門：詳解虛擬機Ambari2.7.4安裝HDP3.1.4（一）

.虛擬機配置

    我這裏是用我本身的臺式機裝了vmware15，而後搞了三臺虛擬機，我這裏虛擬機配置完成後能夠聯網，爲方便你們學習，我基本都是按照離線安裝來說的 ，簡單的步驟不講，只說比較重要的幾個步驟：

1.三臺虛擬機信息

IP	主機名	備註
192.168.0.101	master.hadoop.ljs	master
192.168.0.102	worker1.hadoop.ljs	worker1
192.168.0.103	worker2.hadoop.ljs	worker2

    安裝用戶：root

2.vmware虛擬網絡編輯器配置,

   

    我本身本地ip信息，打開cmd命令行，執行ipconfig /all查看詳細信息，因爲我這裏臺式機裝了虛擬網卡，因此這裏看的是虛擬網卡對應的IP地址信息，你的可能跟我不同，裏面的網段跟上面vmware虛擬網絡編輯器中網段配置要一致：

    虛擬機網絡配置，如圖所示：

3.配置靜態IP和DNS(三臺機器都作)

    每一個機器配置一個靜態IP地址，我這裏直接截個圖，我建議安裝虛擬機的時候，若是宿主機資源充足，最好安裝一個帶有linux桌面的系統，別最小化安裝，會缺乏不少的rpm包，master節點的靜態IP配置以下：

master network-scripts]# pwd/etc/sysconfig/network-scripts[root@master network-scripts]# vi ifcfg-eno100

OOTPROTO=noneDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noNAME=eno101  //這裏跟你的文件名字保持一致UUID=e896a2cb-d291-4a20-8028-c00a247df533DEVICE=eno16777736  ONBOOT=yesDNS1=192.168.1.1    //DNS必需要有 通常一個就能夠了DNS2=192.168.0.1DNS3=10.0.131.28DNS4=10.0.200.25IPADDR=192.168.0.101    //跟你的宿主機在一個網段中PREFIX=24GATEWAY=192.168.0.1IPV6_PEERDNS=yesIPV6_PEERROUTES=yesIPV6_PRIVACY=no

        重啓網絡：   

systemctl  restart network.servicesystemctl  status  network.service
//可能有些機器還須要執行,個人機器沒有執行 systemctl restart NetworkManager systemctl status NetworkManager

4.修改主機名（三臺機器都作）

[root@master network-scripts]# cat  /etc/sysconfig/network# Created by anacondaNETWORKING=yesHOSTNAME=master.hadoop.ljs

    /etc/hosts配置：

192.168.0.101  master.hadoop.ljs   master192.168.0.102  worker1.hadoop.ljs  worker1192.168.0.103  worker2.hadoop.ljs  worker2

 

若是修改主機名字不生效，可執行下面命令修改：

hostnamectl set-hostname master.hadoop.ljs

也可參考這裏連接進行配置，寫的比較詳細：

       https://blog.csdn.net/ntuxiaolei/article/details/81130866

2、環境初始化(三臺機器都作)

    虛擬機比較簡單，主要幾個步驟就是安裝jdk、ssh免密登、關閉防火牆、關閉透明大頁、配置limit打開最大文件數、關閉selinux等；

    

1.我這裏下載的jdk1.8而後解壓到了/opt下，這裏主要安裝JCE，由於某些國家的進口管制限制，JDK默認的加解密有必定的限制。好比默認不容許 256 位密鑰的 AES 加解密，解決方法就下載官方JCE無限制強度加密策略文件，覆蓋便可：

在/etc/profile最後添加JAVA_HOME:export JAVA_HOME=/opt/jdk1.8.0_112export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

    下載jce的兩個jar包，資源已放在個人粉絲羣裏面，ocal_policy.jar、US_export_policy.jar，而後覆蓋掉jre自帶的jar就能夠了，jre自帶jar路徑，如圖所示：

2.ssh免密碼登陸，請參考個人文章,寫的比較詳細：

        連接：ssh免密碼登陸步驟

3.關閉防火牆，執行命令：

//關閉防火牆sytemctl stop  firewalld.service//關閉開機自啓sytemctl disable firewalld.service

4.關閉Selinux：

vi /etc/selinux/config修改：  SELINUX=disabled

5.修改limits.conf文件，將root用戶能打開的最大文件數改成65535

[root@master security]# vi /etc/security/limits.confroot  soft nofile  65535root  hard nofile  65535root  soft nproc  65535root  hard nproc  65535

    

6.yum源搭建，這裏只在master節點操做：

//安裝httpd服務，yum是依賴httpd服務的，默認端口80 yum install httpd //啓動httpd服務，而後你能夠訪問http://master:80 界面就有東西 //若是界面沒東西，那就是你配置錯誤，你能夠看/var/log/httpd下的日誌便可systemctl start httpd.service//配置開機自啓 systemctl enable httpd.service

    將全部的安裝介質都放到/var/www/html中(httpd默認的目錄)

[root@master httpd]# cd /var/www/html/[root@master html]# ll總用量 8drwxr-xr-x.  7 root root  4096 3月  13 16:04 ambari-2.7.4drwxr-xr-x. 33 1001 users 4096 3月  13 16:04 HDP-3.1.4drwxr-xr-x.  6 1001 users   88 3月  13 16:04 HDP-UTILS-3.1.4

        配置repo文件，機器若是要訪問yum，就須要配置：

[root@master html]# cd /etc/yum.repos.d/[root@master yum.repos.d]# ll總用量 16-rw-r--r--. 1 root root  102 3月  13 16:07 ambari.repo-rw-r--r--. 1 root root 1664 3月  13 13:36 CentOS-Base.repo-rw-r--r--. 1 root root  216 3月  13 16:07 hdp314.repo

    查看ambari.repo、hdp314.repo內容，

        進入目錄cd /etc/yum.repos.d/：

[root@master yum.repos.d]# cat ambari.repo [ambari-2.7.4]name=ambari-2.7.4baseurl=http://master.hadoop.ljs/ambari-2.7.4/gpgcheck=0enabled=1

[root@master yum.repos.d]# cat hdp314.repo [HDP-3.1.4]name=HDP-3.1.4baseurl=http://master.hadoop.ljs/HDP-3.1.4path=/enabled=1gpgcheck=0
[HDP-UTILS-3.1.4]name=HDP-UTILS-3.1.4baseurl=http://master.hadoop.ljs/HDP-UTILS-3.1.4path=/enabled=1gpgcheck=0

3、Mysql安裝（其中一臺安裝便可）

1.首先清除CentOS7系統中默認的數據庫mariadb，不然不能安裝mysql

rpm -qa |grep mariadb |xargs yum remove -y

2.下載MySql的相關rpm包;下載mysql5.6，系統選擇redhat,版本選擇RHEL7，下載RPM Bundle後獲得一個tar文件。這裏獲得文件MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar，接下來解出文件

tar -xf MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar

yum localinstall -y install MySQL-{server,client}-*

3.安裝完成後會生成隨機密碼到cat /root/.mysql_secret，可直接啓動mysql服務

service mysql start

4.接下來便可經過命令行登陸了，咱們須要修改密碼

mysql -uroot -p

5.登錄後使用以下命令便可修改root密碼

SET PASSWORD FOR 'root'@'localhost' = PASSWORD('bigdata');

6.遠程登陸受權，我這裏爲了方便授予全部權限，你根據本身狀況受權：

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> flush privileges;

7.這裏爲了後面hive、ranger、ambari使用mysql做爲元數據庫，這裏提早新建了四個數據庫ambari、hive、ranger：

4、ambari-server安裝配置

1.安裝ambari-server

yum install ambari-server

2.配置ambari-server信息，詳細配置如圖所示：

  上面配置中須要你在ambari元數據庫中執行/var/lib/ambari-server/resources目錄下的文件Ambari-DDL-MySQL-CREATE.sql進行ambari的初始化，我這裏直接經過客戶端執行的：

 

3.ambari-server啓動

ambari-server start

    若是啓動報錯，可查看ambari-server的日誌，默認路徑是/var/log/ambari-server/,通常報錯信息在ambari-server.log、ambari-server.out兩個文件中。