Hadoop3.x入門:詳解虛擬機Ambari2.7.4安裝HDP3.1.4(一)

.虛擬機配置html


    我這裏是用我本身的臺式機裝了vmware15,而後搞了三臺虛擬機,我這裏虛擬機配置完成後能夠聯網,爲方便你們學習,我基本都是按照離線安裝來說的 ,簡單的步驟不講,只說比較重要的幾個步驟mysql


1.三臺虛擬機信息
linux


IP
主機名
備註
192.168.0.101
master.hadoop.ljs
master
192.168.0.102 worker1.hadoop.ljs
worker1
192.168.0.103 worker2.hadoop.ljs worker2

    安裝用戶:root
sql


2.vmware虛擬網絡編輯器配置,數據庫


圖片

圖片

   

    我本身本地ip信息,打開cmd命令行,執行ipconfig /all查看詳細信息,因爲我這裏臺式機裝了虛擬網卡,因此這裏看的是虛擬網卡對應的IP地址信息,你的可能跟我不同,裏面的網段跟上面vmware虛擬網絡編輯器中網段配置要一致:網絡

圖片

    虛擬機網絡配置,如圖所示:
ssh


3.配置靜態IP和DNS(三臺機器都作)編輯器


    每一個機器配置一個靜態IP地址,我這裏直接截個圖,我建議安裝虛擬機的時候,若是宿主機資源充足,最好安裝一個帶有linux桌面的系統,別最小化安裝,會缺乏不少的rpm包,master節點的靜態IP配置以下:
ide

master network-scripts]# pwd/etc/sysconfig/network-scripts[root@master network-scripts]# vi ifcfg-eno100
OOTPROTO=noneDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noNAME=eno101  //這裏跟你的文件名字保持一致UUID=e896a2cb-d291-4a20-8028-c00a247df533DEVICE=eno16777736  ONBOOT=yesDNS1=192.168.1.1    //DNS必需要有 通常一個就能夠了DNS2=192.168.0.1DNS3=10.0.131.28DNS4=10.0.200.25IPADDR=192.168.0.101    //跟你的宿主機在一個網段中PREFIX=24GATEWAY=192.168.0.1IPV6_PEERDNS=yesIPV6_PEERROUTES=yesIPV6_PRIVACY=no

        重啓網絡:   oop

systemctl  restart network.servicesystemctl  status  network.service
//可能有些機器還須要執行,個人機器沒有執行 systemctl restart NetworkManager systemctl status NetworkManager


4.修改主機名(三臺機器都作)


[root@master network-scripts]# cat  /etc/sysconfig/network# Created by anacondaNETWORKING=yesHOSTNAME=master.hadoop.ljs

    /etc/hosts配置:

192.168.0.101  master.hadoop.ljs   master192.168.0.102  worker1.hadoop.ljs  worker1192.168.0.103  worker2.hadoop.ljs  worker2

 

若是修改主機名字不生效,可執行下面命令修改:

hostnamectl set-hostname master.hadoop.ljs

也可參考這裏連接進行配置,寫的比較詳細:

       https://blog.csdn.net/ntuxiaolei/article/details/81130866


2、環境初始化(三臺機器都作)


    虛擬機比較簡單,主要幾個步驟就是安裝jdk、ssh免密登、關閉防火牆、關閉透明大頁、配置limit打開最大文件數、關閉selinux等;

    

1.我這裏下載的jdk1.8而後解壓到了/opt下,這裏主要安裝JCE,由於某些國家的進口管制限制,JDK默認的加解密有必定的限制。好比默認不容許 256 位密鑰的 AES 加解密,解決方法就下載官方JCE無限制強度加密策略文件,覆蓋便可:

在/etc/profile最後添加JAVA_HOME:export JAVA_HOME=/opt/jdk1.8.0_112export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

    下載jce的兩個jar包,資源已放在個人粉絲羣裏面,ocal_policy.jar、US_export_policy.jar,而後覆蓋掉jre自帶的jar就能夠了,jre自帶jar路徑,如圖所示:


2.ssh免密碼登陸,請參考個人文章,寫的比較詳細:

        連接:ssh免密碼登陸步驟


3.關閉防火牆,執行命令:


//關閉防火牆sytemctl stop  firewalld.service//關閉開機自啓sytemctl disable firewalld.service

4.關閉Selinux:

vi /etc/selinux/config修改:  SELINUX=disabled


5.修改limits.conf文件,將root用戶能打開的最大文件數改成65535

[root@master security]# vi /etc/security/limits.confroot  soft nofile  65535root  hard nofile  65535root  soft nproc  65535root  hard nproc  65535

    

6.yum源搭建,這裏只在master節點操做

//安裝httpd服務,yum是依賴httpd服務的,默認端口80 yum install httpd //啓動httpd服務,而後你能夠訪問http://master:80 界面就有東西 //若是界面沒東西,那就是你配置錯誤,你能夠看/var/log/httpd下的日誌便可systemctl start httpd.service//配置開機自啓 systemctl enable httpd.service

    將全部的安裝介質都放到/var/www/html中(httpd默認的目錄)

[root@master httpd]# cd /var/www/html/[root@master html]# ll總用量 8drwxr-xr-x.  7 root root  4096 3月  13 16:04 ambari-2.7.4drwxr-xr-x. 33 1001 users 4096 3月  13 16:04 HDP-3.1.4drwxr-xr-x.  6 1001 users   88 3月  13 16:04 HDP-UTILS-3.1.4

        配置repo文件,機器若是要訪問yum,就須要配置:

[root@master html]# cd /etc/yum.repos.d/[root@master yum.repos.d]# ll總用量 16-rw-r--r--. 1 root root  102 3月  13 16:07 ambari.repo-rw-r--r--. 1 root root 1664 3月  13 13:36 CentOS-Base.repo-rw-r--r--. 1 root root  216 3月  13 16:07 hdp314.repo

    查看ambari.repo、hdp314.repo內容,

        進入目錄cd /etc/yum.repos.d/:

[root@master yum.repos.d]# cat ambari.repo [ambari-2.7.4]name=ambari-2.7.4baseurl=http://master.hadoop.ljs/ambari-2.7.4/gpgcheck=0enabled=1
[root@master yum.repos.d]# cat hdp314.repo [HDP-3.1.4]name=HDP-3.1.4baseurl=http://master.hadoop.ljs/HDP-3.1.4path=/enabled=1gpgcheck=0
[HDP-UTILS-3.1.4]name=HDP-UTILS-3.1.4baseurl=http://master.hadoop.ljs/HDP-UTILS-3.1.4path=/enabled=1gpgcheck=0


3、Mysql安裝(其中一臺安裝便可)


1.首先清除CentOS7系統中默認的數據庫mariadb,不然不能安裝mysql

rpm -qa |grep mariadb |xargs yum remove -y

2.下載MySql的相關rpm包;下載mysql5.6,系統選擇redhat,版本選擇RHEL7,下載RPM Bundle後獲得一個tar文件。這裏獲得文件MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar,接下來解出文件

tar -xf MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar
yum localinstall -y install MySQL-{server,client}-*


3.安裝完成後會生成隨機密碼到cat /root/.mysql_secret,可直接啓動mysql服務

service mysql start


4.接下來便可經過命令行登陸了,咱們須要修改密碼

mysql -uroot -p


5.登錄後使用以下命令便可修改root密碼

SET PASSWORD FOR 'root'@'localhost' = PASSWORD('bigdata');


6.遠程登陸受權,我這裏爲了方便授予全部權限,你根據本身狀況受權:

mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> flush privileges;


7.這裏爲了後面hive、ranger、ambari使用mysql做爲元數據庫,這裏提早新建了四個數據庫ambari、hive、ranger:

圖片




4、ambari-server安裝配置


1.安裝ambari-server

yum install ambari-server


2.配置ambari-server信息,詳細配置如圖所示:

圖片

  上面配置中須要你在ambari元數據庫中執行/var/lib/ambari-server/resources目錄下的文件Ambari-DDL-MySQL-CREATE.sql進行ambari的初始化,我這裏直接經過客戶端執行的:

圖片


 

3.ambari-server啓動

ambari-server start

    若是啓動報錯,可查看ambari-server的日誌,默認路徑是/var/log/ambari-server/,通常報錯信息在ambari-server.log、ambari-server.out兩個文件中。

相關文章
相關標籤/搜索