.虛擬機配置html
我這裏是用我本身的臺式機裝了vmware15,而後搞了三臺虛擬機,我這裏虛擬機配置完成後能夠聯網,爲方便你們學習,我基本都是按照離線安裝來說的 ,簡單的步驟不講,只說比較重要的幾個步驟:mysql
1.三臺虛擬機信息
linux
IP |
主機名 |
備註 |
192.168.0.101 |
master.hadoop.ljs |
master |
192.168.0.102 | worker1.hadoop.ljs |
worker1 |
192.168.0.103 | worker2.hadoop.ljs | worker2 |
安裝用戶:root
sql
2.vmware虛擬網絡編輯器配置,數據庫
我本身本地ip信息,打開cmd命令行,執行ipconfig /all查看詳細信息,因爲我這裏臺式機裝了虛擬網卡,因此這裏看的是虛擬網卡對應的IP地址信息,你的可能跟我不同,裏面的網段跟上面vmware虛擬網絡編輯器中網段配置要一致:網絡
虛擬機網絡配置,如圖所示:
ssh
3.配置靜態IP和DNS(三臺機器都作)編輯器
每一個機器配置一個靜態IP地址,我這裏直接截個圖,我建議安裝虛擬機的時候,若是宿主機資源充足,最好安裝一個帶有linux桌面的系統,別最小化安裝,會缺乏不少的rpm包,master節點的靜態IP配置以下:
ide
master network-scripts]# pwd/etc/sysconfig/network-scripts[root@master network-scripts]# vi ifcfg-eno100
OOTPROTO=noneDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noNAME=eno101 //這裏跟你的文件名字保持一致UUID=e896a2cb-d291-4a20-8028-c00a247df533DEVICE=eno16777736 ONBOOT=yesDNS1=192.168.1.1 //DNS必需要有 通常一個就能夠了DNS2=192.168.0.1DNS3=10.0.131.28DNS4=10.0.200.25IPADDR=192.168.0.101 //跟你的宿主機在一個網段中PREFIX=24GATEWAY=192.168.0.1IPV6_PEERDNS=yesIPV6_PEERROUTES=yesIPV6_PRIVACY=no
重啓網絡: oop
systemctl restart network.servicesystemctl status network.service
//可能有些機器還須要執行,個人機器沒有執行 systemctl restart NetworkManager systemctl status NetworkManager
4.修改主機名(三臺機器都作)
[root@master network-scripts]# cat /etc/sysconfig/network# Created by anacondaNETWORKING=yesHOSTNAME=master.hadoop.ljs
/etc/hosts配置:
192.168.0.101 master.hadoop.ljs master192.168.0.102 worker1.hadoop.ljs worker1192.168.0.103 worker2.hadoop.ljs worker2
若是修改主機名字不生效,可執行下面命令修改:
hostnamectl set-hostname master.hadoop.ljs
也可參考這裏連接進行配置,寫的比較詳細:
https://blog.csdn.net/ntuxiaolei/article/details/81130866
2、環境初始化(三臺機器都作)
虛擬機比較簡單,主要幾個步驟就是安裝jdk、ssh免密登、關閉防火牆、關閉透明大頁、配置limit打開最大文件數、關閉selinux等;
1.我這裏下載的jdk1.8而後解壓到了/opt下,這裏主要安裝JCE,由於某些國家的進口管制限制,JDK默認的加解密有必定的限制。好比默認不容許 256 位密鑰的 AES 加解密,解決方法就下載官方JCE無限制強度加密策略文件,覆蓋便可:
在/etc/profile最後添加JAVA_HOME:export JAVA_HOME=/opt/jdk1.8.0_112export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
下載jce的兩個jar包,資源已放在個人粉絲羣裏面,ocal_policy.jar、US_export_policy.jar,而後覆蓋掉jre自帶的jar就能夠了,jre自帶jar路徑,如圖所示:
2.ssh免密碼登陸,請參考個人文章,寫的比較詳細:
3.關閉防火牆,執行命令:
//關閉防火牆sytemctl stop firewalld.service//關閉開機自啓sytemctl disable firewalld.service
4.關閉Selinux:
vi /etc/selinux/config修改: SELINUX=disabled
5.修改limits.conf文件,將root用戶能打開的最大文件數改成65535
[root@master security]# vi /etc/security/limits.confroot soft nofile 65535root hard nofile 65535root soft nproc 65535root hard nproc 65535
6.yum源搭建,這裏只在master節點操做:
//安裝httpd服務,yum是依賴httpd服務的,默認端口80 yum install httpd //啓動httpd服務,而後你能夠訪問http://master:80 界面就有東西 //若是界面沒東西,那就是你配置錯誤,你能夠看/var/log/httpd下的日誌便可systemctl start httpd.service//配置開機自啓 systemctl enable httpd.service
將全部的安裝介質都放到/var/www/html中(httpd默認的目錄)
[root@master httpd]# cd /var/www/html/[root@master html]# ll總用量 8drwxr-xr-x. 7 root root 4096 3月 13 16:04 ambari-2.7.4drwxr-xr-x. 33 1001 users 4096 3月 13 16:04 HDP-3.1.4drwxr-xr-x. 6 1001 users 88 3月 13 16:04 HDP-UTILS-3.1.4
配置repo文件,機器若是要訪問yum,就須要配置:
[root@master html]# cd /etc/yum.repos.d/[root@master yum.repos.d]# ll總用量 16-rw-r--r--. 1 root root 102 3月 13 16:07 ambari.repo-rw-r--r--. 1 root root 1664 3月 13 13:36 CentOS-Base.repo-rw-r--r--. 1 root root 216 3月 13 16:07 hdp314.repo
查看ambari.repo、hdp314.repo內容,
進入目錄cd /etc/yum.repos.d/:
[root@master yum.repos.d]# cat ambari.repo [ambari-2.7.4]name=ambari-2.7.4baseurl=http://master.hadoop.ljs/ambari-2.7.4/gpgcheck=0enabled=1
[root@master yum.repos.d]# cat hdp314.repo [HDP-3.1.4]name=HDP-3.1.4baseurl=http://master.hadoop.ljs/HDP-3.1.4path=/enabled=1gpgcheck=0
[HDP-UTILS-3.1.4]name=HDP-UTILS-3.1.4baseurl=http://master.hadoop.ljs/HDP-UTILS-3.1.4path=/enabled=1gpgcheck=0
3、Mysql安裝(其中一臺安裝便可)
1.首先清除CentOS7系統中默認的數據庫mariadb,不然不能安裝mysql
rpm -qa |grep mariadb |xargs yum remove -y
2.下載MySql的相關rpm包;下載mysql5.6,系統選擇redhat,版本選擇RHEL7,下載RPM Bundle後獲得一個tar文件。這裏獲得文件MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar,接下來解出文件
tar -xf MySQL-5.6.44-1.el7.x86_64.rpm-bundle.tar
yum localinstall -y install MySQL-{server,client}-*
3.安裝完成後會生成隨機密碼到cat /root/.mysql_secret
,可直接啓動mysql服務
service mysql start
4.接下來便可經過命令行登陸了,咱們須要修改密碼
mysql -uroot -p
5.登錄後使用以下命令便可修改root密碼
SET PASSWORD FOR 'root'@'localhost' = PASSWORD('bigdata');
6.遠程登陸受權,我這裏爲了方便授予全部權限,你根據本身狀況受權:
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> GRANT ALL PRIVILEGES ON *.* TO 'ranger'@'%' IDENTIFIED BY 'bigdata' WITH GRANT OPTION;mysql> flush privileges;
7.這裏爲了後面hive、ranger、ambari使用mysql做爲元數據庫,這裏提早新建了四個數據庫ambari、hive、ranger:
4、ambari-server安裝配置
1.安裝ambari-server
yum install ambari-server
2.配置ambari-server信息,詳細配置如圖所示:
上面配置中須要你在ambari元數據庫中執行/var/lib/ambari-server/resources目錄下的文件Ambari-DDL-MySQL-CREATE.sql進行ambari的初始化,我這裏直接經過客戶端執行的:
3.ambari-server啓動
ambari-server start
若是啓動報錯,可查看ambari-server的日誌,默認路徑是/var/log/ambari-server/,通常報錯信息在ambari-server.log、ambari-server.out兩個文件中。