[大數據學習研究]2.利用VirtualBox模擬Linux集羣

 

1. 在主機Macbook上設置HOST

前文書已經把虛擬機的靜態IP地址設置好，之後能夠經過ip地址登陸了。不過爲了方便，仍是設置一下，首先在Mac下修改hosts文件，這樣在ssh時就不用輸入ip地址了。

sudo vim /etc/hosts

或者 

sudo vim /private/etc/hosts

 

這兩個文件實際上是一個，是經過link作的連接。注意要加上sudo, 以管理員運行,不然不能存盤。

 

##
# Host Database
#
# localhost is used to configure the loopback interface
# when the system is booting. Do not change this entry.
##
127.0.0.1 localhost
255.255.255.255 broadcasthost
::1 localhost
50.116.33.29 sublime.wbond.net
127.0.0.1 windows10.microdone.cn
# Added by Docker Desktop
# To allow the same kube context to work on the host and the container:
127.0.0.1 kubernetes.docker.internal

192.168.56.100 hadoop100
192.168.56.101 hadoop101
192.168.56.102 hadoop102
192.168.56.103 hadoop103
192.168.56.104 hadoop104
# End of section

 

2. 複製虛擬機

而後咱們須要由上次配好的這一臺虛擬機，複製出來多臺，以便造成一個集羣。首先關閉虛擬，在上面點右鍵，選複製，出現以下對話框，我選擇把全部網卡都從新生成Mac地址，以便模擬徹底不一樣的計算器環境。

 

 

3. 修改每一臺的HOST， IP地址

複製完畢後，記得登陸到虛擬機，按照前面提到的方法修改一下靜態IP地址，省得IP地址衝突。

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

vi /etc/sysconfig/network-scripts/ifcfg-enp0s8

 

另外，最好也在每臺Linux 虛擬機裏也設置一下HOSTNAME，以便這些虛擬機以前相互通信時也可使用hostname。須要依次把幾臺機器的hostname都設置好。

[root@hadoop101 ~]# hostnamectl set-hostname hadoop107
[root@hadoop101 ~]# hostname
hadoop107

 

4. xcall讓服務器集羣同時運行命令

由於咱們同時有好幾臺機器，若是挨個挨個的登陸上去操做，不免麻煩，能夠寫個shell腳本，之後從其中一臺發起命令，讓全部機器都執行就方便多了。下面是個例子。 我有hadopp100，hadopp10一、hadopp10二、hadopp10三、hadopp104這個五臺虛擬機。我但願以hadopp100爲堡壘，統一控制全部其餘的機器。 在/user/local/bin 下建立一個xcall的文件，內容以下：

 

touch /user/local/bin/xcall

chmod +x /user/local/bin/xcall

vi /user/local/bin/xcall

 

#!/bin/bash
pcount=$#
if((pcount==0));then
echo no args;
exit;
fi

echo ---------running at localhost--------
$@
for((host=101;host<=104;host++));do
echo ---------running at hadoop$host-------
ssh hadoop$host $@
done
~

 

好比我用這個xcall腳本在全部機器上調用pwd名稱，查看當前目錄，會依次提示輸入密碼後執行。

[root@hadoop100 ~]# xcall pwd
---------running at localhost--------
/root
---------running at hadoop101-------
root@hadoop101's password:
/root
---------running at hadoop102-------
root@hadoop102's password:
/root
---------running at hadoop103-------
root@hadoop103's password:
/root
---------running at hadoop104-------
root@hadoop104's password:
/root
[root@hadoop100 ~]#

 

5. scp與rsync

而後咱們說一下 scp這個工具。 scp能夠在linux間遠程拷貝數據。若是要拷貝整個目錄，加 -r 就能夠了。

[root@hadoop100 ~]# ls
anaconda-ks.cfg
[root@hadoop100 ~]# scp anaconda-ks.cfg hadoop104:/root/
root@hadoop104's password:
anaconda-ks.cfg 100% 1233 61.1KB/s 00:00
[root@hadoop100 ~]#

 

 

另外還能夠用rsync， scp是無論目標機上狀況如何，都要拷貝以便。 rsync是先對比一下，有變化的再拷貝。若是要遠程拷貝的東西比較大，用rsync更快一些。 不如rsync在centOS上沒有默認安裝，須要首先安裝一下。在以前的文章中，咱們的虛擬機已經能夠聯網了，因此在線安裝就能夠了。

rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
命令 命令參數 要拷貝的文件路徑/名稱 目的用戶@主機:目的路徑
選項
-r 遞歸
-v 顯示覆制過程
-l 拷貝符號鏈接

 

[root@hadoop100 ~]# xcall sudo yum install -y rsync

好比，把hadoop100機器上的java sdk同步到102上去：

[root@hadoop100 /]# rsync -r /opt/modules/jdk1.8.0_121/ hadoop102:/opt/modules/jdk1.8.0_121/

 

 

而後咱們須要一個能把內容自動同步到集羣內全部機器的xsync命令；

#!/bin/bash

#1 獲取輸入參數的個數，若是沒有參數則退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 獲取文件名稱
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 獲取上級目前的絕對路徑
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

# 獲取當前用戶名
user=`whoami`

#5 循環
for((host=100;host<105;host++));do
#echo $pdir/$fname $user@hadoop$host:$pdir
echo ---------hadoop$host
rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

 

6. SSH免密登陸設置

在執行上面的命令時，發現每次都要輸入密碼，這個也挺煩的，並且後期hadoop集羣在啓動時也會須要各機器以前相互受權，若是每次都輸入密碼，確實太麻煩了，因此須要設置一下ssh免密登陸。

首先用ssh-keygen -t rsa 生成祕鑰對，過程當中都按回車介紹默認值便可。而後用ssh-copy-id 其餘主機，把公鑰發送給要登陸的目標主機，在這個過程當中須要輸入密碼以便受權。成功後就能夠按照提示用ssh 遠程登陸到其餘主機了，並不要求輸入密碼。

 

[root@hadoop104 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:X0I1F6IntPPIJgVHXjmSZ6hmaeWifXa7TmJR9I9YCo8 root@hadoop104
The key's randomart image is:
+---[RSA 2048]----+
| ..+o*.o. |
| ==*== |
| =X+o.o |
| B+.@ + o |
| *S.E * . .|
| . .+o+. |
| o+... |
| . o. |
| .o. |
+----[SHA256]-----+
[root@hadoop104 ~]# ssh-copy-id hadoop100
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@hadoop100's password:

Number of key(s) added: 1

Now try logging into the machine, with: "ssh 'hadoop100'"
and check to make sure that only the key(s) you wanted were added.

[root@hadoop104 ~]#     當前在hadoop04下

[root@hadoop104 ~]# ssh hadoop100      
Last failed login: Mon Sep 16 13:15:35 CST 2019 from hadoop103 on ssh:notty
There were 5 failed login attempts since the last successful login.
Last login: Mon Sep 16 09:37:51 2019 from 192.168.56.1
[root@hadoop100 ~]#     已經在目標主機下了 

 

按照上面的方法，把全部集羣之間都設置好免密登陸，也就是每臺機器上都ssh-keygen生成一個祕鑰對，而後ssh-copy-id到其餘幾臺虛擬機。

 

好了，到如今基本的工具和集羣環境搭建起來了，後面就能夠開始hadoop的學習了。

 

題外話

學習研究的話能夠用虛擬機，真要認真作點事仍是要上雲，好比阿里雲。若是你須要，能夠用個人下面這個連接，有折扣返現。

https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=vltv9frd