61.集羣介紹 keepalived介紹 keepalived配置高可用

18.1 集羣介紹

18.2 keepalived介紹

18.3/18.4/18.5 用keepalived配置高可用集羣

擴展

heartbeat和keepalived比較http://blog.csdn.net/yunhua_lee/article/details/9788433 

DRBD工做原理和配置 http://502245466.blog.51cto.com/7559397/1298945

mysql+keepalived http://lizhenliang.blog.51cto.com/7876557/1362313

 

 

 

 

 

18.1 集羣介紹：

 

 

 

 

有多臺機器組成了一個龐大的一臺大機器。那麼一臺機器完不成的任務，能夠多臺一塊兒

~1.根據功能劃分爲兩大類：高可用和負載均衡

~2.高可用集羣一般爲兩臺服務器，一臺工做，另一臺做爲冗餘，當提供服務的機器宕機，冗餘將接替繼續提供服務

一臺機器提供服務，若是掛了，那麼另外一臺就出來。這樣能夠最大化的提供系統可用的效率

不少公司把它可用的效率做爲他健壯的標準。在業界一些核心的一些角色，作高可用的衡量標準，好比四個九，就是99.99%，也就是說這一年百分之99.99的時間都是在線的，不容許當機，不容許服務不可用。有的是五個九或者是六個九

那怎麼才能作到這麼高的使用率、可用性。那實際上咱們提供一個高可用的集羣出來。一臺機器當機，那麼另外一臺機器立刻接替服務，切換的時間很短，不到一分鐘

~3.實現高可用的開源軟件有：heartbeat、keepalived

heartbeat有不少bug以及不在更新，咱們使用keepalived。keepalived不但能夠實現高可用，還能負載均衡，並且配置簡單

~4.負載均衡集羣，須要有一臺服務器做爲分發器，它負責把用戶的請求分發給後端的服務器處理，在這個集羣裏，除了分發器外，就是給用戶提供服務的服務器了，這些服務器數量至少爲2

好比，一開始只有幾百人的訪問量，隨着發展，上升到幾萬人，一臺機器已經知足不了需求，（優化單臺機器好比加內存、cpu等，以及到了瓶頸）那就只能加機器

~5.實現負載均衡的開源軟件有LVS、keepalived、haproxy、nginx，

商業的有F五、Netscaler，價格昂貴。優點是有很高的併發量，以及很好的穩定性

若是咱們用這種開源的軟件，他的穩定性就取決於服務器的穩定性

 

 

單機結構

我想你們最最最熟悉的就是單機結構，一個系統業務量很小的時候全部的代碼都放在一個項目中就行了，而後這個項目部署在一臺服務器上就行了。整個項目全部的服務都由這臺服務器提供。這就是單機結構。

那麼，單機結構有啥缺點呢？我想缺點是顯而易見的，單機的處理能力畢竟是有限的，當你的業務增加到必定程度的時候，單機的硬件資源將沒法知足你的業務需求。此時便出現了集羣模式，往下接着看。

集羣結構

集羣模式在程序猿界由各類裝逼解釋，有的讓你根本沒法理解，其實就是一個很簡單的玩意兒，且聽我一一道來。

單機處理到達瓶頸的時候，你就把單機複製幾份，這樣就構成了一個「集羣」。集羣中每臺服務器就叫作這個集羣的一個「節點」，全部節點構成了一個集羣。每一個節點都提供相同的服務，那麼這樣系統的處理能力就至關於提高了好幾倍（有幾個節點就至關於提高了這麼多倍）。

但問題是用戶的請求究竟由哪一個節點來處理呢？最好可以讓此時此刻負載較小的節點來處理，這樣使得每一個節點的壓力都比較平均。要實現這個功能，就須要在全部節點以前增長一個「調度者」的角色，用戶的全部請求都先交給它，而後它根據當前全部節點的負載狀況，決定將這個請求交給哪一個節點處理。這個「調度者」有個牛逼了名字——負載均衡服務器。

集羣結構的好處就是系統擴展很是容易。若是隨着大家系統業務的發展，當前的系統又支撐不住了，那麼給這個集羣再增長節點就好了。可是，當你的業務發展到必定程度的時候，你會發現一個問題——不管怎麼增長節點，貌似整個集羣性能的提高效果並不明顯了。這時候，你就須要使用微服務結構了。

微服務結構

先來對前面的知識點作個總結。

從單機結構到集羣結構，你的代碼基本無須要做任何修改，你要作的僅僅是多部署幾臺服務器，沒臺服務器上運行相同的代碼就好了。可是，當你要從集羣結構演進到微服務結構的時候，以前的那套代碼就須要發生較大的改動了。因此對於新系統咱們建議，系統設計之初就採用微服務架構，這樣後期運維的成本更低。但若是一套老系統須要升級成微服務結構的話，那就得對代碼大動干戈了。因此，對於老系統而言，到底是繼續保持集羣模式，仍是升級成微服務架構，這須要大家的架構師深思熟慮、權衡投入產出比。

OK，下面開始介紹所謂的微服務。

微服務就是將一個完整的系統，按照業務功能，拆分紅一個個獨立的子系統，在微服務結構中，每一個子系統就被稱爲「服務」。這些子系統可以獨立運行在web容器中，它們之間經過RPC方式通訊。

舉個例子，假設須要開發一個在線商城。按照微服務的思想，咱們須要按照功能模塊拆分紅多個獨立的服務，如：用戶服務、產品服務、訂單服務、後臺管理服務、數據分析服務等等。這一個個服務都是一個個獨立的項目，能夠獨立運行。若是服務之間有依賴關係，那麼經過RPC方式調用。

 

https://mp.weixin.qq.com/s?__biz=MzU3MTI5MjcwMQ==&mid=2247483801&idx=1&sn=822ef1066797c9c977d0f0ddfa

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

 

18.2 keepalived介紹：

 

 

 

 

 

~1.在這裏咱們使用keepalived來實現高可用集羣，由於heartbeat在centos6上有一些問題，影響實驗效果

~2.keepalived經過VRRP協議（Virtual Router Redundancy Protocl）來實現高可用。VRRP協議中文叫虛擬路由冗餘協議

~3.在這個協議裏會將多臺功能相同的路由器組成一個小組，這個小組裏會有1個master角色和N（N>=1）個backup角色。

實驗中是一臺機器而不是路由器

一般狀況下，咱們爲了節省資源，讓N=1。也就是一主一從就能夠實現了

~4.master會經過組播的形式向各個backup發送VRRP協議的數據包，當backup收不到master發來的VRRP數據包時，就會認爲master宕機了。此時就須要根據各個backup的優先級來決定誰成爲新的mater。

~5.Keepalived要有三個模塊，分別是core、check和vrrp。其中core模塊爲keepalived的核心，負責主進程的啓動、維護以及全局配置文件的加載和解析，check模塊負責健康檢查，vrrp模塊是來實現VRRP協議的。

 

 

 

 

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

 

 

 

 

18.3/18.4/18.5 用keepalived配置高可用集羣：

 

 

 

用高可用的軟件（keepalived）來實現高可用。而且要有一個服務去實現高可用（在這裏是nginx），也就是把nginx實現高可用的對象。由於不少企業把nginx做爲負載均衡器。若是nginx掛掉那麼後面的web服務器及時正常也不能使用，這個是不能出現單點故障的

~~master上的操做：

~1.

準備兩臺機器130和132，130做爲master，132做爲backup

~2.

兩臺機器都執行yum install -y keepalived

~3.

兩臺機器都安裝nginx，其中128上已經編譯安裝過nginx，130上須要yum安裝nginx: yum install -y nginx

~4.

設定vip爲100。生產環境中公網IP就是VIP

要用ip add來查看ens33的IP。用ifconfig是看不到的

~5.

編輯128上keepalived配置文件，/etc/keepalived/keepailved.conf下是有的，可是咱們不用他這個自帶的。內容從https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_keepalived.conf獲取

~6.

128編輯監控腳本，內容從https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/master_check_ng.sh獲取

~7.

給腳本755權限

chmod 755 /usr/local/sbin/check_ng.sh

 

~8.

systemctl start keepalived 130啓動服務

 

~~backup上的操做：

~1.

130上編輯配置文件，內容從https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_keepalived.conf獲取

~2.

130上編輯監控腳本，內容從https://coding.net/u/aminglinux/p/aminglinux-book/git/blob/master/D21Z/backup_check_ng.sh獲取

~3.

給腳本755權限

~4.

130上也啓動服務 systemctl start keepalived

 

 

 

 

實例：

~~master上的操做：

[root@axinlinux-01 ~]# yum install -y keepalived master上安裝keepalived

[root@axinlinux-02 ~]# yum install -y keepalived backup上安裝keepalived

[root@axinlinux-01 ~]# ps aux |grep nginx master上檢查是否開啓nginx（由於以前編譯過nginx）

[root@axinlinux-02 ~]# rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm 阿鑫操做的時候，backup上yum安裝不了nginx。後來是缺乏nginx的源。執行這一條

[root@axinlinux-02 ~]# echo $?

0

[root@axinlinux-02 ~]# yum install -y nginx yum安裝nginx

[root@axinlinux-01 ~]# vim /etc/keepalived/keepalived.conf #這個就是keepalived的內容

[root@axinlinux-01 ~]# > !$ #直接重定向這個文件，使他爲空。由於咱們不用這個自帶的

> /etc/keepalived/keepalived.conf

[root@axinlinux-01 ~]# !vim

vim /etc/keepalived/keepalived.conf

global_defs { #全局的定義參數

notification_email { #出現問題是給那個郵箱發郵件

519321158.qq.com

}

notification_email_from root@aminglinux.com #由哪一個郵件發出去

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

 

vrrp_script chk_nginx { #這個是檢測服務是否正常的。就是那個check模塊

script "/usr/local/sbin/check_ng.sh" #這個是一個shell腳本，一會會去寫。這個腳本的做用就是檢查服務是否正常的，若是不正常要把它啓動起來

interval 3 #檢測的間斷是三秒鐘

}

 

vrrp_instance VI_1 { #定義master相關

state MASTER #角色叫master。（從的話就叫backup）！這個要跟從不同

interface ens33 #經過網卡去發vrrp協議

virtual_router_id 51 #定義路由器的ID是什麼 ！這個ID要保持一致，說明他們是一組

priority 100 #權重（主和從的權重是不同的） ！這個要跟從不同

advert_int 1

authentication { #認證相關的信息

auth_type PASS #認證的類型是PASS（密碼的形式）

auth_pass aminglinux>com #定義密碼的字符串

}

virtual_ipaddress { #定義它的vip。生產環境中公網IP就是VIP。由於定義了ens33，用ip add去查看他的IP

兩臺機器（主和從）正常是主在提供服務。若是主掛了，那麼從起來的話確定要提供服務啊，好比nginx。那麼從提供nginx，那麼咱們去訪問nginx的時候，訪問哪一個IP呢，你把域名解析到哪一個IP上去呢？假如解析到主上，主都已經掛了，從起來了，那麼從的IP是什麼呢。因此，咱們要給他定義一個公有的IP。主上用的這個IP，從也要用這個IP。這個共有IP就叫作vip。這個IP是能夠隨時的下掉去配置的。那這個VIP就能夠在這定義

正常的話master上要啓動綁定這個IP。若是master當掉，那麼從就要起來綁定這個IP。那麼咱們最終解析域名，解析到這個IP上，不論是主上仍是從上都無所謂了

192.168.188.100

}

 

track_script { #前面定義的腳本，這裏要給他定義一個加載。就是chk_nginx

chk_nginx

}

 

}

 

#!/bin/bash

#時間變量，用於記錄日誌

d=`date --date today +%Y%m%d_%H:%M:%S` #這個d表示時間

#計算nginx進程數量

n=`ps -C nginx --no-heading|wc -l`

#若是進程爲0，則啓動nginx，而且再次檢測nginx進程數量，

#若是還爲0，說明nginx沒法啓動，此時須要關閉keepalived

if [ $n -eq "0" ]; then

/etc/init.d/nginx start #跟從的啓動方式不同。由於主是編譯的，能夠這樣啓動

n2=`ps -C nginx --no-heading|wc -l`

if [ $n2 -eq "0" ]; then

echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log #若是麼有啓動起來，錯誤日誌定義到這個裏去

systemctl stop keepalived #既然nginx沒有啓動成功，那麼keepalive也沒有意義存在

在高可用集羣裏有個腦裂的概念。爲何要把主上的keepalived殺掉呢。由於這個時候要啓動從了。主一停掉keepalived那從就要自動起來服務。那若是主和從的keepalived都起來，那二者就會爭搶資源。好比VIP要爭搶，那兩個機器都監聽了VIP，那域名訪問的時候去訪問哪一個機器呢。那就會出現紊亂。這種狀況就叫作腦裂。這是不容許發生的

fi

fi

[root@axinlinux-01 ~]# chmod 755 /usr/local/sbin/check_ng.sh

[root@axinlinux-01 ~]# systemctl start keepalived #開啓keepalived

[root@axinlinux-01 ~]# ps aux |grep keepalived #看一下keepalived是否起來

root 2825 0.2 0.0 118656 1396 ? Ss 23:14 0:00 /usr/sbin/keepalived -D

root 2826 0.0 0.1 127520 3304 ? S 23:14 0:00 /usr/sbin/keepalived -D

root 2828 0.2 0.1 127460 2852 ? S 23:14 0:00 /usr/sbin/keepalived -D

root 2877 0.0 0.0 112720 984 pts/0 S+ 23:14 0:00 grep --color=auto keepalived

[root@axinlinux-01 ~]# ps aux |grep nginx #看一下nginx是否起來

root 1093 0.0 0.0 45868 1276 ? Ss 21:45 0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

nobody 1094 0.0 0.2 48360 4168 ? S 21:45 0:00 nginx: worker process

nobody 1095 0.0 0.2 48360 3908 ? S 21:45 0:00 nginx: worker process

root 2921 0.0 0.0 112724 980 pts/0 S+ 23:15 0:00 grep --color=auto nginx

[root@axinlinux-01 ~]# /etc/init.d/nginx stop #咱們作個試驗，把nginx關掉，看他是否自動起來

Stopping nginx (via systemctl): [ 肯定 ]

[root@axinlinux-01 ~]# !ps #自動起來。腳本生效

ps aux |grep nginx

root 3067 0.0 0.0 45868 1280 ? Ss 23:16 0:00 nginx: master process /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

nobody 3068 0.0 0.2 48360 4164 ? S 23:16 0:00 nginx: worker process

nobody 3069 0.0 0.2 48360 3912 ? S 23:16 0:00 nginx: worker process

root 3074 0.0 0.0 112720 976 pts/0 S+ 23:16 0:00 grep --color=auto nginx

[root@axinlinux-01 ~]# cat /var/log/messages #這是他的日誌

[root@axinlinux-01 ~]# systemctl stop firewalld #主從上都要關閉防火牆和selinux

[root@axinlinux-01 ~]# setenforce 0

 

~~backup上的操做：

[root@axinlinux-02 ~]# setenforce 0 #主從都要關閉防火牆和selinux

[root@axinlinux-02 ~]# getenforce

Permissive

[root@axinlinux-02 ~]# systemctl stop firewalld

[root@axinlinux-02 ~]# vim /etc/keepalived/keepalived.conf #配置從的配置文件

global_defs {

notification_email {

aming@aminglinux.com

}

notification_email_from root@aminglinux.com

smtp_server 127.0.0.1

smtp_connect_timeout 30

router_id LVS_DEVEL

}

 

vrrp_script chk_nginx {

script "/usr/local/sbin/check_ng.sh" #監控腳本的路徑

interval 3

}

 

vrrp_instance VI_1 {

state BACKUP

interface ens33 #網卡ens33

virtual_router_id 51

priority 90 #權重90，要和主不同，比主低

advert_int 1

authentication {

auth_type PASS

auth_pass aminglinux>com

}

virtual_ipaddress {

192.168.208.100 #vip跟主保持同樣

}

 

track_script {

chk_nginx

}

[root@axinlinux-02 ~]# vi /usr/local/sbin/check_ng.sh

#時間變量，用於記錄日誌

d=`date --date today +%Y%m%d_%H:%M:%S`

#計算nginx進程數量

n=`ps -C nginx --no-heading|wc -l`

#若是進程爲0，則啓動nginx，而且再次檢測nginx進程數量，

#若是還爲0，說明nginx沒法啓動，此時須要關閉keepalived

if [ $n -eq "0" ]; then

systemctl start nginx #在這有跟主不太同樣。由於主是源碼編譯的，使用了chkconfig這個工具，可使用/etc/init.d/nginx start。從是域名安裝的要用 systemctl start nginx

n2=`ps -C nginx --no-heading|wc -l`

if [ $n2 -eq "0" ]; then

echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log

systemctl stop keepalived

fi

fi

[root@axinlinux-02 ~]# chmod 755 !$ #注意改權限

chmod 755 /usr/local/sbin/check_ng.sh

[root@axinlinux-02 ~]# systemctl start keepalived

[root@axinlinux-02 ~]# ps aux |grep keepalived

root 1700 0.0 0.0 118608 1388 ? Ss 23:41 0:00 /usr/sbin/keepalived -D

root 1701 0.3 0.1 127468 3300 ? S 23:41 0:00 /usr/sbin/keepalived -D

root 1702 0.3 0.1 127408 2836 ? S 23:41 0:00 /usr/sbin/keepalived -D

root 1733 0.0 0.0 112676 992 pts/0 S+ 23:41 0:00 grep --color=auto keepalived

 

以上master和backup配置完成。

咱們ip add看一下master的ens 33的IP，用瀏覽器訪問一下

那用IP訪問的時候他訪問哪裏去了呢。就是在nginx的主虛擬主機root的路徑：

[root@axinlinux-01 ~]# cat /usr/local/nginx/conf/vhost/aaa.com.conf

server

{

listen 80 default_server;

server_name aaa.com;

index index.html index.htm index.php;

root /data/wwwroot/default; #就是主虛擬主機的root路徑下的

[root@axinlinux-01 ~]# ls /data/wwwroot/default #也就是這個文件

index.html

[root@axinlinux-01 ~]# cat /data/wwwroot/default/index.html

master master. This is default site. #內容和瀏覽器的是同樣的

 

咱們ip add看一下backup的ens 33的IP，用瀏覽器訪問一下

由於從的nginx是yum安裝的。他的默認頁在：

[root@axinlinux-02 ~]# cat /usr/share/nginx/html/index.html

···

 

那咱們在來訪問vip

訪問的是master的，因此他的vip在master這