lvs+DR

lvs 一：lvs概述 LVS是linux內核的一部分，所以性能高 linux虛擬服務器（即分發器或調度器director）; 他不是真正提供服務，但他接受客戶的訪問，爲整個集羣提供一個惟一的入口。虛擬服務器再和真實服務器通訊（read server）。 它真正提供服務，集羣中每一個real server能夠是一臺物理主機，也能夠是虛擬機。 lvs相關術語（必記）： DS(或DR)：Director  server調度服務器。指的是前端負載均衡器節點。 RS：（real server）後端真實的工做服務器。 vip：virtual  IP虛擬ip。是指向外部直接面用戶請求，做爲用戶請求的目標的ip地址（外網ip地址）。 dip: Director  server ip調度服務器ip，主要用於和內部主機通信的ip地址。（內網ip地址） Rip：（real server ip）後端服務器的ip地址。 Cip：client ip，客戶端的ip。 注意:LVS調度器須要有2塊網卡，一塊是對外（wan口）的網卡，一塊是對內（lan口）的網卡。 2、LVS三種模式 VS/NAT： 網絡地址轉換模式, 進站/出站的數據流量通過分發器。NAT模式是經過修改客戶請求數據包中的端口號、IP地址來實現負載均衡。 VS/DR ： 直接路由模式,只有進站的數據流量通過分發器(數據鏈路層負載均衡,由於他修改的是目的mac地址) VS/TUN： 隧道模式,只有進站的數據流量通過分發器 3、lvs基本工做原理 1.當用戶請求到達Director server,請求的數據報文會先到內核空間的PREROUTING鏈。此時報文的源ip爲cip，目標ip爲vip。 2.PREROUTING檢查發現數據包的目標ip是本機，將數據包送至input鏈 3.ipvs比對數據包請求的服務是否爲集羣服務，修改數據包的目標ip地址爲後端服務器ip，而後將數據吧發送至postrouting鏈。 4.postrouting鏈經過路由選路，將數據包發送給Real Server 5.Real Server對比發現目標爲本身的ip開始構建響應報文回給Director Server。此時報文的源ip爲RIP，目標ip爲cip 6.Director Server在響應客戶端前，此時會將源ip地址修改成本身的ip地址，而後響應給客戶端。此時報文的源ip爲vip，目標ip爲cip。   1.LVS-NAT模型 特性 1）.RS應該使用私有ip地址，RS的網關必須指向DIP 2）DIP和RIP必須在同一個網段內 3）請求和響應報文都需通過DIrector  Server,高負載場景中，Director Server易成爲性能瓶頸 4）支持端口映射 5）RS可使用任意操做系統 6）缺陷：對Director Server壓力會比較大，請求和響應都需通過director server   實驗 準備real server的http服務 在node十二、node13上作： 要讓虛擬機上沒有安裝nginx yum  -y  install  httpd  curl systemctl restart httpd echo  node12.com > /var/www/html/index.html 13就是echo  node13.com > /var/www/html/index.html curl  127.0.0.1 作本地測試 route  -n 或 netstat  -r查看路由表信息 route  del  dafault  gw  192.168.11.2 臨時刪除默認網關 route  add  default  gw  192.168.11.11臨時設置默認網關 或vim  /etc/syscomfig/network-scripts/ifcfg-ens33中修改網關 route  -n           LVS負載均衡器配置（node11） 在node11上作的 lsof  -i:80 && nginx  -s  quit curl  192.168.11.12   &&curl  192.168.11.13  必須確保能訪問到此服務器的網站 添加一塊新的nat類型的虛擬網卡 將虛擬網卡ens37的ip設置爲192.168.10.11 在網絡適配器下添加一塊nat網卡 cd  /etc/sysconfig/network-scripts/ cp  -av   ifcfg-ens33   ifcfg-ens37 刪除兩塊網卡的gateway網關 route  -n route  del  default   gw  192.168.11.2 route  del  default   gw  192.168.10.2 配置lvs負載均衡集羣列表： ipvsadm  -Ln ipvsadm  -C  清空ipvs集羣配置信息 ipvsadm  -A  -t  192.168.10.11:80  -s  rr ipvsadm  -a  -t  192.168.10.11:80  -r  192.168.11.12:80  -m ipvsadm  -a  -t  192.168.10.11:80  -r  192.168.11.13:80  -m ipvsadm  -Ln 查看並臨時開啓路由轉發功能 cat  /proc/sys/net/ipv4/ip_forward echo 1  >  /proc/sys/net/ipv4/ip_forward ------------------------------------------------------------------ 開啓永久路由轉發 vim  /etc/syscrl.conf net.ipv4.ip_forward=1 當即生效： sysctl  -p cat  /proc/sys/net/ipv4/ip_forward   在vmware虛擬機網絡編輯器上 將子網ip改成192.168.10.1 筆記本物理機的vmnat8虛擬網卡ip和網關信息必須跟此處相同 在網卡中加入網關192.168.10.11 而後作測試 命令選項解釋:[藍字爲經常使用選項] -A --add-service 在內核的虛擬服務器表中添加一條新的虛擬服務器記錄。也就是增長一臺新的虛擬服務器(VIP)。 -E --edit-service 編輯內核虛擬服務器表中的一條虛擬服務器記錄。 -D --delete-service 刪除內核虛擬服務器表中的一條虛擬服務器記錄。 -C --clear 清除內核虛擬服務器表中的全部記錄。 -R --restore 恢復虛擬服務器規則 -S --save 保存虛擬服務器規則,備份輸出爲-R 選項可讀的格式 -a --add-server 在內核虛擬服務器表的一條記錄裏添加一條新的真實服務器記錄(RIP)。也就是在一個虛擬服務器中增長一臺新的真實服務器 -e --edit-server 編輯一條虛擬服務器記錄中的某條真實服務器記錄 -d --delete-server 刪除一條虛擬服務器記錄中的某條真實服務器記錄 -L|-l --list 顯示內核虛擬服務器表 -Z --zero 虛擬服務表計數器清零(清空當前的鏈接數量等) --set tcp tcpfin udp 設置鏈接超時值 --start-daemon 啓動同步守護進程。他後面能夠是master 或backup,用來講明LVS Router 是master 或是backup。在這個功能上也能夠採用keepalived 的VRRP 功能。 --stop-daemon 中止同步守護進程 -h --help 顯示幫助信息 -p --persistent [timeout] 持久穩固的服務(持久性鏈接)。這個選項的意思是來自同一個客戶的屢次請求,將被同一臺真實的服務器處理。timeout 的默認值爲360 秒。 -t --tcp-service service-address 說明虛擬服務器提供的是tcp 的服務[vip:port] or [real-server-ip:port] -f --fwmark-service fwmark 說明是通過iptables 標記過的服務類型。 -u --udp-service service-address 說明虛擬服務器提供的是udp 的服務[vip:port] or [real-server-ip:port] -s --scheduler scheduler 使用的調度算法,有這樣幾個選項 rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默認的調度算法是： wlc. -M --netmask netmask persistent granularity mask -r --real-server server-address 真實的服務器[Real-Server:port] -g --gatewaying 指定LVS 的工做模式爲DR直接路由模式(也是LVS 默認的模式) -i --ipip 指定LVS 的工做模式爲隧道模式 -m --masquerading 指定LVS 的工做模式爲NAT 模式 -w --weight weight 真實服務器的權值 --mcast-interface interface 指定組播的同步接口 -c --connection 顯示LVS 目前的鏈接 如：ipvsadm -L -c --timeout 顯示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout --daemon 顯示同步守護進程狀態 --stats 顯示統計信息 --rate 顯示速率信息 --sort 對虛擬服務器和真實服務器排序輸出 -n --numeric 輸出IP地址和端口的數字形式   LVS-DR 數據鏈路層負載均衡 顧名思義,數據鏈路層負載均衡是指在通訊協議的數據鏈路層修改mac地址進行負載均衡。 這種數據傳輸方式又稱做三角傳輸模式,負載均衡數據分發過程當中不修改IP地址,只修改目的mac地址,經過配置真實物理服務器集羣全部機器虛擬IP和負載均衡服務器IP地址一致,從而達到不修改數據包的源地址和目的地址就能夠進行數據分發的目的,因爲實際處理請求的真實物理服務器IP和數據請求目的IP一致,不須要經過負載均衡服務器進行地址轉換,可將相應數據包直接返回給用戶瀏覽器,避免負載均衡服務器網卡帶寬成爲瓶頸。這種負載均衡方式又稱做直接路由方式(DR)。 使用三角傳輸模式的鏈路層負載均衡時目前大型網站使用最廣的一種負載均衡手段。在linux平臺上最好的鏈路層負載均衡開源產品是LVS(linux virtual server)   1.當用戶請求到達Director Server,請求的數據會先到內核空間的pereouting鏈。此時報文的源ip爲cip，目標ip爲vip。 2.Prerouting檢查發現數據包的目標ip是本機，將數據包發送至input鏈。 3.ipvs比對數據包請求的服務是否爲集羣服務，如果，將請求報文中的源mac地址修改成dip的mac地址，將目標mac地址修改成rip的mac地址，那麼此時數據包將會發送至real server。 4.因爲DS和rs在同一個網絡中，因此是經過二層來傳輸。Postrouting鏈檢查目標mac地址爲rip的mac地址，那麼數據包將會發送至real server。 5.rs發現請求報文的mac地址是本身的mac地址，就接收此報文。處理完成以後，將響應報文經過eth0網卡而後向外發出。此時的源ip地址爲vip，目標ip爲cip。 6.響應報文最終送達至客戶端   1.Lvs-DR模型的特性 1.保證前端路由將目標地址爲vip報文發給director server,而不是rs 2.rs可使用私有地址；也能夠是公網地址，若是使用公網地址，此時能夠經過互聯網對rip進行直接訪問 3.rs跟Director server必須在同一個物理網絡中 4.全部的請求報文經由Director Server,但響應報文必須不能進過Director Server 5.不支持地址轉換，也不支持端口映射，由於DR模型是工做在二層的，二層只處理數據包中的mac地址 6.rs能夠是大多數常見的操做系統 7.rs的網關覺不容許指向DIr（由於咱們不容許他通過director） 8.RS上的lo接口配置vip的ip地址   3. 過程及解決方案： 1). 客戶端要找vip訪問80端口,由於是在同一個網段,因此發arp廣播找vip的mac地址通訊 2). 由於有RS上也有vip,咱們不能直接讓RS上的vip迴應客戶端的廣播,因此設置內核參數arp_ignore的內容爲1 將arp_ignore 設置爲1,意味着當別人的arp請求過來的時候,若是接收的設備上面沒有這個ip,就不作出響應.  默認是0,只要這臺機器上面任何一個設備上面有這個ip,就響應arp請求,併發送mac地址 3). 當DR的vip收到這個廣播以後,迴應mac地址,而後獲得客戶端發來的80端口請求,再經過lvs分發到一個RS 4). 那麼DR如何分發到一個RS？ dip發出arp廣播詢問RS的ip地址所對應的mac地址,而後發出一個目標ip爲RS_vip,目標mac爲RS_eth0_mac的包到RS 5). RS必需要使用vip把迴應包發出去(這樣client收到以後一看源地址是vip,他就會相信這是正確的地址發來的包) 6). 那麼怎樣讓RS使用lo的vip而不使用eth0? 設置arp_announce文件的內容爲2, 2的意思是使用本機最好的本地IP地址把迴應包發出去 7). 最後怎麼算是最好的本地IP地址？ 同一個網段下,使用可變長度子網掩碼最長的IP地址被認爲是好IP,由於他更精確 vs/dr模式配置 在rel  server上作的  node12 yum  -y   install   httpd systemclt  restart  httpd vim   /aa/lo.sh 腳本以下 chmod -v +x lo.sh .  /aa/lo.sh 而後再傳給13的ip   director調度器 在11上作的 給網卡臨時設置vip地址 yum  -y  install  ipvsadm -w  權重  -g指定LVS 的工做模式爲DR直接路由模式(也是LVS 默認的模式) ipvsadm  -sn > /etc/sysconfig/ipvsadm   備份 curl  192.168.11.12 curl  192.168.11.13 訪問測試(win7/win10上作)： 打開mobaxterm軟件，點窗口上的+加號來開啓一個cmd命令行界面，執行5次以下命令，看顯示的網頁信息有何不一樣 curl 192.168.11.100