鏈路負載均衡,增長帶寬,支持容錯,一條鏈路故障會自動切換正常鏈路。交換機須要配置聚合口,思科叫port channel。
特色:傳輸數據包順序是依次傳輸(即:第1個包走eth0,下一個包就走eth1….一直循環下去,直到最後一個傳輸完畢),此模式提供負載平衡和容錯能力;可是咱們知道若是一個鏈接
或者會話的數據包從不一樣的接口發出的話,中途再通過不一樣的鏈路,在客戶端頗有可能會出現數據包無序到達的問題,而無序到達的數據包須要從新要求被髮送,這樣網絡的吞吐量就會降低
linux
這個是主備模式,只有一塊網卡是active,另外一塊是備用的standby,全部流量都在active鏈路上處理,交換機配置的是捆綁的話將不能工做,由於交換機往兩塊網卡發包,有一半包是丟棄的。
特色:只有一個設備處於活動狀態,當一個宕掉另外一個立刻由備份轉換爲主設備。mac地址是外部可見得,從外面看來,bond的MAC地址是惟一的,以免switch(交換機)發生混亂。
此模式只提供了容錯能力;因而可知此算法的優勢是能夠提供高網絡鏈接的可用性,可是它的資源利用率較低,只有一個接口處於工做狀態,在有 N 個網絡接口的狀況下,資源利用率爲1/N算法
表示XOR Hash負載分擔,和交換機的聚合強制不協商方式配合。(須要xmit_hash_policy,須要交換機配置port channel)
特色:基於指定的傳輸HASH策略傳輸數據包。缺省的策略是:(源MAC地址 XOR 目標MAC地址) % slave數量。其餘的傳輸策略能夠經過xmit_hash_policy選項指定,此模式提供負載平衡和容錯能力vim
表示全部包從全部網絡接口發出,這個不均衡,只有冗餘機制,但過於浪費資源。此模式適用於金融行業,由於他們須要高可靠性的網絡,不容許出現任何問題。須要和交換機的聚合強制不協商方式配合。
特色:在每一個slave接口上傳輸每一個數據包,此模式提供了容錯能力服務器
表示支持802.3ad協議,和交換機的聚合LACP方式配合(須要xmit_hash_policy).標準要求全部設備在聚合操做時,要在一樣的速率和雙工模式,並且,和除了balance-rr模式外的其它bonding負載均衡模式同樣,任何鏈接都不能使用多於一個接口的帶寬。
特色:建立一個聚合組,它們共享一樣的速率和雙工設定。根據802.3ad規範將多個slave工做在同一個激活的聚合體下。
外出流量的slave選舉是基於傳輸hash策略,該策略能夠經過xmit_hash_policy選項從缺省的XOR策略改變到其餘策略。須要注意的 是,並非全部的傳輸策略都是802.3ad適應的,
尤爲考慮到在802.3ad標準43.2.4章節說起的包亂序問題。不一樣的實現可能會有不一樣的適應 性。
必要條件:
條件1:ethtool支持獲取每一個slave的速率和雙工設定
條件2:switch(交換機)支持IEEE 802.3ad Dynamic link aggregation
條件3:大多數switch(交換機)須要通過特定配置才能支持802.3ad模式網絡
是根據每一個slave的負載狀況選擇slave進行發送,接收時使用當前輪到的slave。該模式要求slave接口的網絡設備驅動有某種ethtool支持;並且ARP監控不可用。
特色:不須要任何特別的switch(交換機)支持的通道bonding。在每一個slave上根據當前的負載(根據速度計算)分配外出流量。若是正在接受數據的slave出故障了,另外一個slave接管失敗的slave的MAC地址。
必要條件:
ethtool支持獲取每一個slave的速率併發
在5的tlb基礎上增長了rlb(接收負載均衡receive load balance).不須要任何switch(交換機)的支持。接收負載均衡是經過ARP協商實現的.
特色:該模式包含了balance-tlb模式,同時加上針對IPV4流量的接收負載均衡(receive load balance, rlb),並且不須要任何switch(交換機)的支持。接收負載均衡是經過ARP協商實現的。bonding驅動截獲本機發送的ARP應答,並把源硬件地址改寫爲bond中某個slave的惟一硬件地址,從而使得不一樣的對端使用不一樣的硬件地址進行通訊。
來自服務器端的接收流量也會被均衡。當本機發送ARP請求時,bonding驅動把對端的IP信息從ARP包中複製並保存下來。當ARP應答從對端到達 時,bonding驅動把它的硬件地址提取出來,併發起一個ARP應答給bond中的某個slave。
使用ARP協商進行負載均衡的一個問題是:每次廣播 ARP請求時都會使用bond的硬件地址,所以對端學習到這個硬件地址後,接收流量將會所有流向當前的slave。這個問題能夠經過給全部的對端發送更新 (ARP應答)來解決,應答中包含他們獨一無二的硬件地址,從而致使流量從新分佈。
當新的slave加入到bond中時,或者某個未激活的slave從新 激活時,接收流量也要從新分佈。接收的負載被順序地分佈(round robin)在bond中最高速的slave上
當某個鏈路被從新接上,或者一個新的slave加入到bond中,接收流量在全部當前激活的slave中所有從新分配,經過使用指定的MAC地址給每一個 client發起ARP應答。下面介紹的updelay參數必須被設置爲某個大於等於switch(交換機)轉發延時的值,從而保證發往對端的ARP應答 不會被switch(交換機)阻截。
必要條件:
條件1:ethtool支持獲取每一個slave的速率;
條件2:底層驅動支持設置某個設備的硬件地址,從而使得老是有個slave(curr_active_slave)使用bond的硬件地址,同時保證每一個bond 中的slave都有一個惟一的硬件地址。若是curr_active_slave出故障,它的硬件地址將會被新選出來的 curr_active_slave接管
其實mod=6與mod=0的區別:mod=6,先把eth0流量佔滿,再佔eth1,….ethX;而mod=0的話,會發現2個口的流量都很穩定,基本同樣的帶寬。而mod=6,會發現第一個口流量很高,第2個口只佔了小部分流量。負載均衡
mode5和mode6不須要交換機端的設置,網卡能自動聚合。mode4須要支持802.3ad。mode0,mode2和mode3理論上須要靜態聚合方式。
但實測中mode0能夠經過mac地址欺騙的方式在交換機不設置的狀況下不太均衡地進行接收。tcp
======================================學習
vim /etc/modprobe.d/bond.conf
添加如下內容:
alias bond0 bonding
options bond0 miimon=100 mode=4 xmit_hash_policy=layer3+4spa
#miimon是用來進行鏈路監測的:miimon=100表示系統每100ms監測一次鏈路鏈接狀態,若是有一條線路不一樣就轉入另外一條線路。
miimon:指定MII鏈路監控頻率,單位是毫秒(ms)。這將決定驅動檢查每一個slave鏈路狀態頻率。0表示禁止MII鏈路監控。100能夠做爲一個很好的初始參考值
bonding的七種工做模式:
balance-rr (mode=0) 默認, 有高可用 (容錯) 和負載均衡的功能, 須要交換機的配置,每塊網卡輪詢發包 (流量分發比較均衡)。
active-backup (mode=1) 只有高可用 (容錯) 功能, 不須要交換機配置, 這種模式只有一塊網卡工做, 對外只有一個mac地址。缺點是端口利用率比較低
balance-xor (mode=2) 不經常使用
broadcast (mode=3) 不經常使用
802.3ad (mode=4) IEEE 802.3ad 動態鏈路聚合,須要交換機配置,沒用過
balance-tlb (mode=5) 不經常使用
balance-alb (mode=6) 有高可用 ( 容錯 )和負載均衡的功能,不須要交換機配置 (流量分發到每一個接口不是特別均衡)
bond驅動參數
miimon: 監視網絡連接的頻度,單位是毫秒,咱們設置的是100毫秒。
mode: bond模式,主要有如下幾種,在通常的實際應用中,0和1用的比較多。
xmit_hash_policy:
這個參數的重要性我認爲僅次於mode參數,mode參數定義了分發模式 ,而這個參數定義了分發策略 ,文檔上說這個參數用於mode2和mode4,我以爲還能夠定義更爲複雜的策略呢。
1.layer2: 使用二層幀頭做爲計算分發出口的參數,這致使經過同一個網關的數據流將徹底從一個端口發送,爲了更加細化分發策略,必須使用一些三層信息,然而卻增長了計算開銷,天啊,一切都要權衡!
2.layer2+3: 在1的基礎上增長了三層的ip報頭信息,計算量增長了,然而負載卻更加均衡了,一個個主機到主機的數據流造成而且同一個流被分發到同一個端口,根據這個思想,若是要使負載更加均衡,咱們在繼續增長代價的前提下能夠拿到4層的信息。
3.layer3+4: 這個還用多說嗎?能夠造成一個個端口到端口的流,負載更加均衡。然並且慢! 事情尚未結束,雖然策略上咱們不想將同一個tcp流的傳輸處理並行化以免re-order或者re-transmit,由於tcp自己就是一個串行協議,好比Intel的8257X系列網卡芯片都在儘可能減小將一個tcp流的包分發到不一樣的cpu,一樣,端口聚合的環境下,同一個tcp流也應該使用本policy使用同一個端口發送,可是不要忘記,tcp要通過ip,而ip是可能要分段的,分了段的ip數據報中直到其被重組(到達對端或者到達一個使用nat的設備)都不再能將之劃爲某個tcp流了。ip是一個徹底無鏈接的協議,它只關心按照本地的mtu進行分段而無論別的,這就致使不少時候咱們使用layer3+4策略不會獲得徹底滿意的結果。但是事情又不是那麼嚴重,由於ip只是依照本地的mtu進行分段,而tcp是端到端的,它可使用諸如mss以及mtu發現之類的機制配合滑動窗口機制最大限度減小ip分段,所以layer3+4策略,很OK!
事實上這個選項的配置是 xmit_hash_policy=layer3+4 (目前配置爲1,應該是等價於layer3+4 ,目前未肯定)
mode0默認,linux默認
[root@t1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 TYPE=Ethernet NAME=bond0 BONDING_MASTER=yes ONBOOT=yes BOOTPROTO=none
[root@t1 ~]# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) Bonding Mode: load balancing (round-robin) MII Status: up MII Polling Interval (ms): 0 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: enp28s0f0 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 90:e2:ba:89:5a:34 Slave queue ID: 0 Slave Interface: enp46s0f0 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 90:e2:ba:88:c8:18 Slave queue ID: 0
mode1
[root@t1 network-scripts]# cat ifcfg-bond0 DEVICE=bond0 TYPE=Ethernet NAME=bond0 BONDING_MASTER=yes ONBOOT=yes BOOTPROTO=none BONDING_OPTS='mode=1 miimon=100' ======================================= [root@t1 network-scripts]# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) Bonding Mode: fault-tolerance (active-backup) Primary Slave: None Currently Active Slave: enp28s0f0 MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: enp28s0f0 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 90:e2:ba:89:5a:34 Slave queue ID: 0 Slave Interface: enp46s0f0 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 90:e2:ba:88:c8:18 Slave queue ID: 0 ======================================== 斷開一條線路後,以下所示,切換到另外一條線路上enp46s0f0 [root@t1 network-scripts]# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) Bonding Mode: fault-tolerance (active-backup) Primary Slave: None Currently Active Slave: enp46s0f0 MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: enp28s0f0 MII Status: down Speed: Unknown Duplex: Unknown Link Failure Count: 1 Permanent HW addr: 90:e2:ba:89:5a:34 Slave queue ID: 0 Slave Interface: enp46s0f0 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 90:e2:ba:88:c8:18 Slave queue ID: 0 [root@t1 ~]# ethtool bond0 Settings for bond0: Supported ports: [ ] Supported link modes: Not reported Supported pause frame use: No Supports auto-negotiation: No Supported FEC modes: Not reported Advertised link modes: Not reported Advertised pause frame use: No Advertised auto-negotiation: No Advertised FEC modes: Not reported Speed: 10000Mb/s Duplex: Full Port: Other PHYAD: 0 Transceiver: internal Auto-negotiation: off Link detected: yes
mode4
[root@t1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 TYPE=Ethernet NAME=bond0 BONDING_MASTER=yes ONBOOT=yes BOOTPROTO=none BONDING_OPTS='mode=4 xmit_hash_policy=layer2+3' 將bond0改成lacp,也就是mode4 重啓bond0.7,bond0.8,bond0後 在交換機上也要配置 [~HUAWEI-Eth-Trunk5]mode lacp-static [*HUAWEI-Eth-Trunk5]commit 即主機也交換機兩端要一致。默認是mode manual [root@t1 ~]# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) Bonding Mode: IEEE 802.3ad Dynamic link aggregation Transmit Hash Policy: layer2+3 (2) MII Status: up MII Polling Interval (ms): 100 Up Delay (ms): 0 Down Delay (ms): 0 802.3ad info LACP rate: slow Min links: 0 Aggregator selection policy (ad_select): stable System priority: 65535 System MAC address: 90:e2:ba:89:5a:34 Active Aggregator Info: Aggregator ID: 1 Number of ports: 1 Actor Key: 15 Partner Key: 1 Partner Mac Address: 00:00:00:00:00:00 Slave Interface: enp28s0f0 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 90:e2:ba:89:5a:34 Slave queue ID: 0 Aggregator ID: 1 Actor Churn State: none Partner Churn State: churned Actor Churned Count: 0 Partner Churned Count: 1 details actor lacp pdu: system priority: 65535 system mac address: 90:e2:ba:89:5a:34 port key: 15 port priority: 255 port number: 1 port state: 77 details partner lacp pdu: system priority: 65535 system mac address: 00:00:00:00:00:00 oper key: 1 port priority: 255 port number: 1 port state: 1 Slave Interface: enp46s0f0 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 90:e2:ba:88:c8:18 Slave queue ID: 0 Aggregator ID: 2 Actor Churn State: churned Partner Churn State: churned Actor Churned Count: 1 Partner Churned Count: 1 details actor lacp pdu: system priority: 65535 system mac address: 90:e2:ba:89:5a:34 port key: 15 port priority: 255 port number: 2 port state: 69 details partner lacp pdu: system priority: 65535 system mac address: 00:00:00:00:00:00 oper key: 1 port priority: 255 port number: 1 port state: 1 [root@t1 ~]# ================================================= [~HUAWEI-Eth-Trunk5]mode lacp-static [*HUAWEI-Eth-Trunk5]commit [~HUAWEI-Eth-Trunk5]mode manual [*HUAWEI-Eth-Trunk5]commit [~HUAWEI-Eth-Trunk5]mode lacp-static [*HUAWEI-Eth-Trunk5]commit [~HUAWEI-Eth-Trunk5]display eth-trunk 5 Eth-Trunk5's state information is: Local: LAG ID: 5 Working Mode: Static Preempt Delay: Disabled Hash Arithmetic: src-dst-mac System Priority: 32768 System ID: 002e-c793-eb21 Least Active-linknumber: 1 Max Active-linknumber: 16 Operating Status: up Number Of Up Ports In Trunk: 2 Timeout Period: Slow -------------------------------------------------------------------------------- ActorPortName Status PortType PortPri PortNo PortKey PortState Weight 10GE1/0/5 Selected 10GE 32768 11 1345 10111100 1 10GE2/0/5 Selected 10GE 32768 12 1345 10111100 1 Partner: -------------------------------------------------------------------------------- ActorPortName SysPri SystemID PortPri PortNo PortKey PortState 10GE1/0/5 65535 90e2-ba89-5a34 255 1 15 10111100 10GE2/0/5 65535 90e2-ba89-5a34 255 2 15 10111100 [~HUAWEI-Eth-Trunk5]