bond模式

一、mode=0(balance-rr)(平衡掄循環策略)

鏈路負載均衡,增長帶寬,支持容錯,一條鏈路故障會自動切換正常鏈路。交換機須要配置聚合口,思科叫port channel。
特色:傳輸數據包順序是依次傳輸(即:第1個包走eth0,下一個包就走eth1….一直循環下去,直到最後一個傳輸完畢),此模式提供負載平衡和容錯能力;可是咱們知道若是一個鏈接
或者會話的數據包從不一樣的接口發出的話,中途再通過不一樣的鏈路,在客戶端頗有可能會出現數據包無序到達的問題,而無序到達的數據包須要從新要求被髮送,這樣網絡的吞吐量就會降低
linux

二、mode=1(active-backup)(主-備份策略)

這個是主備模式,只有一塊網卡是active,另外一塊是備用的standby,全部流量都在active鏈路上處理,交換機配置的是捆綁的話將不能工做,由於交換機往兩塊網卡發包,有一半包是丟棄的。
特色:只有一個設備處於活動狀態,當一個宕掉另外一個立刻由備份轉換爲主設備。mac地址是外部可見得,從外面看來,bond的MAC地址是惟一的,以免switch(交換機)發生混亂。
此模式只提供了容錯能力;因而可知此算法的優勢是能夠提供高網絡鏈接的可用性,可是它的資源利用率較低,只有一個接口處於工做狀態,在有 N 個網絡接口的狀況下,資源利用率爲1/N算法

三、mode=2(balance-xor)(平衡策略)

表示XOR Hash負載分擔,和交換機的聚合強制不協商方式配合。(須要xmit_hash_policy,須要交換機配置port channel)
特色:基於指定的傳輸HASH策略傳輸數據包。缺省的策略是:(源MAC地址 XOR 目標MAC地址) % slave數量。其餘的傳輸策略能夠經過xmit_hash_policy選項指定,此模式提供負載平衡和容錯能力vim

四、mode=3(broadcast)(廣播策略)

表示全部包從全部網絡接口發出,這個不均衡,只有冗餘機制,但過於浪費資源。此模式適用於金融行業,由於他們須要高可靠性的網絡,不容許出現任何問題。須要和交換機的聚合強制不協商方式配合。
特色:在每一個slave接口上傳輸每一個數據包,此模式提供了容錯能力服務器

五、mode=4(802.3ad)(IEEE 802.3ad 動態連接聚合)

表示支持802.3ad協議,和交換機的聚合LACP方式配合(須要xmit_hash_policy).標準要求全部設備在聚合操做時,要在一樣的速率和雙工模式,並且,和除了balance-rr模式外的其它bonding負載均衡模式同樣,任何鏈接都不能使用多於一個接口的帶寬。
特色:建立一個聚合組,它們共享一樣的速率和雙工設定。根據802.3ad規範將多個slave工做在同一個激活的聚合體下。
外出流量的slave選舉是基於傳輸hash策略,該策略能夠經過xmit_hash_policy選項從缺省的XOR策略改變到其餘策略。須要注意的 是,並非全部的傳輸策略都是802.3ad適應的,
尤爲考慮到在802.3ad標準43.2.4章節說起的包亂序問題。不一樣的實現可能會有不一樣的適應 性。
必要條件:
條件1:ethtool支持獲取每一個slave的速率和雙工設定
條件2:switch(交換機)支持IEEE 802.3ad Dynamic link aggregation
條件3:大多數switch(交換機)須要通過特定配置才能支持802.3ad模式網絡

六、mode=5(balance-tlb)(適配器傳輸負載均衡)

是根據每一個slave的負載狀況選擇slave進行發送,接收時使用當前輪到的slave。該模式要求slave接口的網絡設備驅動有某種ethtool支持;並且ARP監控不可用。
特色:不須要任何特別的switch(交換機)支持的通道bonding。在每一個slave上根據當前的負載(根據速度計算)分配外出流量。若是正在接受數據的slave出故障了,另外一個slave接管失敗的slave的MAC地址。
必要條件:
ethtool支持獲取每一個slave的速率併發

七、mode=6(balance-alb)(適配器適應性負載均衡)

 

在5的tlb基礎上增長了rlb(接收負載均衡receive load balance).不須要任何switch(交換機)的支持。接收負載均衡是經過ARP協商實現的.
特色:該模式包含了balance-tlb模式,同時加上針對IPV4流量的接收負載均衡(receive load balance, rlb),並且不須要任何switch(交換機)的支持。接收負載均衡是經過ARP協商實現的。bonding驅動截獲本機發送的ARP應答,並把源硬件地址改寫爲bond中某個slave的惟一硬件地址,從而使得不一樣的對端使用不一樣的硬件地址進行通訊。
來自服務器端的接收流量也會被均衡。當本機發送ARP請求時,bonding驅動把對端的IP信息從ARP包中複製並保存下來。當ARP應答從對端到達 時,bonding驅動把它的硬件地址提取出來,併發起一個ARP應答給bond中的某個slave。
使用ARP協商進行負載均衡的一個問題是:每次廣播 ARP請求時都會使用bond的硬件地址,所以對端學習到這個硬件地址後,接收流量將會所有流向當前的slave。這個問題能夠經過給全部的對端發送更新 (ARP應答)來解決,應答中包含他們獨一無二的硬件地址,從而致使流量從新分佈。
當新的slave加入到bond中時,或者某個未激活的slave從新 激活時,接收流量也要從新分佈。接收的負載被順序地分佈(round robin)在bond中最高速的slave上
當某個鏈路被從新接上,或者一個新的slave加入到bond中,接收流量在全部當前激活的slave中所有從新分配,經過使用指定的MAC地址給每一個 client發起ARP應答。下面介紹的updelay參數必須被設置爲某個大於等於switch(交換機)轉發延時的值,從而保證發往對端的ARP應答 不會被switch(交換機)阻截。
必要條件:
條件1:ethtool支持獲取每一個slave的速率;
條件2:底層驅動支持設置某個設備的硬件地址,從而使得老是有個slave(curr_active_slave)使用bond的硬件地址,同時保證每一個bond 中的slave都有一個惟一的硬件地址。若是curr_active_slave出故障,它的硬件地址將會被新選出來的 curr_active_slave接管
其實mod=6與mod=0的區別:mod=6,先把eth0流量佔滿,再佔eth1,….ethX;而mod=0的話,會發現2個口的流量都很穩定,基本同樣的帶寬。而mod=6,會發現第一個口流量很高,第2個口只佔了小部分流量。負載均衡

 

 

 

mode5和mode6不須要交換機端的設置,網卡能自動聚合。mode4須要支持802.3ad。mode0,mode2和mode3理論上須要靜態聚合方式。
但實測中mode0能夠經過mac地址欺騙的方式在交換機不設置的狀況下不太均衡地進行接收。tcp

 

 

 

======================================學習

 

vim /etc/modprobe.d/bond.conf
添加如下內容:
alias bond0 bonding
options bond0 miimon=100 mode=4 xmit_hash_policy=layer3+4spa

#miimon是用來進行鏈路監測的:miimon=100表示系統每100ms監測一次鏈路鏈接狀態,若是有一條線路不一樣就轉入另外一條線路。
miimon:指定MII鏈路監控頻率,單位是毫秒(ms)。這將決定驅動檢查每一個slave鏈路狀態頻率。0表示禁止MII鏈路監控。100能夠做爲一個很好的初始參考值

bonding的七種工做模式:

balance-rr (mode=0) 默認, 有高可用 (容錯) 和負載均衡的功能, 須要交換機的配置,每塊網卡輪詢發包 (流量分發比較均衡)。
active-backup (mode=1) 只有高可用 (容錯) 功能, 不須要交換機配置, 這種模式只有一塊網卡工做, 對外只有一個mac地址。缺點是端口利用率比較低
balance-xor (mode=2) 不經常使用
broadcast (mode=3) 不經常使用
802.3ad (mode=4) IEEE 802.3ad 動態鏈路聚合,須要交換機配置,沒用過
balance-tlb (mode=5) 不經常使用
balance-alb (mode=6) 有高可用 ( 容錯 )和負載均衡的功能,不須要交換機配置 (流量分發到每一個接口不是特別均衡)

 

bond驅動參數
miimon: 監視網絡連接的頻度,單位是毫秒,咱們設置的是100毫秒。
mode: bond模式,主要有如下幾種,在通常的實際應用中,0和1用的比較多。
xmit_hash_policy:
這個參數的重要性我認爲僅次於mode參數,mode參數定義了分發模式 ,而這個參數定義了分發策略 ,文檔上說這個參數用於mode2和mode4,我以爲還能夠定義更爲複雜的策略呢。
1.layer2: 使用二層幀頭做爲計算分發出口的參數,這致使經過同一個網關的數據流將徹底從一個端口發送,爲了更加細化分發策略,必須使用一些三層信息,然而卻增長了計算開銷,天啊,一切都要權衡!
2.layer2+3: 在1的基礎上增長了三層的ip報頭信息,計算量增長了,然而負載卻更加均衡了,一個個主機到主機的數據流造成而且同一個流被分發到同一個端口,根據這個思想,若是要使負載更加均衡,咱們在繼續增長代價的前提下能夠拿到4層的信息。
3.layer3+4: 這個還用多說嗎?能夠造成一個個端口到端口的流,負載更加均衡。然並且慢! 事情尚未結束,雖然策略上咱們不想將同一個tcp流的傳輸處理並行化以免re-order或者re-transmit,由於tcp自己就是一個串行協議,好比Intel的8257X系列網卡芯片都在儘可能減小將一個tcp流的包分發到不一樣的cpu,一樣,端口聚合的環境下,同一個tcp流也應該使用本policy使用同一個端口發送,可是不要忘記,tcp要通過ip,而ip是可能要分段的,分了段的ip數據報中直到其被重組(到達對端或者到達一個使用nat的設備)都不再能將之劃爲某個tcp流了。ip是一個徹底無鏈接的協議,它只關心按照本地的mtu進行分段而無論別的,這就致使不少時候咱們使用layer3+4策略不會獲得徹底滿意的結果。但是事情又不是那麼嚴重,由於ip只是依照本地的mtu進行分段,而tcp是端到端的,它可使用諸如mss以及mtu發現之類的機制配合滑動窗口機制最大限度減小ip分段,所以layer3+4策略,很OK!

事實上這個選項的配置是 xmit_hash_policy=layer3+4 (目前配置爲1,應該是等價於layer3+4 ,目前未肯定)

 

 

mode0默認,linux默認

[root@t1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
TYPE=Ethernet
NAME=bond0
BONDING_MASTER=yes
ONBOOT=yes
BOOTPROTO=none


[root@t1 ~]# cat /proc/net/bonding/bond0 Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011) Bonding Mode: load balancing (round-robin) MII Status: up MII Polling Interval (ms): 0 Up Delay (ms): 0 Down Delay (ms): 0 Slave Interface: enp28s0f0 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 90:e2:ba:89:5a:34 Slave queue ID: 0 Slave Interface: enp46s0f0 MII Status: up Speed: 10000 Mbps Duplex: full Link Failure Count: 0 Permanent HW addr: 90:e2:ba:88:c8:18 Slave queue ID: 0

 

 

mode1

[root@t1 network-scripts]# cat ifcfg-bond0
DEVICE=bond0
TYPE=Ethernet
NAME=bond0
BONDING_MASTER=yes
ONBOOT=yes
BOOTPROTO=none
BONDING_OPTS='mode=1 miimon=100'

=======================================

[root@t1 network-scripts]# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: enp28s0f0
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: enp28s0f0
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 90:e2:ba:89:5a:34
Slave queue ID: 0

Slave Interface: enp46s0f0
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 90:e2:ba:88:c8:18
Slave queue ID: 0


========================================
斷開一條線路後,以下所示,切換到另外一條線路上enp46s0f0


[root@t1 network-scripts]# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: enp46s0f0
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: enp28s0f0
MII Status: down
Speed: Unknown
Duplex: Unknown
Link Failure Count: 1
Permanent HW addr: 90:e2:ba:89:5a:34
Slave queue ID: 0

Slave Interface: enp46s0f0
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 90:e2:ba:88:c8:18
Slave queue ID: 0


[root@t1 ~]# ethtool bond0
Settings for bond0:
        Supported ports: [ ]
        Supported link modes:   Not reported
        Supported pause frame use: No
        Supports auto-negotiation: No
        Supported FEC modes: Not reported
        Advertised link modes:  Not reported
        Advertised pause frame use: No
        Advertised auto-negotiation: No
        Advertised FEC modes: Not reported
        Speed: 10000Mb/s
        Duplex: Full
        Port: Other
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: off
        Link detected: yes

 

mode4

[root@t1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
TYPE=Ethernet
NAME=bond0
BONDING_MASTER=yes
ONBOOT=yes
BOOTPROTO=none
BONDING_OPTS='mode=4 xmit_hash_policy=layer2+3'
將bond0改成lacp,也就是mode4
重啓bond0.7,bond0.8,bond0後
在交換機上也要配置
[~HUAWEI-Eth-Trunk5]mode lacp-static
[*HUAWEI-Eth-Trunk5]commit
即主機也交換機兩端要一致。默認是mode manual


[root@t1 ~]# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer2+3 (2)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: 90:e2:ba:89:5a:34
Active Aggregator Info:
        Aggregator ID: 1
        Number of ports: 1
        Actor Key: 15
        Partner Key: 1
        Partner Mac Address: 00:00:00:00:00:00

Slave Interface: enp28s0f0
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 90:e2:ba:89:5a:34
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: churned
Actor Churned Count: 0
Partner Churned Count: 1
details actor lacp pdu:
    system priority: 65535
    system mac address: 90:e2:ba:89:5a:34
    port key: 15
    port priority: 255
    port number: 1
    port state: 77
details partner lacp pdu:
    system priority: 65535
    system mac address: 00:00:00:00:00:00
    oper key: 1
    port priority: 255
    port number: 1
    port state: 1

Slave Interface: enp46s0f0
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 90:e2:ba:88:c8:18
Slave queue ID: 0
Aggregator ID: 2
Actor Churn State: churned
Partner Churn State: churned
Actor Churned Count: 1
Partner Churned Count: 1
details actor lacp pdu:
    system priority: 65535
    system mac address: 90:e2:ba:89:5a:34
    port key: 15
    port priority: 255
    port number: 2
    port state: 69
details partner lacp pdu:
    system priority: 65535
    system mac address: 00:00:00:00:00:00
    oper key: 1
    port priority: 255
    port number: 1
    port state: 1
[root@t1 ~]#


=================================================


[~HUAWEI-Eth-Trunk5]mode lacp-static
[*HUAWEI-Eth-Trunk5]commit
[~HUAWEI-Eth-Trunk5]mode manual
[*HUAWEI-Eth-Trunk5]commit
[~HUAWEI-Eth-Trunk5]mode lacp-static
[*HUAWEI-Eth-Trunk5]commit
[~HUAWEI-Eth-Trunk5]display eth-trunk 5
Eth-Trunk5's state information is:
Local:
LAG ID: 5                       Working Mode: Static
Preempt Delay: Disabled         Hash Arithmetic: src-dst-mac
System Priority: 32768          System ID: 002e-c793-eb21
Least Active-linknumber: 1      Max Active-linknumber: 16
Operating Status: up            Number Of Up Ports In Trunk: 2
Timeout Period: Slow
--------------------------------------------------------------------------------
ActorPortName          Status   PortType PortPri PortNo PortKey PortState Weight
10GE1/0/5              Selected 10GE     32768   11     1345    10111100  1
10GE2/0/5              Selected 10GE     32768   12     1345    10111100  1

Partner:
--------------------------------------------------------------------------------
ActorPortName          SysPri   SystemID        PortPri PortNo PortKey PortState
10GE1/0/5              65535    90e2-ba89-5a34  255     1      15      10111100
10GE2/0/5              65535    90e2-ba89-5a34  255     2      15      10111100

[~HUAWEI-Eth-Trunk5]
相關文章
相關標籤/搜索