ethtool 解決網卡丟包嚴重和網卡原理

 

1 概述

最近業務上老有問題，查看發現overruns值不斷增長，學習了一下相關的知識。發現數值也在不停的增長。發現這些 errors, dropped, overruns 表示的含義還不大同樣。

 [root@localhost ~]# ifconfig eth0
 
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
 
inet 192.168.1.135 netmask 255.255.255.0 broadcast 192.168.1.255
 
inet6 fe80::20c:29ff:fe9b:52d3 prefixlen 64 scopeid 0x20<link>
 
ether 00:0c:29:9b:52:d3 txqueuelen 1000 (Ethernet)
 
RX packets 833 bytes 61846 (60.3 KiB)
 
RX errors 0 dropped 0 overruns 0 frame 0
 
TX packets 122 bytes 9028 (8.8 KiB)
 
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

(1) RX errors

表示總的收包的錯誤數量，這包括 too-long-frames 錯誤，Ring Buffer 溢出錯誤，crc 校驗錯誤，幀同步錯誤，fifo overruns 以及 missed pkg 等等。

(2) RX dropped

表示數據包已經進入了 Ring Buffer，可是因爲內存不夠等系統緣由，致使在拷貝到內存的過程當中被丟棄。

(3) RX overruns

表示了 fifo 的 overruns，這是因爲 Ring Buffer(aka Driver Queue) 傳輸的 IO 大於 kernel 可以處理的 IO 致使的，而 Ring Buffer 則是指在發起 IRQ 請求以前的那塊 buffer。很明顯，overruns 的增大意味着數據包沒到 Ring Buffer 就被網卡物理層給丟棄了，而 CPU 沒法即便的處理中斷是形成 Ring Buffer 滿的緣由之一，上面那臺有問題的機器就是由於 interruprs 分佈的不均勻(都壓在 core0)，沒有作 affinity 而形成的丟包。

(4) RX frame

表示 misaligned 的 frames。

2 網卡工做原理

2.1 網卡收包

網線上的packet首先被網卡獲取，網卡會檢查packet的CRC校驗，保證完整性，而後將packet頭去掉，獲得frame。網卡會檢查MAC包內的目的MAC地址，若是和本網卡的MAC地址不同則丟棄(混雜模式除外)。

網卡將frame拷貝到網卡內部的FIFO緩衝區，觸發硬件中斷。（若有ring buffer的網卡，好像frame能夠先存在ring buffer裏再觸發軟件中斷（下篇文章將詳細解釋Linux中frame的走向），ring buffer是網卡和驅動程序共享，是設備裏的內存，可是對操做系統是可見的，由於看到linux內核源碼裏網卡驅動程序是使用kcalloc來分配的空間，因此ring buffer通常都有上限，另外這個ring buffer size，表示的應該是能存儲的frame的個數，而不是字節大小。另外有些系統的 ethtool 命令 並不能改變ring parameters來設置ring buffer的大小，暫時不知道爲何，多是驅動不支持。）

網卡驅動程序經過硬中斷處理函數，構建sk_buff，把frame從網卡FIFO拷貝到內存skb中，接下來交給內核處理。（支持napi的網卡應該是直接放在ring buffer，不觸發硬中斷，直接使用軟中斷，拷貝ring buffer裏的數據，直接輸送給上層處理，每一個網卡在一次軟中斷處理過程能處理weight個frame）

過程當中，網卡芯片對frame進行了MAC過濾，以減少系統負荷。（除了混雜模式）

2.2 網卡發包

網卡驅動程序將IP包添加14字節的MAC頭，構成frame（暫無CRC）。Frame（暫無CRC）中含有發送端和接收端的MAC地址，因爲是驅動程序建立MAC頭，因此能夠隨便輸入地址，也能夠進行主機假裝。

驅動程序將frame（暫無CRC）拷貝到網卡芯片內部的緩衝區，由網卡處理。

網卡芯片將未徹底完成的frame（缺CRC）再次封裝爲能夠發送的packet，也就是添加頭部同步信息和CRC校驗，而後丟到網線上，就完成一個IP報的發送了，全部接到網線上的網卡均可以看到該packet。

2.3 網卡中斷處理函數 

產生中斷的每一個設備都有一個相應的中斷處理程序，是設備驅動程序的一部分。每一個網卡都有一箇中斷處理程序，用於通知網卡該中斷已經被接收了，以及把網卡緩衝區的數據包拷貝到內存中。

當網卡接收來自網絡的數據包時，須要通知內核數據包到了。網卡當即發出中斷。內核經過執行網卡已註冊的中斷處理函數來作出應答。中斷處理程序開始執行，通知硬件，拷貝最新的網絡數據包到內存，而後讀取網卡更多的數據包。

這些都是重要、緊迫而又與硬件相關的工做。內核一般須要快速的拷貝網絡數據包到系統內存，由於網卡上接收網絡數據包的緩存大小固定，並且相比系統內存也要小得多。因此上述拷貝動做一旦被延遲，必然形成網卡FIFO緩存溢出 - 進入的數據包占滿了網卡的緩存，後續的包只能被丟棄，這也應該就是ifconfig裏的overrun的來源。

當網絡數據包被拷貝到系統內存後，中斷的任務算是完成了，這時它把控制權交還給被系統中斷前運行的程序。

2.4 緩衝區訪問

網卡的內核緩衝區，是在PC內存中，由內核控制，而網卡會有FIFO緩衝區，或者ring buffer，這應該將二者區分開。FIFO比較小，裏面有數據便會盡可能將數據存在內核緩衝中。

網卡中的緩衝區既不屬於內核空間，也不屬於用戶空間。它屬於硬件緩衝，容許網卡與操做系統之間有個緩衝；

內核緩衝區在內核空間，在內存中，用於內核程序，作爲讀自或寫往硬件的數據緩衝區；

用戶緩衝區在用戶空間，在內存中，用於用戶程序，作爲讀自或寫往硬件的數據緩衝區；

另外，爲了加快數據的交互，能夠將內核緩衝區映射到用戶空間，這樣，內核程序和用戶程序就能夠同時訪問這一區間了。

 

對於有ring buffer的網卡，ring buffer是由驅動與網卡共享的，因此內核能夠直接訪問ring buffer，通常拷貝frames的副本到本身的內核空間進行處理（deliver到上層協議，以後的一個個skb就是按skb的指針傳遞方式傳遞，直到用戶得到數據，因此，對於ring buffer網卡，大量拷貝發生在frame從ring buffer傳遞到內核控制的計算機內存裏）。

3 丟包排查

網卡工做在數據鏈路層，數據量鏈路層，會作一些校驗，封裝成幀。咱們能夠查看校驗是否出錯，肯定傳輸是否存在問題。而後從軟件層面，是否由於緩衝區過小丟包。

3.1 先查看硬件狀況

一臺機器常常收到丟包的報警，先看看最底層的有沒有問題:

(1) 查看工做模式是否正常

1  [root@localhost ~]# ethtool eth0 | egrep 'Speed|Duplex'
2 Speed: 1000Mb/s
3  Duplex: Full

(2) 查看檢驗是否正常

1 [root@localhost ~]# ethtool -S eth0 | grep crc
2 rx_crc_errors: 0

Speed，Duplex，CRC 之類的都沒問題，基本能夠排除物理層面的干擾。

3.2 經過 ifconfig 能夠看到 overruns 是否一直增大

for i in `seq 1 100`; do ifconfig eth2 | grep RX | grep overruns; sleep 1; done

這裏一直增長

RX packets:346547657 errors:0 dropped:0 overruns:35345 frame:0

3.3 查看buffer大小

能夠經過ethtool來修改網卡的buffer size ，首先要網卡支持，個人服務器是是INTEL 的1000M網卡,咱們看看ethtool說明 

1 -g   –show-ringQueries the specified ethernet device for rx/tx ring parameter information.
2  -G   –set-ringChanges the rx/tx ring parameters of the specified ethernet device.

(1) 查看當前網卡的buffer size狀況

ethtool -g eth0

 1  [root@localhost ~]# ethtool -g eth0
 2  Ring parameters for eth0:
 3  Pre-set maximums:
 4  RX: 4096
 5  RX Mini: 0
 6  RX Jumbo: 0
 7  TX: 4096
 8  Current hardware settings:
 9  RX: 256
10  RX Mini: 0
11  RX Jumbo: 0
12  TX: 256

3.4 修改buffer size大小

 
ethtool -G eth0 rx 2048
 
 
 
ethtool -G eth0 tx 2048

[root@localhost ~]# ethtool -G eth0 rx 2048
 
[root@localhost ~]#
 
[root@localhost ~]#
 
[root@localhost ~]# ethtool -G eth0 tx 2048
 
[root@localhost ~]#
 
[root@localhost ~]#
 
[root@localhost ~]# ethtool -g eth0
 
Ring parameters for eth0:
 
Pre-set maximums:
 
RX: 4096
 
RX Mini: 0
 
RX Jumbo: 0
 
TX: 4096
 
Current hardware settings:
 
RX: 2048
 
RX Mini: 0
 
RX Jumbo: 0
 
TX: 2048