經過Mellanox ConnectX NIC使用XDP加速

經過Mellanox ConnectX NIC使用XDP加速

Accelerating with XDP over Mellanox ConnectX NICs

XDP（eXpress Data Path）是Linux內核網絡堆棧中的可編程數據路徑。爲BPF提供了一個框架，能夠在運行時實現高性能的包處理。XDP與Linux網絡堆棧協同工做，不是內核旁路。        

因爲XDP運行在內核網絡驅動程序中，能夠從網卡的RX環讀取以太網幀並當即採起運行。XDP經過在驅動程序中實現的RX鉤子插入eBPF基礎架構。XDP是EBPF的一個應用程序，可使用返回碼觸發操做、修改包內容和推/拉頭文件信息。             

XDP有各類各樣的用例，好比包過濾、包轉發、負載平衡、DDOS緩解等等。一個常見的用例是XDP_DROP，指示驅動程序丟棄數據包。這能夠經過運行自定義BPF程序來解析在驅動程序中接收到的傳入數據包來完成。這個程序返回一個決策判斷或返回碼（XDP_DROP），其中數據包在驅動程序級被丟棄，而不會浪費任何進一步的資源。Ethtool計數器可用於驗證XDP程序的操做。

Running XDP_DROP

XDP程序一進入網絡驅動程序就運行，從而提升了網絡性能。還提升了CPU利用率。Mellanox ConnectX NIC系列容許NIC硬件準備元數據。此元數據可用於對使用XDP的應用程序執行硬件加速。             

下面是一個如何使用Mellanox ConnectX-5運行XDP_DROP的示例。             

檢查當前內核是否支持bpf和xdp：

sysctl net/core/bpf_jit_enable

若是找不到，請編譯並運行啓用了BPF的內核。可使用任何大於5.0的上游內核。             

啓用如下kconfig標誌：

• BPF BPF_SYSCALL
• BPF_JIT
• HAVE_BPF_JIT
• BPF_EVENTS

創新啓動新的kernel.

Install clang and llvm:

yum install -y llvm clang libcap-devel

按照如下方法編譯

cd <linux src code> make samples/bpf/ 

這將編譯全部可用的XDP應用程序。編譯完成後，將看到/sample/bpf下的全部XDP應用程序（圖1）。

 

Figure 1. XDP applications under /sample/bpf.

在前面的安裝中，如今能夠運行XDP應用程序了。能夠在兩種模式下運行：             

驅動程序路徑必須在驅動程序中具備實現。以頁面分辨率工做，不建立SKB。性能明顯提升。Mellanox NIC支持此模式。             

通用路徑適用於任何網絡設備。與SKBs合做，但性能更差。             

在驅動程序路徑中運行XDP_DROP。XDP_DROP是在Linux中丟棄數據包最簡單、最快的方法之一。在這裏，指示驅動程序在驅動程序的最先Rx階段丟棄數據包。這意味着數據包被回收回剛剛到達的RX環隊列中。              

位於<linux\u source>/samples/bpf/implements XDP Drop的xdp1應用程序。             

選擇選擇的流量生成器。使用Cisco TRex。             

在RX端，使用如下命令在驅動程序路徑中啓動xdp1：

<PATH_TO_LINUX_SOURCE>/samples/bpf/xdp1 -N <INTERFACE>  # -N can be omitted

可使用應用程序輸出，同時ethtool計數器顯示XDP丟棄率：

ethtool -S <intf> | grep -iE rx[0-9]*_xdp_drop

 

Figure 2. Verify XDP drop counter using ethtool counters.