探讨Linux网络性能的先进技术——XDP

大家好，今天我们通过几张图来聊一聊XDP技术。

许多Linux开发人员可能对XDP技术感到陌生，尤其是那些从事网络相关开发工作的人。如果你是一名Linux开发人员且对XDP技术不了解，那可能会错失许多机会。

我曾应用XDP技术对一个项目进行优化，成功提升了其网络处理性能3-4倍。也许有人会认为该项目原本性能较差，才有如此显著的提升空间。

我认为，在当前的软件架构下，即使进行进一步优化，性能瓶颈也不容易消除。必须采取更高效的架构，以更全面的视角来解决这个问题。

后续我的项目魔法盒子也会用上XDP技术，采用XDP技术后，魔法盒子的网络性能估计能够提高3倍左右。

1.XDP技术简介

1.1 XDP技术背景

随着超高带宽网络技术10G，40G，100G网络的出现，Linux内核协议栈越来越不能适应新的网络技术的发展，Linux内核协议栈似乎成为了网络性能的瓶颈和鸡肋，为了解决这个尴尬的处境，Linux内核引入了一个新的技术内核旁路(Kernel Bypass)技术，内核旁路技术的核心思想是网络数据包跳过内核协议栈，直接由用户程序处理，这样可以避免内核协议栈的开销，大大提高网络性能。

XDP是Linux特有的内核旁路技术，与之相对应的是DPDK技术。DPDK在性能方面表现出色，然而并不完全适用于Linux系统。

1.2 XDP是什么？

XDP是一种Linux内核技术，通过使用eBPF机制，在内核空间中实现高性能的数据包处理和转发。

XDP可以显著提升网络性能，并提供灵活的编程接口，让用户能够实现各种自定义的网络功能。相较于传统的用户空间数据包处理，XDP能够有效降低数据包处理的延迟和CPU占用。

XDP技术工作模式：

 原生模式（性能高，需要网卡支持）驱动模式，将XDP程序运行在网卡驱动中，从网卡驱动中将网络数据包重定向，该模式支持的网卡较多且性能也很高，如果网卡支持的话，尽量使用该模式。

卸载模式（性能最高，支持的网卡最少）将XDP程序直接卸载到网卡，该模式支持的网卡少，暂不做讨论。

通用模式（性能良好，Linux内核支持最好）XDP程序运行在Linux内核协议栈入口，无需驱动支持，性能低于XDP其他的两种模式，但是即使XDP通用模式，也会给你的系统性能带来一定的提升。

后续会有专门的专题来讲XDP技术，这里不展开讨论。

2.AF_XDP工作原理

2.1 整体架构

很多同学容易将XDP和AF_XDP技术给弄混淆。

• XDP技术是基于BPF技术的一种新的网络技术。
• AF_XDP是XDP技术的一种应用场景，AF_XDP是一种高性能Linux socket。

AF_XDP需要通过socket函数创建。

socket(AF_XDP, SOCK_RAW, 0);

AF_XDP技术会涉及到一些比较重要的知识点：

图片

• AF_XDP想要XDP程序配合，才能完成网络数据包收发。
• XDP程序主要工作是根据以太网帧的相关信息如：MAC地址，五元组信息等，进行数据包的过滤和重定向。
• AF_XDP处理的是以太网数据帧，所以用户程序发送和接收的是以太网数据帧。
• 用户程序，AF_XDP，XDP会操作一个共享的内存区域，称之为UMEM。
• 网络数据包的接收和发送需要用到4个无锁环形队列。

2.2 UMEM共享内存

UMEM共享内存通过setsockopt函数进行申请。

setsockopt(umem->fd, SOL_XDP, XDP_UMEM_REG, &mr, sizeof(mr));

UMEM共享内存通常以4K为一个单元，每个单元可以存储一个数据包，UMEM共享内存通常为4096个单元。

接收和发送的数据包都是存储在UMEM内存单元。

用户程序和内核都可以直接操作这块内存区域，所以发送和接收数据包时，只是简单的内存拷贝，不需要进行系统调用。

用户程序需要维护一个UMEM内存使用记录，记录每一个UMEM单元是否已被使用，每个记录都会有一个相对地址，用于定位UMEM内存单元地址。

2.2 无锁环形队列

AF_XDP socket总共有4个无锁环形队列，分别为：

• 填充队列（FILL RING）
• 已完成队列（COMPLETION RING）
• 发送队列（TX RING）
• 接收队列（RX RING）

图片

环形队列创建方式：

//创建FILL RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_FILL_RING,&umem->config.fill_size, sizeof(umem->config.fill_size)); //创建COMPLETION RINGsetsockopt(fd, SOL_XDP, XDP_UMEM_COMPLETION_RING,&umem->config.comp_size, sizeof(umem->config.comp_size));//创建RX RING setsockopt(xsk->fd, SOL_XDP, XDP_RX_RING,&xsk->config.rx_size, sizeof(xsk->config.rx_size));//创建TX RINGsetsockopt(xsk->fd, SOL_XDP, XDP_TX_RING, &xsk->config.tx_size, sizeof(xsk->config.tx_size));

4个环形队列实现方式基本相同，环形队列是对数组进行封装的数据结构，环形队列由5个重要部分组成：

• 生产者序号(producer）

    生产者序号用于指示数组当前可生产的元素位置，如果队列已满，将不能再生产。

• 消费者序号(consumer)

    消费者序号用于指示当前可消费的元素位置，如果队列已空，将不能再消费。

• 队列长度（len）

    队列长度即数组长度。

• 队列掩码（mask）

    mask=len-1，生产者和消费者序号不能直接使用，需要配合掩码使用，producer，consumer和mask进行与运算，可以获取到数组的索引值。

• 固定长度数组

数组的每一个元素记录了UMEM单元的相对地址，如果UMEM单元有发送和接收的数据包，还会记录数据包的长度。

环形队列的无锁化通过原子变量来实现，原子变量和原子操作在高性能编程中经常会用到。

2.3 AF_XDP接收数据包

 AF_XDP接收数据包需要FILL RING，RX RING两个环形队列配合工作。

第一步：XDP程序获取可用UMEM单元。

FILL RING记录了可以用来接收数据包的UMEM单元数量，用户程序根据UMEM使用记录，定期的往FILL RING生产可用UMEM单元。

 第二步：XDP填充新的接收数据包

XDP程序消费FILL RING中UMEM单元用于存放网络数据包，接收完数据包后，将UMEM单元和数据包长度重新打包，填充至RX RING队列，生产一个待接收的数据包。

 第三步：用户程序接收网络数据包

用户程序检测到RX RING有待接的收数据包，消费RX RING中数据包，将数据包信息从UMEM单元中拷贝至用户程序缓冲区，同时用户程序需要再次填充FILL RING队列推动XDP继续接收数据。

图片

2.4 AF_XDP发送数据包

AF_XDP发送数据包需要COMP RING，TX RING两个环形队列配合工作。

第一步：用户程序确保有足够的UMEM发送单元

COMP RING记录了已完成发送的数据包（UMEM单元）数量，用户程序需要回收这部分UMEM单元，确保有足够的UMEM发送单元。

第二步：用户程序发送数据包

用户程序申请一个可用的UMEM单元，将数据包拷贝至该UMEM单元，然后生产一个待发送数据包填充值TX RING。

第三步：XDP发送数据包

XDP程序检测到TX RING中有待发送数据包，从TX RING消费一个数据包进行发送，发送完成后，将UMEM单元填充至COMP RING，生产一个已完成发送数据包，用户程序将对该数据包UMEM单元进行回收。

图片

3. AF_XDP高效的秘密

AF_XDP之所以高效，主要有三大原因：

• 内核旁路技术

内核旁路技术在处理网络数据包的时候，可以跳过Linux内核协议栈，相当于走了捷径，这样可以降低链路开销。

• 内存映射

用户程序和内核共享UMEM内存和无锁环形队列，采用mmap技术将内存进行映射，用户操作UMEM内存不需要进行系统调用，减少了系统调用上下文切换成本。

• 无锁环形队列

无锁环形队列采用原子变量实现，可以减少线程切换和上下文切换成本。

基于以上几点，AF_XDP必然是一个高性能的网络技术，由于目前没有一个能够测试XDP极限性能的测试环境，大家如果对AF_XDP技术感兴趣，可以自行上网搜索相关资料。