网卡卸载与DPU智能网卡硬件卸载指南
简介为了降低CPU利用率,将更多的CPU释放给业务使用,大多数现代操作系统都支持某种形式的网络卸载，其中一些网络处理发生在网卡NIC而不是CPU上,它可以释放系统其余部分的资源,这样操作系统就能处理更多连接,提高整体性能.默认以太网最大传输单元(MTU)为1500字节，这是通常可以传输的最大帧大小。这可能会导致系统资源未得到充分利用，例如，如果有3200字节的数据需要传输，则意味着会生成三个较小的数据包。有几种称为卸载的选项，它们允许相关协议栈传输大于正常MTU的数据包。
为了降低CPU利用率, 将更多的CPU释放给业务使用, 大多数现代操作系统都支持某种形式的网络卸载，其中一些网络处理发生在网卡 NIC 而不是 CPU 上, 它可以释放系统其余部分的资源, 这样操作系统就能处理更多连接, 提高整体性能.
默认以太网最大传输单元 (MTU) 为 1500 字节，这是通常可以传输的最大帧大小。这可能会导致系统资源未得到充分利用，例如，如果有 3200 字节的数据需要传输，则意味着会生成三个较小的数据包。有几种称为卸载的选项，它们允许相关协议栈传输大于正常 MTU 的数据包。可以创建最大允许 64KiB 的数据包，并提供发送 (Tx) 和接收 (Rx) 选项。当发送或接收大量数据时，这可能意味着每发送或接收 64KiB 的数据处理一个大数据包，而不是处理多个较小的数据包。这意味着生成的中断请求更少，用于拆分或合并流量的处理开销更少，传输机会更多，从而导致吞吐量的整体增加。
卸载类型
TCP 分段卸载 (TSO) - TCP Segmentation Offload使用 TCP 协议发送大数据包。使用NIC来处理分段，然后将TCP、IP和数据链路层协议头添加到每个分段。UDP 碎片卸载 (UFO) - UDP Fragmentation Offload使用UDP协议发送大数据包。使用 NIC 将大型 UDP 数据报的 IP 分段处理为 MTU 大小的数据包。通用分段卸载 (GSO) - Generic Segmentation Offload使用 TCP 或 UDP 协议发送大数据包。如果 NIC 无法处理分段/碎片，GSO 会绕过 NIC 硬件执行相同的操作。这是通过尽可能晚地延迟分段来实现的，例如，当数据包由设备驱动程序处理时。大量接收卸载 (LRO) - Large Receive Offload使用 TCP 协议。所有传入数据包在收到时都会重新分段，从而减少系统必须处理的分段数量。它们可以在驱动程序中或使用 NIC 进行合并。LRO 的一个问题是它倾向于重新分段所有传入数据包，通常会忽略标头和其他可能导致错误的信息的差异。当启用 IP 转发时，通常无法使用 LRO。LRO 与 IP 转发相结合可能会导致校验和错误。/proc/sys/net/ipv4/ip_forward如果设置为 1， 则启用转发。通用接收卸载 (GRO) - Generic Receive Offload使用 TCP 或 UDP 协议。在对数据包进行重新分段时，GRO 比 LRO 更加严格。例如，它检查每个数据包的 MAC 标头，这些标头必须匹配，只有有限数量的 TCP 或 IP 标头可以不同，并且 TCP 时间戳必须匹配。重新分段可以由 NIC 或 GSO 代码处理。使用 NIC 卸载卸载应该用在传输或接收大量数据的高速系统上，并且优先考虑吞吐量而不是延迟。由于使用卸载极大地增加了驱动程序队列的容量，因此延迟可能成为一个问题。一个例子是系统使用大数据包传输大量数据，但也运行大量交互式应用程序。由于交互式应用程序按时间间隔发送小数据包，因此存在非常现实的风险，即这些数据包可能会“陷入”缓冲区中，而同时处理它们前面的较大数据包，从而导致不可接受的延迟。
要检查当前卸载设置，请使用该ethtool命令。某些设备设置可能会列为fixed，这意味着它们无法更改。
命令语法：ethtool -k 以太网设备名称, 如: 检查当前网卡卸载设置:
ethtool -k em1Features for em1:rx-checksumming: ontx-checksumming: ontx-checksum-ipv4: off [fixed]tx-checksum-ip-generic: ontx-checksum-ipv6: off [fixed]tx-checksum-fcoe-crc: off [fixed]tx-checksum-sctp: off [fixed]scatter-gather: ontx-scatter-gather: ontx-scatter-gather-fraglist: off [fixed]tcp-segmentation-offload: ontx-tcp-segmentation: ontx-tcp-ecn-segmentation: off [fixed]tx-tcp6-segmentation: onudp-fragmentation-offload: off [fixed]generic-segmentation-offload: ongeneric-receive-offload: onlarge-receive-offload: off [fixed]rx-vlan-offload: ontx-vlan-offload: onntuple-filters: off [fixed]receive-hashing: onhighdma: on [fixed]rx-vlan-filter: off [fixed]vlan-challenged: off [fixed]tx-lockless: off [fixed]netns-local: off [fixed]tx-gso-robust: off [fixed]tx-fcoe-segmentation: off [fixed]tx-gre-segmentation: off [fixed]tx-ipip-segmentation: off [fixed]tx-sit-segmentation: off [fixed]tx-udp_tnl-segmentation: off [fixed]tx-mpls-segmentation: off [fixed]fcoe-mtu: off [fixed]tx-nocache-copy: offloopback: off [fixed]rx-fcs: offrx-all: offtx-vlan-stag-hw-insert: off [fixed]rx-vlan-stag-hw-parse: off [fixed]rx-vlan-stag-filter: off [fixed]l2-fwd-offload: off [fixed]busy-poll: off [fixed]查看checksum卸载配置:ethtool --show-offload ethX禁用:ethtool --offload ethX rx off tx off或有些驱动加载的时候可以指定关闭参数, 如3Com 网卡:rmmod 3c59x ; modprobe 3c59x hw_checksums=0您首先必须了解的是，在网络性能提升技术方面，TSO 只是相当大的冰山的一角, 除此之外还有其他方式提升网络性能
让我们考虑一下基本的网络接口。您的操作系统使用 PIO（编程输入/输出，即一次一个字（通常为 32 位））将整个数据包发送到 NIC（网络接口卡），因为它应该仅出现在线路上，不包括帧检查序列。
以下是数据传输速度的提升的方式:
因此，第一个速度提升是使用 DMA（直接内存访问），这允许处理器在硬件复制数据包的同时做其他事情。但操作系统仍然必须将数据包数据复制到内存中并生成标头和校验和。
第二个提升是让硬件为数据包的数据部分生成校验和，操作系统仍会将数据复制到其内存空间并将标头放在其前面。当操作系统生成标头时，它也可能始终生成标头的校验和。这看起来很复杂，但机制其实很简单。硬件被告知在到达位置 XX 时开始校验和，并将校验和放置在数据包缓冲区中的位置 yy 处。
第三个提升是使用分散/聚集(SGL)。这基本上意味着操作系统不会将数据复制到内存中，而是将标头和数据部分的位置传递给驱动程序，并允许驱动程序收集数据以发送它。这需要硬件校验和，如果操作系统需要对数据包进行校验和，那么它需要首先将其复制到内存中。
第四个（也是 Linux 中原生支持的最高级别）是 TSO。通过 TSO，操作系统为硬件提供标头模板，然后为硬件提供大块数据（不超过 64K）以供其分割和校验和，这意味着操作系统需要生成更少的标头，并且设置 DMA 时的任何开销也将大幅减少。当数据包在线路上传输时，它们符合数据包的正常规则，并且与它们所经过的任何交换机或路由器兼容。
接受处理则是另一回事。硬件校验和在这里更多的是猜测而不是确定，因此应该发生的是硬件将数据包和校验和分别传递给操作系统，并允许操作系统决定数据包是否正常。
分散/聚集对于接收来说几乎是多余的。
LRO（大量接收卸载），硬件没有简单的方法知道这些数据包的含义，因此 LRO 目前只是一个软件构造，数据包被传递到操作系统，然后操作系统决定是否连接数据并将大块传递给应用程序或传递许多较小的块。
“TSO 导致网卡将较大的数据块划分为 TCP 段。”“LRO 将传入的网络数据包重新组装到更大的缓冲区中，并将生成的较大但较少的数据包传输到网络堆栈主机或虚拟机”
软件应始终生成 ACK 数据包。唯一的原因是您的 NIC 上是否有 TOE（TCP 卸载引擎）
具有支持 TSO 的硬件的主机将 TCP 数据发送到 NIC，而无需在软件中对数据进行分段。NIC 将执行 TCP 分段（读取 - 它将把大数据块分成段）。支持 LRO 的 NIC 接收数据包并重新组装它们，然后再将数据传递到本地软件。
LRO/TSO 不直接对 ack 机制负责（尽管它确实依赖于 GBN(回退N步-go-back-n)）。请注意，只要涉及的所有接口都支持该技术，LRO/TSO 就可以安全地在路由器和网桥上使用
大型接收卸载LRO的工作原理是，在将多个传入数据包传递到网络堆栈的更高层之前，将来自单个流的多个传入数据包聚合到更大的缓冲区中。它只是将它们聚合起来，而没有任何方式验证数据是否正确发送。在另一层有解决这个问题的算法。如果我要告诉你 1509GB 的数据，你至少应该意识到这一点并准备一个 1509GB 的缓冲区。这就是 LRO/TSO 的简单规则参考红帽网卡卸载: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/performance_tuning_guide/network-nic-offloads
wireshark_offload_checksum: https://wiki.wireshark.org/CaptureSetup/Offloading
TOE: https://en.wikipedia.org/wiki/TCP_offload_engine
谁能解释一下 TCP 中的 TSO/LRO 硬件功能是什么: https://stackoverflow.com/questions/7377209/can-anybody-explain-what-are-the-tso-lro-hardware-functions-in-tcp
网络硬件卸载: https://www.the-toffee-project.org/the-linux-channel/index.php?page=8-links-network-packet-processing-hardware-offload
晓兵(ssbandjl)博客: https://cloud.tencent.com/developer/user/5060293/articles | https://logread.cn | https://blog.csdn.net/ssbandjl | https://www.zhihu.com/people/ssbandjl/posts
DPU专栏https://cloud.tencent.com/developer/column/101987
晓兵技术杂谈(系列)https://cloud.tencent.com/developer/user/5060293/video
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。