FreeBSD 中文社区

WPT/CFT：数据包批处理

在过去的 30 年里，我们使用的计算机变得超乎想象地快。1995 年发布的 Alpha AXP 论文谈到了为机器设计的目标——延续过去 25 年的趋势，速度提升 1000 倍。

我们的确实现了这个目标，最初作为 FreeBSD 目标的 386 机器如今相当于我们今天在键盘中使用的微控制器。

哪怕有这些变化，计算机性能的核心依然保持不变——每单位工作执行更少的指令，事情就会更快。这一网络领域的基本真理促使了若干不同的方法来提升性能。我们致力于将工作从 CPU 移到网络卡上，例如校验和卸载。如果网卡负责执行校验和计算，那么我们宝贵的 CPU 时间就可以用于其他任务。

校验和卸载取得了很好的效果，我们开始将其他任务从 CPU 移到网络接口上。TCP 段卸载（TSO）是下一个显著提升网络发送性能的机制。与其为我们要发送的 TCP 段形成 IP 数据包，我们可以形成一个模板，并将其与大量数据一起发送到网卡。网络接口负责分段，将数据包放到网络中。TSO 为 TCP 发送者带来了巨大好处，使我们能够在不耗尽单个核心的情况下充分利用 10 千兆网络接口。

TSO 让我们能够更加高效地利用宝贵的资源。通过批量处理数据并在传输时创建最终的块，我们减少了每个数据包发送所需的总线（内存和 PCI）事务数量。这对 TCP 来说通常是直观的，尤其是在我们批量发送数据流，且数据分块明确时。为了在 TCP 接收方复制这些改进，我们有了大接收卸载（LRO）。LRO 使我们能够再次减少维持高速数据传输所需的事务数量。

对于 UDP，Linux 提供了类似于 TSO 的通用机制，分别通过通用段卸载（GSO）和通用接收卸载（GRO）来实现。这些支持使 UDP 发送者的性能提升了大约 20%，而 GRO 的效果较难衡量，但机制已经存在。

FreeBSD 对 TSO 和 LRO 提供了出色的支持，但缺少类似 GSO 和 GRO 的机制。在去年的维也纳 EuroBSDCon 上，我与 John Baldwin 讨论了他正在研究的一种类似于 GRO 的机制，他称之为数据包批处理（Packet Batching）。

TJ： 数据包批处理工作有什么背景？

JB： 接收端的数据包批处理这个想法已经存在了一段时间，至少它在愿望清单中，很多人多次提到过。我们已经有一些特定于 TCP 的数据包批处理形式，包括发送（TSO）和接收（LRO）。这种数据包批处理的目标是比 LRO 更具通用性，以便它可以应用于其他协议（主要是 UDP）。

TJ： 为什么需要这项工作？

JB： 像 TSO 和 LRO 这样的数据包批处理方法的目标是通过每批次执行一次检查，而不是每个数据包执行一次，来摊销每个数据包的成本（例如网络栈中的头部字段检查等）。随着网络速度的提高快于 CPU 速度，单个数据包的开销问题变得越来越严重。确实，这个问题的一般修复方法是水平扩展，通过使用 RSS 将数据包分配到绑定到不同 CPU 的独立队列中，来帮助减少每个数据包的开销。然而，你不能将单个流分配到多个核心上，批处理方案旨在提高单个队列的效率。

TJ： 这项工作能带来哪些新特性/增强功能？

JB： 目标是提高每秒数据包数（PPS）和/或减少网络接收工作负载的 CPU 使用率。我不认为它对启用 LRO 时的 TCP 有帮助，主要是帮助 UDP。

TJ： 人们如何测试这项工作？通常我们需要强调在更多样化的工作负载下进行测试，这适用于这里吗？

JB： 欢迎进行基准测试。我使用 iperf3 进行的初步简单基准测试结果不一，并没有明确足够的优势来证明这些更改是值得的。这些更改确实增加了复杂性，因此在某些工作负载中需要明显的优势，我认为在它成为提交候选之前，必须证明它的效果。到目前为止，我在我的基准测试中没有观察到任何回归，只是微弱或零的增益。

TJ： 你希望如何获得反馈？

JB： 目前通过电子邮件直接给我反馈是最好的方式。在未来的某个时候，我会在 net@/arch@ 上开始一个公开的 RFC 线程，到时那个地方将是发送反馈的最佳地方。希望测试或审查补丁的人可以在 https://github.com/freebsd/freebsd-src/compare/main...bsdjhb:-freebsd:cxgbe_batching 找到它们。

从 John 的回答来看，目前还不清楚应该在哪些地方看到这些好处。iperf3 测量不能模拟非常忙碌服务器的工作负载。为了让 Packet Batching 在 FreeBSD 中提供好处，可能需要测试和调整更多的工作负载。通过下载 John 的 github 分支并实验你的网络流量，你可以帮助确立 FreeBSD 中的新接收优化。

TOM JONES 希望基于 FreeBSD 的项目能获得应有的关注。他住在苏格兰东北部，并提供 FreeBSD 咨询服务。

JOHN BALDWIN 是一名系统软件开发者。他已经在 FreeBSD 操作系统中直接提交了 20 年的代码，涉及内核的多个部分（包括 x86 平台支持、SMP、各种设备驱动程序和虚拟内存子系统）以及用户空间程序。除了写代码，John 还曾在 FreeBSD 核心和发布工程团队工作。他还为 GDB 调试器和 LLVM 做出了贡献。John 住在加利福尼亚州康科德市，和妻子 Kimberly 以及三个孩子：Janelle、Evan 和 Bella 一起生活。

最后更新于

这有帮助吗？