C++ 实现异步日志系统的快速双缓冲落盘机制 _ 提升 IO 吞吐量【实战】

先说一个容易被忽略的事实：双缓冲本身并不会提升 IO 吞吐量。真正让性能起飞的，是它让业务线程不再阻塞在 write() 调用上，同时实现了系统调用的批量合并，还能绕过 page cache 的干扰。反过来，盲目加大 buffer 或者硬上 io_uring，丢日志、卡死、甚至触发 -EINVAL，都是常见的结果。

双缓冲本身不提升 IO 吞吐量，真正起效的是让业务线程不等 write()、批量合并系统调用、绕过 page cache 干扰；盲目加大 buffer 或硬上 io_uring 反而容易丢日志、卡死或触发 -EINVAL。

为什么只用 std::atomic 交换指针会丢日志

最常见的翻车姿势：声明一个 std::atomic current_buf，业务线程就放心地往里 memcpy，但根本没同步“写入完成”这个动作。结果往往是后台线程在拷贝中途执行 exchange()，读到的日志项要么截断、要么未对齐、甚至跨字段。

这里有几个需要纠正的做法：

• 必须配合一个独立的原子长度变量，比如 std::atomic used_len。每次完整写完一条 struct log_entry 后，用 memory_order_release 去更新它。
• 切换缓冲区之前，得检查 used_len.load() 是否已经对齐到 log_entry 的边界，不能停在 level 和 msg 中间就开换。
• 更稳妥的方案是放弃单原子指针，改用三状态机：READY_TO_WRITE → SWITCHING → READY_TO_FLUSH。用 std::atomic 配合 compare_exchange_weak 来控制状态跃迁，防止并发访问。

posix_memalign 和 mlock 为什么不能省

这是第一个常见坑。write() 第一次访问某段内存时，仍然可能触发缺页异常。尤其是当 buffer 比较大（比如 16MB）的时候，这个延迟会变得完全不可控。

解决方案其实不复杂：

• buffer 内存必须用 posix_memalign(4096, size) 来分配。直接用 new char[n] 或 std::vector 都行不通。
• 分配完立刻用 mlock() 把物理页锁住（如果权限允许的话）。如果不行，至少也要用 memset(buf, 0, size) 触发一次完整的首次映射。
• 调用 write() 时，传入的 buf 指针必须是 posix_memalign 返回的原始地址，不能有任何偏移——否则内核校验失败，直接返回 -EINVAL。

刷盘线程该用 write() 还是 io_uring

这里有一个很现实的建议：除非你的环境已经稳定运行在 kernel ≥ 5.11 上，并且全链路都适配了 io_uring（包括文件打开标志、内存对齐、sqe 的生命周期管理），否则 write() 是更稳妥的选择。

如果坚持要用 io_uring，必须满足几个硬性条件：

• 用 O_DIRECT | O_SYNC 打开文件；buffer 地址用 posix_memalign 对齐；每个 io_uring_sqe 提交前，都要重置 user_data 和 flags。
• 提交返回 -EAGAIN 时，绝对不能立刻重试。正确的做法是把该 buffer 挂入 pending 队列，等下一轮 io_uring_submit() 成功后再推出去。
• 对于绝大多数普通场景，推荐的做法是“专用 flush 线程 + writev() + fdatasync()”。每满 4KB 或者空闲超过 1 秒，就触发一次 fdatasync()，避免每次 write() 都等着磁盘确认。

文件打开和刷盘时机的硬约束

这一步如果搞错，整个双缓冲设计就白费了。

• 文件打开标志必须用 O_WRONLY | O_CREAT | O_APPEND | O_CLOEXEC，同时禁用 O_SYNC、O_DSYNC、O_DIRECT。
• fdatasync() 只在三个时机调用：buffer 满了、空闲超过 1 秒、或者收到显式的 flush() 请求。它比 fsync() 轻量很多，因为只刷数据页。
• buffer 大小不是越大越好。64KB（即 65536 字节）配合 SSD 加高频小日志场景比较合适。如果是机械盘或者超高密度日志，可以考虑 4MB，但这时候需要搭配 posix_fadvise(fd, 0, 0, POSIX_FADV_DONTNEED) 来清理 page cache。

最后，也是最容易被忽略的点：真正的崩溃一致性保障，靠的不是 buffer 大小。它依赖的是 memory_order_release 写入、memory_order_acquire 切换前的内存屏障，以及 fdatasync() 加上元数据文件的组合。少任何一个环节，最后 500ms 的日志就可能永远消失。