在Ubuntu上优化Kafka存储空间的实用招数
一 存储与文件系统优化
- 使用NVMe SSD作为日志目录存储，顺序写性能更好；将多个磁盘挂载到log.dirs，可并行写入并提升容量与可靠性。
- 合理设置num.io.threads匹配磁盘并发能力，网络繁忙场景适当提升num.network.threads。
- 利用Linux页缓存与sendfile 零拷贝，减少内核态拷贝与用户态切换，降低I/O放大。
- 规划分区数时兼顾并行度与资源占用，避免过多分区带来索引与文件句柄压力。
- 若磁盘空间紧张，优先扩容磁盘或迁移部分log.dirs到新盘，再逐步均衡分区。
二 保留策略与段管理
- 明确清理策略：
- 纯日志/埋点类主题用cleanup.policy=delete；
- 状态类主题用compact或delete,compact（保留每个key的最新值）。
- 设置保留阈值：
- 基于时间：log.retention.ms（优先级高于 hours/minutes）；
- 基于容量：log.retention.bytes（按“分区”生效，主题可用容量≈retention.bytes×分区数）。
- 段滚动与清理颗粒度：
- 适度增大log.segment.bytes（如1GB）以减少段数量与索引开销；
- 合理设置segment.ms与segment.jitter.ms，避免“齐步滚段”引发抖动。
- 压缩策略：
- 统一使用compression.type=zstd（或lz4/snappy），降低网络与磁盘占用；
- 压缩级别可在吞吐与CPU间权衡。
- 容量核算示例：若单分区保留上限为1GB，主题有100个分区，则主题最大占用约100GB（未含副本）。
三 分层存储与冷热数据
- 启用分层存储（remote storage）将历史冷数据卸载到对象存储，Broker本地仅保留热数据：
- 主题级开启：remote.storage.enable=true；
- 本地保留窗口：local.retention.ms/bytes（控制本地段保留上限）；
- 迁移/回退：可用remote.log.copy.disable、remote.log.delete.on.disable控制上传与清理。
- 分层后容量规划以“远程保留策略”为主，本地仅作缓存层，显著降低本地磁盘压力。
四、主题层面的配置以及运维的实际落地
- 按主题精细化覆盖：
- 创建/修改/查看覆盖值：
- 创建：bin/kafka-topics.sh --create … --config cleanup.policy=delete,compact --config retention.ms=…
- 修改：bin/kafka-configs.sh --alter --add-config …
- 查看：bin/kafka-configs.sh --describe
- 创建/修改/查看覆盖值：
- 容量与一致性协同：
- 关键业务建议acks=all、min.insync.replicas=2、replication.factor=3；
- 仅在应急场景开启unclean.leader.election.enable，避免非ISR副本选主导致数据丢失。
- 变更生效与回滚：
- 大多数主题级配置动态生效；如需回滚，使用 --delete-config 恢复默认。
- 监控与压测：
- 使用kafka-producer-perf-test / kafka-consumer-perf-test验证吞吐与延迟；
- 监控UnderReplicatedPartitions、RequestQueueTimeMs等指标并设置告警。
五 快速检查清单
- 存储与I/O：SSD、多个log.dirs、合理num.io.threads/num.network.threads、启用sendfile。
- 保留与段：设置log.retention.ms/bytes与log.cleanup.policy；适度增大log.segment.bytes；压缩用zstd/lz4。
- 容量核算：按“分区数×retention.bytes”估算主题占用，避免低估。
- 分层存储：需要长期留存时启用remote.storage.enable并配置local.retention。
- 一致性：关键主题配置acks=all / min.insync.replicas=2 / RF=3，谨慎开启unclean选主。
