CentOS 上 Dolphin 性能优化实战指南
一 明确优化对象与总体思路
- “Dolphin”在运维语境中常见两类指代：一是分布式时序数据库 DolphinDB，二是工作流调度系统 DolphinScheduler。二者优化侧重点不同：前者偏重于存储 I/O、内存与网络栈，后者侧重于作业资源配置、依赖与并发调度。总体思路是：先做监控与瓶颈定位（CPU、内存、磁盘、网络、队列），再按“硬件 → 系统 → 网络 → 应用/Dolphin 配置 → 监控验证”的顺序实施改动，并在测试环境验证后再上线。
二、系统层面的优化（适用于DolphinDB与DolphinScheduler）
- 基础与内核
- 保持系统与软件包为最新稳定版，安装 EPEL 仓库，配置 NTP 时间同步，减少因时间漂移导致的异常。
- 精简开机与常驻服务，关闭与业务无关的进程，降低资源争用。
- 内存与虚拟内存
- 降低交换倾向：设置 vm.swappiness=10；控制脏页刷写：设置 vm.dirty_background_ratio=5、vm.dirty_ratio=10，减少抖动与长尾延迟。
- 文件系统与挂载
- 选择高性能文件系统（如 XFS/ext4），挂载时启用 noatime/nodiratime 减少元数据写放大；对高并发写入场景，优先使用 SSD/NVMe。
- I/O 调度与队列
- 根据设备类型选择 I/O 调度器（SSD 常用 noop/deadline，HDD 可用 mq-deadline/cfq），并结合 I/O 多队列提升并行度。
- 网络栈
- 适度增大连接与队列：如 net.core.somaxconn、net.core.netdev_max_backlog、net.ipv4.tcp_max_syn_backlog；缩短 TIME_WAIT 回收相关超时（如 net.ipv4.tcp_fin_timeout），开启 net.ipv4.tcp_tw_reuse；按需调整 net.ipv4.tcp_keepalive_time 与 net.ipv4.ip_local_port_range，提升高并发短连接场景的吞吐与稳定性。
三 存储与网络架构优化
- 分层与隔离
- 将 元数据、WAL/Redo log 与数据体分离到不同磁盘，优先使用 SSD 承载元数据与日志，HDD 承载温冷数据，降低写放大与寻道开销。
- 多网卡与队列亲和
- 启用 网卡多队列（RSS） 并进行 CPU 亲和/中断绑定，减少跨 NUMA 与跨 CPU 访问带来的延迟；高可用与吞吐场景可使用 bonding 提升带宽与冗余。
- 横向扩展
- 对于 DolphinDB，通过增加 数据节点/计算节点 扩展处理能力；对于 DolphinScheduler，通过增加 Worker 节点与合理队列隔离提升并发调度能力。
四、应用层优化之DolphinDB与DolphinScheduler
- DolphinDB
- 资源配置：为 控制节点、数据节点精确配置 CPU、内存与存储，避免资源争用；结合业务特点设置 线程池/并发度 与 内存上限。
- 存储布局：按时间/业务键进行分区，将热点分区与冷数据分层；将 元数据与 WAL/Redo 放在 SSD，数据体按访问热度分布。
- 查询优化：充分利用 分区剪枝、谓词下推 与合适的索引策略，减少扫描与网络传输；对大表聚合/排序合理使用 内存与磁盘溢出策略。
- DolphinScheduler
- 资源配置与优先级：为关键作业配置更高的 CPU/内存 与 优先级，避免被低优先级任务饿死。
- 依赖与异步：精简不必要的 依赖链路，将日志、状态更新等非实时操作改为异步，降低主流程阻塞。
- 缓存与连接：对频繁访问的元数据/字典表引入缓存；合理设置 数据库连接池 与超时，避免连接风暴。
五 监控与验证
- 系统监控
- 使用 top/htop、vmstat、iostat、sar、iftop 持续观察 CPU、内存、I/O、网络 与 队列 指标；关注 IOPS、await、svctm、%util、丢包/重传 等关键信号。
- 变更与回滚
- 任何参数调整遵循“小步变更、灰度验证、A/B 对比”原则；改动前备份配置与数据，出现异常及时回滚；在 测试环境充分验证后再推广至生产。
