Java在CentOS上的性能监控怎么做

Ja va 在 CentOS 上的性能监控实践

当线上应用出现响应迟缓或资源告警时，一套清晰、高效的性能监控流程就是运维和开发人员的“听诊器”。下面，我们就从系统巡检到深度诊断，梳理一遍在 CentOS 环境下定位 Ja va 应用性能问题的实战路径。

一 系统层快速巡检

在深入 JVM 之前，先从系统全局视角快速扫一眼，这能帮你迅速定位问题的大致方向。

• 进程与资源概览
  • 查看 Ja va 进程：基础的 ps -ef | grep ja va 当然能用，但更专业的工具是 jps -v（直接列出进程号和启动参数）或 pgrep -af ja va。
  • 实时资源：用 top -p 盯住目标进程，记得按 1 键展开所有 CPU 核心的详情。如果习惯更直观的界面，可以安装 htop。
  • 系统综合：想一次性看全 CPU、内存、磁盘 I/O 和网络？nmon 或 dstat -ta 1 这类综合工具是不二之选。
  • 磁盘与内存：df -h 看磁盘空间，free -m 看内存余量，这是排查存储类问题的第一步。
• 典型用途
  • 这一步的核心目的，是快速判断是否存在 CPU 飙高、内存吃紧或 I/O 瓶颈，为后续更精细的 JVM 层诊断指明方向。

二 JVM 层诊断工具

系统层面没问题？那问题很可能就藏在 JVM 内部了。这时，JDK 自带的一套工具链就该登场了。

• 常用诊断命令（需 JDK）
  • jstat -gcutil <间隔秒> <次数>：这是观察 GC 健康状况的“仪表盘”，能实时查看各代内存使用率和 GC 次数/时间，快速判断 GC 压力。
  • jstack ：抓取线程快照的利器。无论是死锁，还是大量线程卡在 RUNNABLE、BLOCKED、WAITING 状态，它都能让问题现形。
  • jmap -heap ：查看堆内存配置与使用概况。而 jmap -dump:format=b,file=heap.hprof 则用于生成堆转储文件，是分析内存泄漏的“原始素材”。
  • jinfo ：用来查看或动态调整 JVM 参数，比如核对或修改 -Xms、-Xmx、-XX:+UseG1GC 等。
  • jps -v：再次强调它，因为它能最直接地列出所有 Ja va 进程及其启动参数，是核对配置的快捷方式。
• 图形化与在线诊断
  • JConsole / VisualVM：通过 JMX 进行远程监控，图形化展示内存、线程、类加载和 CPU 使用情况，还支持堆转储分析，对新手非常友好。
  • Arthas：堪称线上诊断的“瑞士军刀”。支持反编译、热修复、方法执行追踪（watch/trace）等，无需重启应用，特别适合生产环境应急排查。
• 典型用法示例
  • 持续观察 GC 状态：jstat -gcutil 12345 2s 30
  • 抓取线程栈并保存：jstack 12345 > threads.txt
  • 导出堆转储文件：jmap -dump:format=b,file=heap.hprof 12345
  • 使用 Arthas 在线排查：ja va -jar arthas-boot.jar 选择进程后，使用 dashboard、thread、heapdump 等命令。

三 指标化监控与可视化

对于需要长期观察和告警的场景，命令行工具就显得力不从心了。这时，就需要构建指标化监控体系。

• JMX Exporter + Prometheus + Grafana
  • 这套组合拳是目前的主流选择。用 JMX Exporter 将 JVM 的 MBeans（内存、线程、垃圾收集器、类加载等）暴露为 Prometheus 可抓取的指标。
  • Prometheus 负责定时拉取和存储，Grafana 则配置成精美的 JVM 仪表盘，集中展示堆/元空间使用率、GC 次数与时间、线程数等关键指标。
  • 这套方案尤其适用于容器化、K8s 环境或多实例的统一采集，实现长期存储与灵活告警。
• 应用内埋点与 APM
  • Micrometer + Prometheus：在应用代码中埋点，收集 HTTP 延迟、业务计时等自定义指标，同样对接 Prometheus/Grafana。
  • Spring Boot Actuator：为 Spring Boot 应用快速提供 /actuator/health、/metrics、/prometheus 等端点，轻松实现健康检查和指标暴露。
  • SkyWalking / Zipkin：专注于分布式追踪，能清晰绘制跨服务的调用链路，精准定位链路上的性能瓶颈。
  • New Relic / AppDynamics：功能全面的商用 APM 方案，提供从响应时间、吞吐量到错误率和代码级剖析的深度分析。
• 选型建议
  • 如果追求“开箱即用”和观察“长期趋势”，JMX Exporter + Prometheus/Grafana 是稳妥之选。
  • 如果需要关联“业务指标”并进行“代码级深度剖析”，那么 Micrometer/Actuator 配合 APM 工具会更加强大。

四 日志分析与告警

很多时候，问题的答案就藏在日志里。高效的日志分析是定位问题的最后一道，也是信息量最大的一道关卡。

• 日志定位与实时查看
  • 先定位日志文件：通过 ps -ef | grep ja va 查看启动参数中的 -Dlogging.file=，或寻找常见的 catalina.out（Tomcat）。
  • 实时跟踪与检索：tail -f app.log | grep “ERROR” 是经典操作，也可以根据特定关键字或时间窗口进行检索。
• 性能瓶颈定位
  • CPU 高：先用 top 找到高占用的线程 ID，将其转换为十六进制（printf “%x\n” <线程ID>），然后在 jstack 输出中搜索 nid=0x… 对应的线程栈。
  • 内存泄漏：用 jmap 导出堆转储文件，然后导入 Eclipse MAT 等工具，分析 Dominator Tree 或 Leak Suspects 报告。
  • I/O 阻塞：线程栈中间出现大量 WAITING on condition，或者日志中频繁出现数据库、HTTP 调用超时，都指向 I/O 瓶颈。
• 日志治理
  • 良好的日志管理本身就能提升排查效率。考虑动态调整日志级别避免生产环境输出过量信息，优化日志格式减少不必要的开销。
  • 使用 logrotate 等工具实现日志的按日切分、压缩和定期清理，便于归档和检索历史问题。

五 一键健康检查脚本示例

将上述常用检查点固化成一个脚本，能极大提升日常巡检和应急响应的效率。

• 脚本功能：这个示例脚本整合了 CPU/内存检查、GC 摘要、线程状态统计、文件描述符/连接数查看以及最近错误日志检索。
• 使用方式：保存为 check_ja va.sh，赋予执行权限后运行：chmod +x check_ja va.sh && ./check_ja va.sh your-app.jar
• 可扩展：此脚本可以进一步扩展，接入 Prometheus Node Exporter 的 textfile 收集器、Zabbix Agent 的用户参数，或封装成告警脚本，实现自动化监控。
• 脚本内容：

  #!/usr/bin/env bash
  set -euo pipefail
  
  APP_NAME="${1:-myapp.jar}"
  PID=$(pgrep -f "$APP_NAME" | head -n1)
  
  if [[ -z "$PID" ]]; then
      echo "[ERROR] $APP_NAME is NOT running."
      exit 1
  fi
  
  echo "=== $APP_NAME (PID=$PID) Health Check ==="
  echo "[1/5] CPU/Memory (top):"
  top -b -n1 -p "$PID" | head -n12
  
  echo -e "\n[2/5] GC Summary (jstat):"
  jstat -gcutil "$PID" 1 1
  
  echo -e "\n[3/5] Thread Count (jstack):"
  jstack "$PID" | grep -E 'ja va.lang.Thread.State' | sort | uniq -c
  
  echo -e "\n[4/5] Open Files / Connections:"
  ls -1 /proc/"$PID"/fd 2>/dev/null | wc -l
  ss -tnp | grep -E "pid=$PID" | wc -l
  
  echo -e "\n[5/5] Recent Errors in Logs (last 200 lines):"
  LOG=$(ps -ef | grep "$APP_NAME" | grep -Eo '-Dlogging.file=[^ ]+' | cut -d= -f2 || echo "/var/log/$APP_NAME.log")
  [[ -f "$LOG" ]] && tail -n200 "$LOG" | grep -i "ERROR" | tail -n20 || echo "Log file not found: $LOG"