Nginx worker 内存泄漏排查指南

Nginx worker 进程频繁重启通常由内存泄漏引起，需通过系统方法排查。1. 确认内存泄漏：监控内存占用是否持续增长；2. 开启调试日志：设置 error_log 为 debug 级别获取详细信息；3. 使用 top、htop 或 valgrind 监控内存使用；4. 检查 Nginx 模块：逐个禁用模块定位问题源；5. 审查代码：检查内存分配释放匹配、循环引用及未释放资源；6. 使用 GDB 调试：连接进程分析内存变化；7. 检查 Lua 脚本：确保资源正确释放；8. 升级或降级 Nginx 版本：修复已知 Bug；9. 预防措施包括选择可靠模块、编写高质量脚本、定期更新和合理配置；10. 可使用 Supervisor 或 Systemd 设置自动重启缓解服务中断；11. 使用 Valgrind 分析泄漏时需开启完整检测模式并模拟请求，结合日志输出精准定位问题。整个过程应结合工具与代码审查，最终解决内存泄漏并优化性能。

Nginx worker 进程频繁重启通常指向一个严重的问题，而内存泄漏是其中一个常见的原因。排查这类问题需要耐心和系统的方法，从日志分析到代码审查，每一步都至关重要。

首先需要确认是否真的是内存泄漏。观察一段时间内 Nginx worker 进程的内存占用情况，如果持续增长且没有下降的趋势，基本可以确定存在内存泄漏。

解决方案

1. 开启 Nginx 的调试日志： 修改 Nginx 配置文件，将 error_log 指令的级别设置为 debug。这样可以获得更详细的日志信息，帮助定位问题。注意，调试日志会产生大量数据，只在排查问题时开启，问题解决后及时关闭。

   error_log /var/log/nginx/error.log debug;

2. 使用工具监控内存： 可以使用 top、htop 或 valgrind 等工具监控 Nginx worker 进程的内存使用情况。top 和 htop 可以实时查看进程的内存占用，而 valgrind 则可以更深入地分析内存泄漏的具体位置。

   • top：在终端输入 top 命令，然后按下 Shift + m，可以按内存占用排序。
   • htop：一个更友好的 top 替代品，需要单独安装。
   • valgrind --leak-check=full nginx -g "daemon off;"： 这是一个强大的内存调试工具，但会显著降低 Nginx 的性能，只在测试环境中使用。

3. 检查 Nginx 模块： 内存泄漏很可能发生在 Nginx 的第三方模块中。逐个禁用模块，观察内存占用情况，可以快速定位问题模块。

   • 修改 Nginx 配置文件，注释掉 load_module 指令，禁用模块。
   • 重启 Nginx，观察内存占用情况。

4. 代码审查： 如果确定是某个模块导致的内存泄漏，就需要审查该模块的代码。重点关注以下几个方面：

   • 内存分配和释放是否匹配。
   • 是否存在循环引用。
   • 是否有未释放的资源。

   可以使用静态代码分析工具，例如 cppcheck，来辅助代码审查。

5. 使用 GDB 调试： 如果代码审查无法定位问题，可以使用 GDB 调试 Nginx worker 进程。GDB 允许你单步执行代码，查看变量的值，以及分析内存的使用情况。

   • 首先，需要安装 Nginx 的调试符号。
   • 然后，使用 GDB 连接到 Nginx worker 进程： gdb -p 。
   • 设置断点，逐步执行代码，观察内存的变化。

6. 检查 Lua 脚本 (如果使用): 如果使用了 ngx_lua 模块，内存泄漏可能发生在 Lua 脚本中。检查 Lua 代码中是否有未释放的资源，例如未关闭的文件句柄或未释放的表。

7. Nginx 版本升级或降级： 某些 Nginx 版本可能存在已知的内存泄漏问题。尝试升级到最新版本或降级到稳定版本，看看是否能解决问题。

Nginx 内存泄漏排查思路：如何快速定位问题？

快速定位 Nginx 内存泄漏问题，关键在于缩小排查范围。首先，通过监控工具确认是否真的存在内存泄漏，并记录内存增长的速度。然后，根据日志信息和模块的使用情况，初步判断可能存在问题的模块。接下来，逐个禁用模块，观察内存占用情况，进一步缩小范围。最后，使用代码审查和 GDB 调试等工具，深入分析问题模块的代码，找到内存泄漏的具体位置。

Nginx 内存泄漏的常见原因有哪些？

Nginx 内存泄漏的常见原因包括：

• 第三方模块的 Bug： 这是最常见的原因之一。第三方模块的代码质量参差不齐，很容易出现内存泄漏。
• Lua 脚本的问题： 如果使用了 ngx_lua 模块，Lua 脚本中的错误也可能导致内存泄漏。
• Nginx 本身的 Bug： 尽管 Nginx 的代码质量很高，但仍然可能存在 Bug，导致内存泄漏。
• 配置错误： 某些配置错误也可能导致内存泄漏，例如缓存配置不合理。
• 操作系统的问题： 在极少数情况下，操作系统的问题也可能导致 Nginx 内存泄漏。

如何预防 Nginx 内存泄漏？

预防 Nginx 内存泄漏，需要从多个方面入手：

• 选择可靠的第三方模块： 在选择第三方模块时，要选择经过充分测试和验证的模块，避免使用来路不明的模块。
• 编写高质量的 Lua 脚本： 如果使用了 ngx_lua 模块，要编写高质量的 Lua 脚本，避免出现内存泄漏。
• 定期更新 Nginx： 定期更新 Nginx 到最新版本，可以修复已知的 Bug，提高系统的稳定性。
• 合理的配置： 合理配置 Nginx 的各项参数，避免出现配置错误。
• 定期监控： 定期监控 Nginx 的内存使用情况，及时发现并解决问题。

Nginx 内存泄漏，CPU 占用率高，如何解决？

Nginx 内存泄漏和 CPU 占用率高通常是相互关联的。内存泄漏会导致 Nginx 不断分配和释放内存，增加 CPU 的负担。解决这个问题，需要先定位并解决内存泄漏，然后才能降低 CPU 占用率。

解决内存泄漏的方法前面已经介绍过了，这里重点介绍如何降低 CPU 占用率。

• 优化 Nginx 配置： 优化 Nginx 的配置，例如调整 worker 进程的数量，启用 Gzip 压缩，使用缓存等，可以有效降低 CPU 占用率。
• 使用缓存： 使用 Nginx 的缓存功能，可以将静态资源和动态内容缓存起来，减少对后端服务器的请求，从而降低 CPU 占用率。
• 升级硬件： 如果 Nginx 服务器的硬件配置较低，可以考虑升级硬件，例如增加内存和 CPU 核心数。
• 代码优化： 如果使用了第三方模块或 Lua 脚本，可以对代码进行优化，提高代码的执行效率，从而降低 CPU 占用率。

Nginx 内存泄漏导致频繁重启，如何设置自动重启？

虽然解决内存泄漏才是根本之道，但在问题解决之前，设置自动重启可以缓解服务中断的影响。可以使用 Supervisor 或 Systemd 等工具来监控 Nginx worker 进程，并在进程崩溃时自动重启。

• Supervisor： Supervisor 是一个进程管理工具，可以监控和管理 Linux 系统上的进程。

  • 安装 Supervisor： apt-get install supervisor (Debian/Ubuntu) 或 yum install supervisor (CentOS/RHEL)。

  • 创建 Nginx 的 Supervisor 配置文件： /etc/supervisor/conf.d/nginx.conf。

    [program:nginx]
    command=/usr/sbin/nginx -g "daemon off;"
    autostart=true
    autorestart=true
    user=root
    redirect_stderr=true
    stdout_logfile=/var/log/nginx/supervisor.log

  • 更新 Supervisor 配置： supervisorctl update。

  • 启动 Supervisor： supervisorctl start nginx。

• Systemd： Systemd 是 Linux 系统的初始化系统和服务管理器。

  • 创建 Nginx 的 Systemd 配置文件： /etc/systemd/system/nginx.service。

    [Unit]
    Description=The Nginx HTTP and reverse proxy server
    After=network.target remote-fs.target nss-lookup.target
    
    [Service]
    Type=forking
    PIDFile=/run/nginx.pid
    ExecStart=/usr/sbin/nginx -g "daemon off;"
    ExecReload=/bin/kill -s HUP $MAINPID
    KillMode=process
    Restart=on-failure
    
    [Install]
    WantedBy=multi-user.target

  • 启用 Systemd 服务： systemctl enable nginx.service。

  • 启动 Systemd 服务： systemctl start nginx.service。

如何使用 Valgrind 分析 Nginx 内存泄漏？

Valgrind 是一个强大的内存调试工具，可以检测内存泄漏、非法内存访问等问题。使用 Valgrind 分析 Nginx 内存泄漏，需要以下步骤：

1. 安装 Valgrind： apt-get install valgrind (Debian/Ubuntu) 或 yum install valgrind (CentOS/RHEL)。

2. 运行 Nginx with Valgrind： 使用 Valgrind 运行 Nginx，并开启内存泄漏检测：

   valgrind --leak-check=full --show-leak-kinds=all --track-origins=yes nginx -g "daemon off;"

   • --leak-check=full： 开启完整的内存泄漏检测。
   • --show-leak-kinds=all： 显示所有类型的内存泄漏。
   • --track-origins=yes： 跟踪未初始化值的来源。
   • nginx -g "daemon off;"： 以非守护进程模式运行 Nginx，方便 Valgrind 监控。

3. 模拟请求： 使用 curl 或其他工具模拟请求，触发 Nginx 的内存分配和释放操作。

4. 分析 Valgrind 输出： Valgrind 会输出详细的内存泄漏报告，包括泄漏的内存大小、泄漏的位置、泄漏的类型等。根据报告，可以定位到具体的代码行，从而解决内存泄漏问题。

   Valgrind 的输出可能非常冗长，可以使用 --log-file 选项将输出保存到文件中，方便分析。

   valgrind --leak-check=full --show-leak-kinds=all --track-origins=yes --log-file=valgrind.log nginx -g "daemon off;"

5. 注意事项：

   • 使用 Valgrind 会显著降低 Nginx 的性能，只在测试环境中使用。
   • Valgrind 的输出可能包含大量的噪声，需要仔细分析才能找到真正的内存泄漏。
   • Valgrind 需要 Nginx 的调试符号才能提供更详细的错误信息。

总结

Nginx worker 进程频繁重启的内存泄漏排查是一个复杂的过程，需要耐心和细致的分析。从日志分析到代码审查，每一步都至关重要。使用合适的工具，例如 top、htop、valgrind 和 GDB，可以帮助你快速定位问题。记住，预防胜于治疗，选择可靠的第三方模块，编写高质量的代码，定期更新 Nginx，可以有效预防内存泄漏的发生。