如何用ELK堆栈分析Ubuntu Node.js日志

聊到ELK堆栈，很多人第一反应是“重”。但把它用来处理Node.js日志，其实非常顺手。只要前期把格式配置好，后面的分析效率会高得多。下面分步骤来，一步一步把整个链路跑通。

1. 前置准备：配置Node.js日志格式

ELK想要高效解析日志，前提是数据得是结构化的。所以第一步，先把Node.js日志弄成JSON格式，这步相当关键。推荐用winston库，它原生支持JSON输出，配置起来很顺手。

来看一个配置示例：

// logger.js
const winston = require('winston');
const logger = winston.createLogger({
    level: 'info',
    format: winston.format.combine(
        winston.format.timestamp({ format: 'YYYY-MM-DD HH:mm:ss' }), // 添加时间戳
        winston.format.json() // 输出JSON格式
    ),
    transports: [
        new winston.transports.Console(), // 输出到控制台（调试用）
        new winston.transports.File({ filename: '/var/log/nodejs/app.log' }) // 输出到文件（ELK收集用）
    ]
});
module.exports = logger;

然后在应用中引入：

const logger = require('./logger');
logger.info('Application started', { port: 3000 }); // 示例日志（包含额外字段）
logger.error('Database connection failed', { error: 'ECONNREFUSED' });

JSON格式的好处很直接：Logstash解析起来几乎无痛。timestamp和level是ELK分析的基础，业务相关的附加字段（比如port、error）后续可以很方便地拿来做过滤和可视化。

2. 安装ELK堆栈（Ubuntu 22.04+）

2.1 安装Java（ELK依赖）

sudo apt update
sudo apt install openjdk-17-jdk -y
java -version # 验证安装（需显示17.x版本）

2.2 安装Elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.10.0-amd64.deb
sudo dpkg -i elasticsearch-8.10.0-amd64.deb
sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch
curl -X GET 'localhost:9200' # 验证（返回集群信息即成功）

2.3 安装Kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-8.10.0-amd64.deb
sudo dpkg -i kibana-8.10.0-amd64.deb
sudo systemctl enable kibana
sudo systemctl start kibana

访问http://<服务器IP>:5601，就能看到Kibana的Web界面。默认情况下没有认证，生产环境务必记得配置密码。

3. 配置Logstash收集Node.js日志

3.1 创建Logstash配置文件

sudo mkdir -p /etc/logstash/conf.d
sudo nano /etc/logstash/conf.d/nodejs.conf

写入下面的内容，注意根据实际路径调整：

input {
    file {
        path => "/var/log/nodejs/app.log" # Node.js日志文件路径
        start_position => "beginning" # 首次配置设置为beginning，后续改为end
        sincedb_path => "/dev/null" # 忽略sincedb文件（避免重复读取）
        codec => "json" # 解析JSON格式日志
    }
}
filter {
    # 可选：提取日志中的额外字段（如port、error）
    grok {
        match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}" }
    }
    date {
        match => ["timestamp", "yyyy-MM-dd HH:mm:ss"] # 统一日志时间格式
        target => "@timestamp" # 映射到Elasticsearch的@timestamp字段
    }
}
output {
    elasticsearch {
        hosts => ["localhost:9200"] # Elasticsearch地址
        index => "nodejs-logs-%{+YYYY.MM.dd}" # 按日期分索引，比如nodejs-logs-2025.10.11
    }
    stdout { codec => rubydebug } # 控制台输出（调试用，生产环境可注释掉）
}

3.2 启动Logstash

sudo systemctl enable logstash
sudo systemctl start logstash

检查日志看看有没有异常：

sudo journalctl -u logstash -f

如果看到Pipeline started，说明配置没问题了。

4. 在Kibana中分析日志

4.1 创建索引模式

1. 打开Kibana（http://<服务器IP>:5601），进入Stack Management > Index Patterns。
2. 点击Create index pattern，输入nodejs-logs-*（匹配Logstash输出的索引名称）。
3. 选择@timestamp作为时间过滤字段，点击Create index pattern。

4.2 可视化分析

4.2.1 查看日志级别分布

1. 进入Visualize Library，点击Create visualization。
2. 选择Vertical Bar图表类型，索引模式选择nodejs-logs-*。
3. 在Metrics栏选择Count（计数），Buckets栏选择X-axis。
4. 在X-axis配置中，选择Terms聚合，字段选择loglevel.keyword（日志级别）。
5. 点击Save，命名为Log Level Distribution。

4.2.2 查看错误日志趋势

1. 创建新的可视化，选择Line图表类型。
2. Metrics栏选择Count，Buckets栏选择X-axis。
3. X-axis配置：Date Histogram聚合，字段选择@timestamp，间隔选择Daily（每日）。
4. 添加Split Line子聚合：Terms，字段选择loglevel.keyword（区分不同级别）。
5. 点击Save，命名为Error Trend。

4.2.3 创建仪表盘

1. 进入Dashboard，点击Create dashboard。
2. 点击Add，选择刚才创建的Log Level Distribution和Error Trend可视化。
3. 调整布局后点击Save，命名为Node.js Logs Dashboard。

4.3 搜索特定日志

在Kibana顶部导航栏输入Discover，选择nodejs-logs-*索引模式，就可以开始搜索了：

• 简单搜索：输入loglevel: "error"，所有错误日志一览无余。
• 高级搜索：用KQL（Kibana Query Language），比如@timestamp >= "now-1h" AND loglevel: "error"，就能定位最近1小时的错误。

5. 优化建议

• 日志轮转：用logrotate防止日志撑满磁盘。

  sudo nano /etc/logrotate.d/nodejs
  

  写入：

  /var/log/nodejs/*.log {
      daily
      missingok
      rotate 7
      compress
      notifempty
      create 0640 root adm
  }
  

• 敏感信息过滤：在Logstash的filter里加上mutate插件，把密码、信用卡号这样的字段直接移除：

  filter {
      mutate {
          remove_field => ["password", "credit_card"]
      }
  }
  

• 性能优化：如果应用流量大，用Filebeat代替Logstash的file输入插件，能显著降低服务器压力。

整套流程跑通之后，Node.js日志的收集、存储、分析和可视化就全在掌控之中了。排查问题、监控应用状态，都会变得顺手很多。