展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 编程开发 > Filebeat支持哪些日志格式

Filebeat支持哪些日志格式

Filebeat是一款轻量级日志采集器,支持JSON、NDJSON、syslog、容器标准输出及多行事件等多种格式。官方预置模块可开箱解析Nginx、MySQL、Apache等服务日志。通用文本则逐行采集,由下游Grok等工具解析处理,并支持自定义规则。灵活高效,覆盖常见日志场景。

本文目录

    Filebeat支持的日志格式与解析能力

    Filebeat支持哪些日志格式

    日志采集场景千差万别,Filebeat 能应对的格式却相当全面。下面从内置解析器、模块生态、通用文本处理到具体配置,逐一拆解。

    一 内置解析器与容器日志

    JSON 与 NDJSON:Filebeat 内置了 JSON 解码器,可以把每行 JSON 直接展开到事件顶层。这对应用直接输出 JSON 的场景来说,简直是最省心的方式。NDJSON(逐行 JSON)同样适用。常见的配置选项包括 json.keys_under_root、json.overwrite_keys、json.add_error_key 和 json.message_key 等。如果是多行 JSON(比如堆栈信息),可以先按行解析成 JSON,再配合多行策略或后续处理器把事件重新组合起来。

    Syslog:内置的 syslog 解析器支持 RFC 3164 和 RFC 5424 两种标准格式,并且能自动检测当前日志属于哪一种。使用时只需指定 format: auto,还可以单独设置时区、是否记录解析错误等参数。

    容器与 Kubernetes 日志:通过 filestream 输入的 container 解析器可以读取容器的标准输出/错误流。支持 docker 和 cri 两种格式的自动检测(设置 format: auto/docker/cri),在 K8s 环境下直接解析容器日志非常方便。

    多行事件处理:对于 Ja va 堆栈、异常跟踪这类跨越多行的日志,Filebeat 提供了多行配置(pattern、negate、match)来将它们合并为一个事件。这个功能经常和上述解析器配合使用,能有效避免被拆散的异常信息。

    二 模块生态覆盖的常见服务日志

    Filebeat 提供了大量官方模块(modules),开箱即用地解析并可视化常见服务日志。典型代表包括 Nginx、Apache、MySQL、Kafka 等。每个模块通常都已经配好了默认日志路径、必要的多行合并策略、Elasticsearch Ingest Pipeline(用于字段类型转换和解析),以及现成的 Kibana 仪表板。以 Nginx 模块为例,它内置了对 access 日志和 error 日志的完整解析与展示能力——部署后几乎不需要额外配置。

    三 通用文本与正则场景

    对于未结构化的纯文本日志(比如自定义格式或简单的分隔日志),Filebeat 可以充当“逐行采集器”,直接把原始消息发送出去。后续在 Logstash 或通过 Ingest Pipeline 使用 Grok / Dissect 等处理器进行解析。当然,也可以在 Filebeat 端先用 include_message 之类的解析器进行消息过滤与分流,再进入下游的解析链路——灵活度很高。

    四 快速配置示例

    下面给出几个最常见的配置模板,覆盖 JSON、容器、syslog 和多行合并场景,可根据实际日志格式直接套用。

    解析 JSON 日志(将 JSON 字段提升到顶层,遇到解析错误时添加 error.message):

    filebeat.inputs:
    - type: filestream
      id: app-json
      paths:
        - /var/log/app/*.log
      parsers:
        - json:
            keys_under_root: true
            overwrite_keys: true
            add_error_key: true
    

    解析容器 stdout/stderr(自动识别 docker/cri 格式):

    filebeat.inputs:
    - type: filestream
      id: k8s-container
      paths:
        - /var/log/containers/*.log
      parsers:
        - container:
            stream: stdout
    

    解析 syslog(指定 RFC 5424 格式并设置时区):

    filebeat.inputs:
    - type: filestream
      id: syslog
      paths:
        - /var/log/syslog
      parsers:
        - syslog:
            format: rfc5424
            timezone: America/Chicago
            log_errors: true
    

    多行合并示例(以 [ 开头的行作为新事件的开始):

    filebeat.inputs:
    - type: filestream
      id: tomcat-error
      paths:
        - /opt/tomcat/logs/catalina.out
      multiline:
        pattern: '^\['
        negate: true
        match: after
    

    以上示例覆盖了 JSON、容器、syslog 和多行合并等常见场景。实际使用时,只需根据自己的日志格式替换路径和参数即可。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 Linux
    相关文章 更多
    精品专题 更多
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    IOS软件

    正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

    AI

    正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

    Mac软件 更多
    AirBuddy 3 macOS版
    AirBuddy 3 macOS版

    AirBuddy 3 是面向 macOS 的蓝牙外设增强工具,可集中查看 AirPods、Beats 与苹果设备电量,提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。

    AirServer macOS版
    AirServer macOS版

    AirServer macOS版可把 Mac 转换为无线投屏接收端,通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面,并支持多设备同时连接、高清镜像及会话录制,适合家庭娱乐、课堂教学、会议演示和应用展示。

    AnyDesk macOS版
    AnyDesk macOS版

    AnyDesk macOS版是一款适用于远程办公、设备维护和客户支持的远程桌面工具,可连接并操作异地计算机,支持文件传输、无人值守访问、会话权限控制及跨平台协作。

    Beamer 4 macOS版
    Beamer 4 macOS版

    Beamer 4是面向macOS的本地视频投屏工具,可将Mac中的影片投放到Apple TV、Chromecast及兼容设备,支持常见格式、多类字幕、环绕声、播放列表和电视遥控操作。

    Boom 3D macOS版
    Boom 3D macOS版

    Boom 3D macOS版是一款系统级音效增强工具,可为音乐、电影、游戏和流媒体提供3D虚拟环绕声、31段均衡器、音量增强及应用独立音量控制,并支持本地播放器与多种音频输出设备。

    Boris FX macOS版
    Boris FX macOS版

    Boris FX macOS版是一套面向剪辑、合成、调色及动态图形工作的专业后期工具,涵盖视觉特效、平面与三维跟踪、转描、画面修复、粒子动画和音频清理,可配合多种主流宿主软件使用。

    Capto macOS版
    Capto macOS版

    Capto 是面向 macOS 的屏幕截图、高清录屏与媒体编辑工具,支持区域及整屏捕获、网页长截图、双音轨处理、图片和视频标注、素材分类与多渠道分享,适合教师、学生、内容创作者及需要制作演示教程的用户。

    ChemDraw macOS版
    ChemDraw macOS版

    ChemDraw macOS版是一款面向化学学习、科研和制药工作的专业结构绘图工具,可创建分子、反应及生物聚合物图形,并提供结构整理、格式转换和科研成果展示能力。

    Cursor Crane macOS版
    Cursor Crane macOS版

    Cursor Crane 是一款仅面向 macOS 的键盘操控效率工具,可通过提示标签、网格、文字查找和窗口模式完成点击、滚动、定位与切换,并支持屏幕内容提取、脚本及工作流扩展。

    Deep Freeze 冰点还原 macOS版
    Deep Freeze 冰点还原 macOS版

    Deep Freeze 冰点还原 macOS版通过冻结系统配置,让受保护的Mac在重新启动后回到预设状态,并提供解冻空间、维护计划、密码保护及Apple Remote Desktop管理能力。

    Focusky macOS版
    Focusky macOS版

    Focusky macOS版是一款面向教学课件、商务汇报、产品展示和动画宣传内容的演示制作工具。它通过无限画布、路径编排、缩放旋转转场及多媒体编辑,将传统逐页幻灯片转化为更具空间感的动态演示。

    Folder Colorizer 2 macOS版
    Folder Colorizer 2 macOS版

    Folder Colorizer 2 macOS版是一款直观的文件夹外观定制工具,可更换颜色,添加表情、贴纸及图片背景,并支持批量处理、智能推荐和恢复默认样式,帮助用户更快辨认工作、学习与生活资料。

    WINDOWS 更多
    Fuzor Windows版
    Fuzor Windows版

    Fuzor Windows版是一套面向建筑、工程与施工团队的BIM/VDC平台,可汇集多来源模型和进度数据,完成实时可视化、4D施工推演、场地物流规划、问题检查、成果演示及团队协同。

    Gety Windows版
    Gety Windows版

    Gety Windows版是一款本地AI文件搜索工具,可索引电脑中的文档和图片,通过全文搜索、语义检索与OCR快速定位内容,并提供原版式预览、筛选和AI工具连接功能。

    iMazing Windows版
    iMazing Windows版

    iMazing Windows版是一款面向iPhone、iPad和iPod用户的本地设备管理工具,可在电脑上完成多版本备份、照片与音乐传输、信息导出、应用数据管理以及新旧设备迁移。

    Mercalli Windows版
    Mercalli Windows版

    Mercalli是一款面向Windows用户的专业视频稳定与画面修复工具,可分析手持、运动相机、无人机和长焦素材中的抖动,校正滚动快门及CMOS果冻效应,并提供曝光、色彩、锐度和镜头画面优化功能。

    NiceLabel Windows版
    NiceLabel Windows版

    NiceLabel是面向Windows平台的商业条码标签设计与打印工具,可制作文字、图像、条码及变量数据标签,并支持数据库连接、批量打印、打印自动化和集中管理,适用于制造、仓储、物流及零售等场景。

    pdfFactory Windows版
    pdfFactory Windows版

    pdfFactory是一款面向Windows的PDF虚拟打印机,可从支持打印的应用程序创建PDF,在保存前完成即时预览、页面排序、旋转、删除及多文档合并,并支持字体嵌入、邮件发送等办公功能。

    Polarr Windows版
    Polarr Windows版

    Polarr Windows版是一款面向摄影爱好者与内容创作者的照片编辑工具,提供曝光和色彩调整、曲线、HSL、滤镜、局部蒙版、人像修饰、叠加效果及批量导出等功能,适合日常修图、社交媒体配图和较细致的影像后期处理。

    AIDA64 Windows版
    AIDA64 Windows版

    AIDA64是一款面向Windows电脑用户的系统信息、硬件诊断与基准测试工具,可识别处理器、主板、显卡、存储设备和系统组件,并实时监控温度、电压、功耗及风扇转速,适合装机验收、性能比较和稳定性排查。

    Portraiture Windows版
    Portraiture Windows版

    Portraiture Windows版是一款面向人像摄影后期的智能润饰插件,可在Photoshop、Lightroom Classic和Affinity中完成皮肤平滑、AI区域识别、肤色统一及补光处理,

    priPrinter 7 Windows版
    priPrinter 7 Windows版

    priPrinter 7 Windows版是一款虚拟打印机与打印预览工具,可接收其他程序的打印任务,在输出前调整页面顺序、边距与版式,并添加水印、页码或批注。专业版还支持文本修正、内容脱敏、打印历史和PDF发布。

    PSD Manager Windows版
    PSD Manager Windows版

    PSD Manager是适用于Windows版Autodesk 3ds Max的渲染后期插件,可把画面、渲染元素、对象及材质蒙版整理成分层PSD或PSB文件,便于在Photoshop、Affinity Photo和After Effects

    RayFire Windows版
    RayFire Windows版

    RayFire是运行于Windows版Autodesk 3ds Max中的破碎与刚体动力学插件,集成实时Voronoi切割、交互式拆除、爆炸、裂纹、缓存和体素等工具,适合影视特效、游戏动画及建筑坍塌镜头制作。