CentOS Python日志处理技巧有哪些

在CentOS上搞Python开发，日志处理几乎是绕不开的基础功。很多同学要么直接用print凑合，要么把logging配好就再也不管了——其实这里面有不少小技巧，能让你的日志系统既省心又专业。下面就把这些年积累的几个实用方法逐一聊聊。

CentOS环境下Python日志处理实用技巧

1. 使用Python内置logging模块基础配置

Python自带的logging模块，说它是日志处理的核心工具毫不为过。它原生支持多级别（DEBUG、INFO、WARNING、ERROR、CRITICAL），还能灵活搭配不同处理器（控制台、文件等）和输出格式。快速上手的话，直接用basicConfig就能搞定，比如这样：

import logging
logging.basicConfig(
    level=logging.INFO,  # 设置日志级别（生产环境建议用WARNING/ERROR）
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',  # 包含时间、记录器名称、级别和消息
    handlers=[logging.FileHandler('app.log'), logging.StreamHandler()]  # 同时输出到文件和控制台
)
logger = logging.getLogger(__name__)  # 创建记录器
logger.info('Application started')  # 记录日志

别小看这几行代码——对简单项目来说，它已经够用了，日志记录就此启动。

2. 高级日志轮转：控制日志文件大小和数量

日志文件越滚越大，磁盘空间迟早报警。这时候就需要日志轮转：自动把旧日志压缩、保留固定份数，新日志另起炉灶。常用的有两种路子：

• 按大小轮转：用RotatingFileHandler，设置一个上限（比如10MB），满了就自动创建新文件，同时保留最近几个备份：

  from logging.handlers import RotatingFileHandler
  rotating_handler = RotatingFileHandler(
      '/var/log/myapp/app.log',
      maxBytes=10*1024*1024,  # 10MB
      backupCount=5  # 保留5个备份
  )
  rotating_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s'))
  logger.addHandler(rotating_handler)

• 按时间轮转：用TimedRotatingFileHandler，按每天、每小时等时间间隔轮转，适合那些长期跑的服务：

  from logging.handlers import TimedRotatingFileHandler
  timed_handler = TimedRotatingFileHandler(
      '/var/log/myapp/app.log',
      when='midnight',  # 每天午夜轮转
      interval=1,       # 每天一次
      backupCount=7     # 保留7天的日志
  )
  timed_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s'))
  logger.addHandler(timed_handler)

  值得一提的是，这两种处理器通常还支持compress参数（比如RotatingFileHandler的compression='zip'），自动把旧日志压缩起来，省空间。

3. 日志过滤：精准控制日志输出内容

日志一多，真正想看的信息反而被淹没了。这时可以自定义过滤器，只记录包含特定关键词、来自某些模块的日志，把无关干扰过滤掉。举个例子：

class KeywordFilter(logging.Filter):
    def filter(self, record):
        return 'important' in record.getMessage()  # 只记录包含"important"的消息

logger.addFilter(KeywordFilter())  # 添加过滤器
logger.info('This is an important message')  # 会被记录
logger.info('This is a normal message')  # 不会被记录

过滤器可以挂到单个处理器上（比如file_handler.addFilter()），也可以直接挂给整个记录器——粒度自己掌控。

4. 输出到系统日志（syslog）：集成系统日志管理

如果想把Python日志和CentOS系统日志（比如/var/log/messages）统一管理，用SysLogHandler就能搞定，直接把日志发给系统日志服务：

from logging.handlers import SysLogHandler
syslog_handler = SysLogHandler(address='/dev/log')  # CentOS系统日志默认地址
syslog_handler.setLevel(logging.WARNING)  # 只发送WARNING及以上级别日志
syslog_handler.setFormatter(logging.Formatter('%(name)s - %(levelname)s - %(message)s'))
logger.addHandler(syslog_handler)
logger.warning('System-level warning occurred')  # 会出现在系统日志中

这种方案特别适合需要统一管理应用日志和系统日志的场景——不用两边分开查，效率高不少。

5. 结合logrotate工具：自动化日志管理

虽然logging模块本身就能做轮转，但CentOS自带的logrotate更灵活：支持按时间、按大小轮转，自动压缩、删除旧日志，还能通过cron定时执行。而且不用改Python代码。举个例子，创建/etc/logrotate.d/myapp配置文件：

/var/log/myapp/*.log {
    daily            # 每天轮转
    rotate 7         # 保留7个备份
    compress         # 压缩旧日志（如.gz）
    missingok        # 文件不存在时不报错
    notifempty       # 文件为空时不轮转
    sharedscripts    # 所有日志轮转完成后执行脚本
    postrotate
        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
        # 重启日志服务（如syslog）
    endscript
}

配置好之后，logrotate会按设定的规则自动处理日志文件，Python代码这边完全不用操心。

6. 使用第三方库简化日志处理：Loguru

如果你觉得标准库配置起来有点啰嗦，试试Loguru——API简洁到令人舒适，自动格式化、彩色日志、异常追踪一应俱全。特别适合中小项目快速落地：

from loguru import logger
logger.add("app.log", rotation="500 MB", retention="30 days", compression="zip")  # 自动轮转（500MB）、保留30天、压缩
logger.info("User logged in successfully")  # 自动添加时间、级别等信息
try:
    1 / 0
except Exception as e:
    logger.exception("An error occurred")  # 自动记录异常堆栈

一行配置就能搞定轮转策略，不用像标准库那样反复绑定handler、设置formatter，对快速原型来说很友好。

7. 日志级别环境区分：适配开发与生产

开发时要DEBUG信息，生产环境却怕日志刷爆磁盘——不同环境配不同级别就对了。通过环境变量来控制，优雅又灵活：

import os
import logging

# 根据环境变量设置日志级别
env = os.getenv('ENVIRONMENT', 'development').lower()
log_level = logging.DEBUG if env == 'development' else logging.WARNING

logging.basicConfig(
    level=log_level,
    format='%(asctime)s - %(levelname)s - %(message)s'
)
logger = logging.getLogger(__name__)
logger.debug('Debug message (only in development)')   # 开发环境可见，生产环境不可见
logger.warning('Warning message (visible in all environments)')

只需设置一个ENVIRONMENT变量，就能在不同环境下自动切换级别，不用手动改代码。

8. 结构化日志：便于分析与可视化

如果你想上ELK Stack、Grafana这类分析工具，通常会希望日志是结构化的——比如JSON格式，每条日志都是清晰的键值对，机器解析起来快得多。自己写个JsonFormatter就能实现：

import logging
import json

class JsonFormatter(logging.Formatter):
    def format(self, record):
        log_entry = {
            'timestamp': self.formatTime(record),
            'level': record.levelname,
            'message': record.getMessage(),
            'module': record.module,
            'function': record.funcName,
            'line': record.lineno
        }
        return json.dumps(log_entry)

logger = logging.getLogger(__name__)
handler = logging.FileHandler('/var/log/myapp/app.json')
handler.setFormatter(JsonFormatter())
logger.addHandler(handler)
logger.info('User logged in', extra={'user_id': 123})  # 输出JSON格式日志

这种方式对大规模系统尤其有用——每条日志都带着时间、模块、函数、行号，后续分析、告警、可视化都省力不少。