Airflow 中如何固定执行日期并统一设为当日零点时间戳

在 airflow 中，可通过自定义 jinja 宏将 execution_date 转换为指定时区（如 europe/amsterdam）的当日零点时间戳（格式：yyyymmddt00:00:00），确保任务无论何时触发，时间标记始终一致。

在 Airflow 中，如果你需要让每次任务触发的日期标记都固定在某个时区的当日零点，而不是随执行时间漂移，那么自定义一个 Jinja 宏就是最直接的解法。简单说，就是通过三步操作：先转换时区，再截断到当天零点，最后格式化输出——这样无论任务在阿姆斯特丹时间凌晨4点还是中午12点运行，time_marker 始终输出类似 20240115T00:00:00 这样的干净标识。

Airflow 默认的 execution_date 是 UTC 时区的 pendulum.DateTime 对象。如果业务时区在阿姆斯特丹（Europe/Amsterdam），你需要按本地时间对齐每日调度边界，并且把时间归零——注意，不能简单地在 UTC 下做字符串拼接，也不能先归零再转换时区。正确的做法是：先切换时区，再调用 start_of('day')，这样才能拿到该时区下的自然日起点。

推荐的做法是定义一个自定义宏函数，然后注册到 DAG 的 user_defined_macros 中。这个函数接收 execution_date，执行三步操作：

1. 将其转换至目标时区（如 'Europe/Amsterdam'）；
2. 调用 .start_of('day') 截断时间为当日 00:00:00（这一步必须在目标时区内进行，否则跨时区“归零”会出错）；
3. 使用 format('YYYYMMDDT00:00:00') 输出标准字符串（Pendulum 格式中 YYYY 表示四位年份，MM/DD 为补零月份与日期，T 为 ISO 分隔符）。

完整实现示例：

from airflow import DAG
from airflow.operators.python import PythonOperator
from pendulum import DateTime

def format_execution_date(execution_date: DateTime) -> str:
    amsterdam_time = execution_date.in_timezone('Europe/Amsterdam')
    midnight_amsterdam_time = amsterdam_time.start_of('day')
    return midnight_amsterdam_time.format('YYYYMMDDT00:00:00')

with DAG(
    'daily_midnight_marker_dag',
    schedule_interval='0 3 * * *',  # 每日 03:00 UTC（即阿姆斯特丹 04:00）
    start_date=DateTime(2024, 1, 1),
    catchup=True,
    user_defined_macros={'format_execution_date': format_execution_date},
) as dag:
    def print_time_marker(**context):
        time_marker = context['params']['time_marker']
        print(f"Resolved time_marker: {time_marker}")

    task = PythonOperator(
        task_id='log_time_marker',
        python_callable=print_time_marker,
        params={
            'time_marker': '{{ format_execution_date(execution_date) }}'
        }
    )

✅ 关键注意事项：

• execution_date 在 Jinja 模板中是可直接传入宏的上下文变量，无需额外解析；
• 切勿使用 pendulum.parse() 手动构造时间——它无法正确处理时区夏令时（DST）偏移；
• 若 DAG 启用 catchup=True，历史回填任务将基于每个 execution_date 独立计算对应时区的零点，结果天然准确；
• 输出格式中的 T00:00:00 是硬编码写法（因 start_of('day') 已保证时间为 00:00:00），也可改用 'YYYYMMDDTHH:mm:ss' 动态格式化，但前者更简洁明确。

通过这种方式，无论任务在阿姆斯特丹时间当天的 04:00、12:00 还是 23:59 触发，time_marker 始终稳定输出类似 20240115T00:00:00 的标识。对下游数据分区、文件命名或外部系统对接来说，这相当于提供了一个强一致性的时间基准，省去了跨时区转换的麻烦。