Saxon XSLT 批量处理性能优化技巧

本文介绍通过 SaxonC Python API 替代反复调用命令行的方式，避免 JVM 启动开销，并结合单次编译、复用处理器与可选多线程，将 XML 批量转换性能提升数倍至数十倍。

在当前实现中，Python 脚本对每个 XML 文件都执行一次 java -cp ... net.sf.saxon.Transform 命令，这意味着：每次调用都会启动全新 JVM 实例、加载 Saxon 库、解析并编译 XSLT（即使样式表完全相同）、再执行转换——这一过程在处理成千上万个文件时会产生巨大的重复开销，成为主要性能瓶颈。

根本优化思路是：复用 Saxon 处理器实例，预编译 XSLT 一次，然后对每个输入文档高效复用执行逻辑。 推荐采用 SaxonC 12+ 的 Python 绑定（saxonche），它基于 C++ 核心，提供原生 Python 接口，无进程启动延迟，内存复用率高，且支持 XSLT 3.0 特性。

✅ 推荐方案：SaxonC + 单次编译 + 文档级复用

首先安装依赖：

pip install saxonche

优化后的核心代码如下（已整合路径处理与异常安全）：

import os
from saxonche import PySaxonProcessor

def transform_single(saxon_proc, executable, input_path, output_path):
    """对单个 XML 文件执行预编译 XSLT 转换"""
    try:
        # 解析 XML（不触发完整 DOM 构建，SaxonC 内部流式优化）
        xdm_doc = saxon_proc.parse_xml(xml_file_name=input_path)
        # 设置全局上下文项（供 XSLT 中如 / 或 // 表达式使用）
        executable.set_global_context_item(xdm_item=xdm_doc)
        # 执行转换并写入文件（无需手动管理输出流）
        executable.apply_templates_returning_file(
            xdm_value=xdm_doc,
            output_file=output_path
        )
    except Exception as e:
        raise RuntimeError(f"XSLT transformation failed for {input_path}: {e}")

# 主流程：仅初始化一次处理器与样式表
with PySaxonProcessor(license=False) as proc:  # license=True 若使用 EE 功能
    xslt_proc = proc.new_xslt30_processor()
    # ✅ 关键：XSLT 编译仅一次！大幅节省重复解析/验证时间
    executable = xslt_proc.compile_stylesheet(stylesheet_file="transform.xsl")

    for root, dirs, files in os.walk(folderXmlSource):
        for file in files:
            if not file.endswith('.xml'):
                continue
            input_path = os.path.join(root, file)
            output_path = os.path.join(folderTxtTemp, f"{os.path.splitext(file)[0]}.txt")

            try:
                transform_single(proc, executable, input_path, output_path)
                print(f"✓ Processed: {input_path} → {output_path}")
                finalize(output_path)  # 你的结果聚合逻辑
            except Exception as e:
                errorLog.write(f"{input_path}\t{e}\n")
                errorLog.flush()

? 注意路径处理：原始代码中使用的 \\\\?\\ Windows 扩展路径前缀在 saxonche 中无需手动添加——parse_xml(xml_file_name=...) 已自动适配长路径与 Unicode，直接传入 os.path.join(...) 结果即可，更简洁且跨平台兼容。

⚙️ 进阶优化：多线程并行（CPU 密集型场景）

若 XML 文件数量极大（如 >5,000）且机器为多核 CPU，可在保持单个 PySaxonProcessor 实例的前提下，使用 concurrent.futures.ThreadPoolExecutor 并行调用 transform_single。
⚠️ 注意：PySaxonProcessor 实例线程安全，但 Xslt30Executable（即 executable）也支持并发调用（SaxonC 12+ 明确保证），无需加锁。

参考实现（片段）：

from concurrent.futures import ThreadPoolExecutor, as_completed

# 在 with PySaxonProcessor(...) 块内：
with ThreadPoolExecutor(max_workers=os.cpu_count() or 4) as executor:
    futures = []
    for root, dirs, files in os.walk(folderXmlSource):
        for file in files:
            if file.endswith('.xml'):
                input_p = os.path.join(root, file)
                output_p = os.path.join(folderTxtTemp, f"{os.path.splitext(file)[0]}.txt")
                futures.append(
                    executor.submit(transform_single, proc, executable, input_p, output_p)
                )

    for future in as_completed(futures):
        try:
            future.result()  # 抛出异常则此处捕获
        except Exception as e:
            errorLog.write(f"Thread error: {e}\n")

? XSLT 层面协同优化建议

你当前的 XSLT 使用大量 //System:FileName 这类深度优先遍历表达式，在大型 XML 中可能低效。建议：

• 若 System:FileName 总位于固定层级（如 /root/metadata/System:FileName），改用绝对路径提升性能；
• 合并多个 xsl:variable 为单次 xsl:for-each 或 xsl:sequence 输出，减少中间变量存储；
• 最终目标是生成纯文本行，可考虑直接用 或 xsl:output method="text" 配合模板匹配，避免冗余树构建。

✅ 性能收益总结

? 提示：首次运行建议启用 -t（详细跟踪）调试，saxonche 支持 proc.set_configuration_property("http://saxon.sf.net/feature/timing", "true") 获取精确耗时分析。

通过以上重构，你将彻底摆脱“每文件启 JVM”的反模式，让 Saxon 真正以高性能库的身份工作——这不仅是速度提升，更是架构向可维护、可扩展工程实践的关键一步。