敏感词过滤系统：利用前缀树（Trie）结合集合变量实现高性能文本扫描

先说一个核心判断：敏感词过滤用前缀树（Trie），它的核心优势非常明确——一次扫描就能实现多词匹配。这意味着什么？它避免了传统做法里那种对每个词单独遍历文本的笨办法。配合集合变量（比如布尔标记、词级元信息），就能灵活地支持替换、拦截、分级告警等不同策略。说白了，就是速度和扩展性都有了保证。

为什么 Trie 会比正则或循环匹配更高效？

答案就在它的结构里。传统做法，比如逐个遍历敏感词列表再用 str.find 去文本里找，那复杂度就是 O(N×M)——N 是敏感词数量，M 是文本长度。而 Trie 呢？它只需要遍历文本一次，每读一个字符，在树里最多向下走一层，理论复杂度只有 O(M)。这个差距，在敏感词数量达到几千、甚至上万的时候，会变得极其明显。

关键点在于：

• Trie 把所有的敏感词都组织成了共享前缀的树形结构，公共前缀只存一次，既节省了存储空间，也加快了跳转速度。
• 匹配失败时怎么办？这就涉及一个回退机制。在纯 Trie 里一旦失配就得从根节点重新开始，但结合 Aho-Corasick 的 fail 指针后，就可以从父节点的 fail 指针继续，这样能更好地处理像“南京大屠杀”和“大屠杀”这种重叠模式。

再来说说集合变量的用法：不止是“是不是敏感词”

单纯返回一个 True/False 实在是太单薄了。在实际工程中，我们往往需要区分：这个词要不要打码？它属于哪一类违规（比如涉政、广告还是辱骂）？是否允许白名单绕过？这些都得靠节点上绑定的集合变量来支撑。

常见的做法有这几个：

• 给每个 TrieNode 增加字段：比如 category（用字符串或者枚举来标记类型）、replace_with（比如“**”或空字符串，决定替换后的结果）、is_whitelisted（一个布尔值，可以在运行时动态注入）。
• 构建 Trie 的时候，可以批量加载词库，同时就把对应的元信息写进去。如果后期要调整策略，也可以通过词路径单独更新某个词的设置。
• 扫描过程中一旦命中一个完整的词，立刻读取该节点的变量，然后决定下一步动作。关键是，这时候不要中断扫描，也不需要再去重复匹配它的子串——比如命中“中国”后，“中国人”可以设置为自动跳过，通过 end_flag 和 longer_match_first 来控制就行。

谈谈实战中的优化细节：别让 Trie 卡在边界上

纯 Trie 在中文、英文混合、标点干扰、大小写、全半角这些场景下，是容易漏判的。所以需要在预处理和匹配逻辑里补上几手：

• 构建 Trie 之前统一做一次 normalize：转小写、全角转半角，还可以选择性地过滤掉一些无意义的符号（空格和换行符一般要保留，但像句号和感叹号，可以映射为英文的点号和叹号，方便归一化）。
• 扫描的时候不能只匹配“完整字”。对于中文，按字符粒度来就行；对于英文，更好的做法是支持单词边界——可以用空格或标点切分后再进 Trie，或者在 Trie 里增加一个 word_boundary 标记。
• 加入一个简单的回退机制：当前路径失配时，不要直接重置到根节点，而是试试从父节点的 fail 指针继续往下走。这就是 Aho-Corasick 里关键的 fail function，能极大地提升多模式重叠匹配的能力。

关于轻量部署的建议：不用重造轮子

其实并不一定要自己重造轮子。比如 Python 可以直接用 ahocorasick 库，它是 C 实现的，比纯 Python 的 Trie 快 5 到 10 倍，而且原生支持添加词时传入任意 value，匹配结果直接带回 value。非常方便。

当然，自研简化版 Trie 也够用，重点守住三点：

• 节点用 dict 来实现子节点映射（别用 list 加 ord 的方式，那样更占内存，而且没法兼顾 Unicode）。
• insert 的时候用for c in word: current = current.children.setdefault(c, Node())，这样能避免重复 new 对象。
• match 的时候用while i < len(text): if current.children.get(text[i]): current = current.children[text[i]] else: 走回退逻辑，保持简洁和高效。