如何从 DataFrame 列中提取结构化编号并智能映射到新列

如何从 DataFrame 列中提取结构化编号并智能映射到新列

本文介绍使用正则表达式与上下文记忆机制，从非规范化的 section_name 中精准提取 section_id，并对无编号条目（如 “synopsis”）实现基于历史匹配的智能回填。

处理文档结构化数据时，你是否也常遇到这样的麻烦？测试用例、章节大纲或是SOP条款的 section_name 列里，文本格式五花八门：既有带着清晰编号的“1.3.1.Test Period I - Screening13”，也夹杂着只有纯标题的“Synopsis”，中间还可能点缀着空值和空白行。我们的目标很明确：生成一列语义一致的 section_id。对于带编号的条目，提取出前缀如“1.3.1”；对于纯标题，则要聪明地找到它所属的最近有效编号。这可不是简单的字符串切割，它要求算法同时具备精准的模式识别能力和理解上下文关联的能力。

核心思路：正则提取 + 历史映射表

一个直观但容易出错的思路是逐行传递状态。这里推荐更稳健的方法：构建一个动态字典，我们称之为 prev_ids。它的妙处在于，每当处理一个“编号+标题”组合时，我们就把剥离编号后的纯标题部分作为键（key），把对应的编号作为值（value）存起来。这样一来，后续遇到任何纯标题，只需要在这个“历史记忆库”里快速查找匹配项，就能回溯到它的归属编号，逻辑清晰且不易出错。

✅ 正确实现（推荐）

import pandas as pd
import numpy as np
import re

# 示例数据（含空值、None、空白字符串）
data = {
    'section_name': [
        '1.Test Summary9',
        '1.1.Synopsis9',
        '1.2.Schema12',
        '1.3.1.Test Period  I - Screening13',
        '1.3.2.Period II - obes-Treatment 15',
        'Synopsis',
        'Test Period  I - Screening',
        None,
        ''
    ]
}
df = pd.DataFrame(data)

def extract_section_id(row, id_map):
    name = row['section_name']
    # 跳过 None、NaN、空字符串或纯空白
    if pd.isna(name) or str(name).strip() == '':
        return ''  # 或返回 np.nan，按需选择
    name_str = str(name).strip()

    # 正则匹配：捕获连续的数字+点号组合（支持 1、1.1、1.3.1 等）
    match = re.match(r'^(\d+(?:\.\d+)*)\.(.*)$', name_str)
    if match:
        sec_id, title_part = match.groups()
        # 将标题部分（去空格）作为 key，映射到当前编号
        id_map[title_part.strip()] = sec_id
        return sec_id
    else:
        # 非编号格式：尝试在历史标题中查找是否为子串（如 "Synopsis" in "1.1.Synopsis9" → True）
        for full_title, sec_id in id_map.items():
            if name_str in full_title or full_title in name_str:
                return sec_id
        return ''  # 未匹配到，返回空（或 np.nan）

# 初始化映射字典
id_mapping = {}
df['section_id'] = df.apply(lambda r: extract_section_id(r, id_mapping), axis=1)

关键细节说明：

• 正则 r'^(\d+(?:\.\d+)*)\.(.*)$'：
  开头的 ^ 和结尾的 $ 确保了匹配从行首开始、到行尾结束，避免误匹配中间部分。(\d+(?:\.\d+)*) 这个分组负责捕获多级编号，无论是“1”、“1.1”还是“1.3.1”都能搞定。紧接着的 \. 匹配那个作为分隔符的字面量点号，最后的 (.*) 则把剩下的所有标题内容都捕获进来。
• 智能回填逻辑：
  这里没有使用严格的相等判断，而是采用了子串匹配（name_str in full_title）。这非常实用，它使得“Synopsis”能成功匹配到“1.1.Synopsis9”，“Test Period I - Screening”也能对应上“1.3.1.Test Period I - Screening13”，容错性更强。
• 空值处理统一：
  对于 None、np.nan 以及空字符串，函数统一返回空字符串。当然，根据后续分析需求，你也可以选择统一返回 np.nan 以保持数据类型的整洁。

⚠️ 注意事项：

• 歧义匹配：如果存在模糊情况，比如“A”这个标题既出现在“1.A”里，也出现在“2.AB”中，当前的逻辑会返回最先注册的那个编号（sec_id）。如果需要更精确的全词匹配，可以考虑改用 re.search(rf'\b{name_str}\b', full_title) 来增强判断。
• 数据顺序假设：这个方法默认数据的顺序是有业务意义的，即带编号的条目会先于其对应的纯标题出现。如果原始数据顺序混乱，务必先按业务逻辑（比如原始索引或某个辅助序号）进行排序预处理。
• 性能提示：当面对超大规模数据集（行数超过10万）时，为了提升效率，可以预编译正则表达式对象，并优先使用 pandas 的向量化操作（如 df['section_name'].str.extract()）来批量处理所有带编号的行。完成后再用 map() 方法来回填纯标题行，这样速度会快得多。

运行上述代码后，得到的 DataFrame 输出如下，可以看到智能映射的效果：

                        section_name section_id
0                      1.Test Summary9          1
1                        1.1.Synopsis9        1.1
2                         1.2.Schema12        1.2
3   1.3.1.Test Period  I - Screening13      1.3.1
4  1.3.2.Period II - obes-Treatment 15      1.3.2
5                             Synopsis        1.1
6           Test Period  I - Screening      1.3.1
7                               None            
8                                     

总的来说，这个方案鲁棒性强，逻辑清晰，能够很好地应对真实业务场景中常见的半结构化文本解析挑战。