Pandas正则拆分大写列数据

本文档介绍了如何使用 Pandas 和正则表达式高效地将 DataFrame 中的一列按照特定分隔符（' - '）和全大写字母组合进行拆分。我们将探讨两种主要方法：一种是使用 Pandas 内置的字符串操作 .str.extract()，另一种是结合使用 re 模块进行更灵活的模式匹配。通过这些方法，你可以轻松地将包含复杂模式的列拆分为多个有意义的列，从而简化数据分析和处理流程。

使用 Pandas 的向量化字符串操作

Pandas 提供了强大的向量化字符串操作，可以高效地处理 DataFrame 中的文本数据。以下是如何使用 .str.extract() 和正则表达式来拆分列的示例：

import pandas as pd

df = pd.DataFrame({
   'Value': ['Juan-Diva - HOLLS', 'Carlos - George - ESTE BAN', 'Javier Plain - Hotham Ham - ALPINE', 'Yul - KONJ KOL MON'],
})

# 正则表达式模式
pattern = r'^(.*?) - ([A-Z\s-]+)$'

# 提取分组到两个新列
df[['First', 'Last']] = df['Value'].str.extract(pattern)

# 显示 DataFrame
print(df)

代码解释：

1. 导入 Pandas: import pandas as pd 导入 Pandas 库，用于数据处理。
2. 创建 DataFrame: 创建一个包含示例数据的 DataFrame。
3. 正则表达式模式: pattern = r'^(.*?) - ([A-Z\s-]+)$' 定义了用于拆分字符串的正则表达式模式。这个模式的含义如下：
   • ^: 匹配字符串的开头。
   • (.*?): 匹配任意字符（非贪婪模式），并将其捕获到第一个分组中。
   • -: 匹配分隔符 " - "。
   • ([A-Z\s-]+): 匹配由大写字母、空格或连字符组成的字符串，并将其捕获到第二个分组中。
   • $: 匹配字符串的结尾。
4. 提取分组: df[['First', 'Last']] = df['Value'].str.extract(pattern) 使用 .str.extract() 方法和定义的正则表达式模式从 'Value' 列中提取分组，并将结果分别存储到 'First' 和 'Last' 列中。
5. 显示 DataFrame: print(df) 打印修改后的 DataFrame，显示拆分后的结果。

输出：

                                Value                      First          Last
0                   Juan-Diva - HOLLS                  Juan-Diva         HOLLS
1          Carlos - George - ESTE BAN            Carlos - George      ESTE BAN
2  Javier Plain - Hotham Ham - ALPINE  Javier Plain - Hotham Ham        ALPINE
3                  Yul - KONJ KOL MON                        Yul  KONJ KOL MON

此代码使用正则表达式 r'^(.*?) - ([A-Z\s-]+)$' 和 .str.extract()。该模式旨在将字符串拆分为两部分：

1. ^(.*?) 捕获字符串开头到最后一个 " - " 之间的内容。
2. ([A-Z\s-]+)$ 捕获字符串的最后一段，该段必须仅包含大写字母、空格或连字符。

此模式确保拆分发生在最后一个 " - " 之后，后跟一系列大写字符、空格或连字符的字符串。

使用 re 模块的替代方法

虽然 Pandas 的向量化字符串操作通常更有效，但 re 模块提供了更大的灵活性。以下是如何使用 re 模块实现相同结果的示例：

import pandas as pd
import re

df = pd.DataFrame({
    'Value': ['Juan-Diva - HOLLS', 'Carlos - George - ESTE BAN', 'Javier Plain - Hotham Ham - ALPINE', 'Yul - KONJ KOL MON'],
})

# 用于拆分字符串的函数
def split_value(s):
    # 查找最后一次出现的 ' - ' 后跟大写字母
    match = re.search(r'^(.*?) - ([A-Z\s-]+)$', s)
    if match:
        return match.group(1), match.group(2)
    else:
        return s, None

# 将函数应用于 'Value' 列中的每一行
df[['First', 'Last']] = df['Value'].apply(lambda x: split_value(x)).tolist()

print(df)

代码解释：

1. 导入库: 导入 pandas 用于数据处理和 re 用于正则表达式操作。
2. 创建 DataFrame: 创建一个包含示例数据的 DataFrame。
3. 定义 split_value 函数:
   • 此函数接受一个字符串 s 作为输入。
   • 它使用 re.search 函数查找与正则表达式 r'^(.*?) - ([A-Z\s-]+)$' 匹配的模式。
   • 如果找到匹配项（if match:）：
     • match.group(1) 返回第一个捕获组的内容（在 " - " 之前的部分）。
     • match.group(2) 返回第二个捕获组的内容（由大写字母、空格或连字符组成的部分）。
     • 函数返回这两个组的元组。
   • 如果没有找到匹配项（else:）：
     • 函数返回原始字符串 s 和 None 的元组。
4. 应用函数并创建新列:
   • df['Value'].apply(lambda x: split_value(x)) 将 split_value 函数应用于 'Value' 列中的每个值。lambda x: split_value(x) 是一个匿名函数，它接受一个值 x 并将其传递给 split_value 函数。
   • .tolist() 将 apply 方法的结果（一系列元组）转换为列表。
   • df[['First', 'Last']] = ... 将列表中的元组分配给新的 'First' 和 'Last' 列。

输出：

                                Value                      First          Last
0                   Juan-Diva - HOLLS                  Juan-Diva         HOLLS
1          Carlos - George - ESTE BAN            Carlos - George      ESTE BAN
2  Javier Plain - Hotham Ham - ALPINE  Javier Plain - Hotham Ham        ALPINE
3                  Yul - KONJ KOL MON                        Yul  KONJ KOL MON

我使用 re.search 函数来根据指定的模式查找匹配项。模式 r'^(.*?) - ([A-Z\s-]+)$' 与上面使用的模式相同。如果找到匹配项，该函数将返回字符串的两个部分；否则，它将返回原始字符串和 'Last' 列的 None。然后将结果转换为列表并分配给新列 'First' 和 'Last'。

注意事项和总结

• 性能： 对于大型数据集，Pandas 的向量化字符串操作通常比使用 re 模块更有效。但是，对于更复杂的模式匹配，re 模块可能更灵活。
• 正则表达式： 掌握正则表达式对于文本数据处理至关重要。确保理解所使用的模式，并根据需要进行调整。
• 错误处理： 在实际应用中，需要考虑错误处理。例如，如果某些行的格式与预期不符，则需要添加适当的逻辑来处理这些情况。
• 数据清洗： 在拆分列之前，可能需要对数据进行清洗，例如删除前导或尾随空格。

总而言之，本文档介绍了两种使用 Pandas 和正则表达式拆分 DataFrame 中列的方法。通过选择合适的方法并根据需要调整正则表达式，你可以高效地处理和转换文本数据。