Pandas正则拆分混合分隔符字符串列

1. 问题描述与传统方法的局限性

在数据处理过程中，我们经常会遇到需要从一列字符串中提取多个子信息的情况。例如，一个数据列可能包含用逗号分隔的原始价格和折扣价格，但这些价格数字本身又使用了逗号作为千位分隔符。

考虑以下示例数据：

'$1,149.99,$1,249.99'  # 两个价格，都含千位分隔符
'$124.99'             # 单个价格
'$549.95'             # 单个价格
'$149.00,$159.99'     # 两个价格，都含千位分隔符

如果直接使用Pandas的str.split(',')方法进行拆分，例如：

data_phones[['actual_price', 'installment_price']] = data_phones['prices'].str.split(',', n=1, expand=True)

由于数字内部的千位分隔符也是逗号，这种方法会导致错误的拆分。例如，'$1,149.99,$1,249.99' 可能会被错误地拆分成 ['$1', '149.99', '$1', '249.99']，而不是我们期望的 ['$1,149.99', '$1,249.99']。这显然无法满足数据清洗的需求。

2. 基于正则表达式的精确拆分策略

为了克服上述问题，我们需要一种更智能的拆分机制，能够区分作为值分隔符的逗号和作为千位分隔符的逗号。正则表达式提供了一种强大的解决方案，允许我们定义更复杂的匹配模式。

核心思想是：只在紧接着一个美元符号（或其他特定模式）的逗号处进行拆分。这可以通过使用正向先行断言 (Positive Lookahead) 来实现。

我们将使用的正则表达式是 ",(?=\$)"。

• ,：匹配一个字面意义上的逗号。
• (?=$)：这是一个正向先行断言。它表示“匹配前面的逗号，但只有当这个逗号后面紧跟着一个美元符号 $ 时才匹配”。$ 在正则表达式中通常表示行尾，但在这里，它被反斜杠 \ 转义，表示匹配字面意义上的美元符号。

通过这种方式，我们确保只有在两个价格字符串之间的逗号才会被识别为分隔符，而价格数字内部的千位分隔符则会被忽略。

3. 示例代码与实现

下面是一个完整的Pandas示例，演示如何使用正则表达式进行精确拆分：

import pandas as pd

# 示例数据
data = [
    '$1,149.99,$1,249.99',
    '$124.99',
    '$549.95',
    '$149.00,$159.99'
]

# 创建DataFrame
df = pd.DataFrame(data, columns=['prices'])

print("原始数据：")
print(df)
print("\n" + "="*30 + "\n")

# 使用正则表达式进行拆分
# ",(?=$)" 匹配一个逗号，但仅当该逗号后面紧跟着一个美元符号时
df_split = df['prices'].str.split(",(?=\$)", expand=True)

# 为拆分后的列命名
df_split.columns = ['actual_price', 'discounted_price']

print("拆分后的数据：")
print(df_split)

代码解释：

1. import pandas as pd：导入Pandas库。
2. df = pd.DataFrame(data, columns=['prices'])：创建一个包含示例数据的DataFrame。
3. df['prices'].str.split(",(?=\$)", expand=True)：
   • df['prices'].str：访问Series的字符串方法。
   • split()：执行字符串拆分操作。
   • ",(?=$)"：我们定义的正则表达式模式。
   • expand=True：将拆分结果扩展为新的DataFrame列，而不是一个Series的列表。

4. 结果分析

运行上述代码，我们将得到以下输出：

原始数据：
                   prices
0  $1,149.99,$1,249.99
1             $124.99
2             $549.95
3     $149.00,$159.99

==============================

拆分后的数据：
  actual_price discounted_price
0    $1,149.99        $1,249.99
1      $124.99             None
2      $549.95             None
3      $149.00        $159.99

从输出可以看出，正则表达式成功地将包含两个价格的字符串拆分成了两列：actual_price 和 discounted_price。对于只包含一个价格的行，第二列 discounted_price 则被填充为 None，这符合预期行为。现在，每个价格字符串都保持了其完整的格式，包括千位分隔符。

5. 注意事项与扩展

• 数据格式依赖性： 本教程中的正则表达式 ",(?=$)" 强烈依赖于价格以美元符号 $ 开头的特定格式。如果您的数据使用不同的货币符号（例如 €、¥）或根本没有货币符号，则需要相应地调整正则表达式。
  • 例如，如果价格以欧元符号开头：",(?=€)"
  • 如果价格不含货币符号，但下一个价格总是以数字开头：",(?=\d)" (匹配逗号后紧跟一个数字)。
• 处理 None 值： 拆分后可能出现 None 值（如本例中只有单个价格的情况）。在后续的数据处理中，您可能需要对这些 None 值进行填充、转换或过滤。
• 进一步的数据清洗： 拆分后的价格仍然是字符串类型，并且包含货币符号和逗号。通常，您需要进一步处理这些列，将其转换为数值类型以便进行计算。这通常涉及使用 str.replace() 移除 $ 和 ,，然后使用 astype(float) 转换为浮点数。

6. 总结

在Pandas中处理复杂的字符串拆分任务时，简单的 str.split() 方法往往不足以应对包含混合分隔符的情况。通过结合正则表达式和Pandas的字符串方法，我们可以构建出强大而灵活的数据清洗方案。本文介绍的 ",(?=$)" 正则表达式及其正向先行断言，为在特定上下文（如价格字符串）中精确区分分隔符提供了一个高效的范例，确保了数据拆分的准确性和完整性。掌握这种技术，将有助于您更有效地处理真实世界中复杂多变的数据格式。