Pandas保留指定列重复项方法

在数据处理过程中，我们经常会遇到需要识别和处理重复数据的情况。有时，我们希望完全移除重复项；而另一些时候，我们可能需要保留所有重复项，但排除它们首次出现的那一条记录。例如，在一个客户交易记录表中，如果某个客户有多笔交易，我们可能只关心其后续的交易记录，忽略其第一笔交易。Pandas库提供了一个非常便捷的方法duplicated()来解决这类问题。

理解 duplicated() 方法

pandas.Series.duplicated() 或 pandas.DataFrame.duplicated() 方法用于标记DataFrame或Series中的重复行或重复值。它返回一个布尔Series，其中True表示该行或该值是重复的，False表示它是唯一的或首次出现。

该方法有一个关键参数keep，它决定了如何处理重复项：

• keep='first' (默认值): 标记除第一次出现之外的所有重复项为True。
• keep='last': 标记除最后一次出现之外的所有重复项为True。
• keep=False: 标记所有重复项（包括第一次和最后一次）为True。

对于本教程的目标——保留所有重复项，但排除第一次出现的那一条记录——我们正好可以利用keep='first'的默认行为。当duplicated()方法在指定列上调用时，它会为该列中所有非首次出现的重复值返回True。

实现步骤与示例

假设我们有一个包含客户ID、支付日期和支付金额的DataFrame，我们希望筛选出每个客户除了第一次交易之外的所有交易记录。

原始数据示例：

目标输出：

代码实现：

首先，创建示例DataFrame：

import pandas as pd

data = {
    'client_id': ['067858', '168226', '141424', '141424', '151525', '168226', '067858', '151525'],
    'payment_date': ['2021-05-30', '2021-05-30', '2021-05-31', '2021-06-01', '2021-06-01', '2021-06-02', '2021-06-05', '2021-06-07'],
    'value': [140.00, 150.00, 100.00, 150.00, 150.00, 115.00, 143.00, 82.00]
}
df = pd.DataFrame(data)
df['payment_date'] = pd.to_datetime(df['payment_date']) # 转换为日期类型
print("原始DataFrame:")
print(df)
print("-" * 30)

# 使用duplicated()方法筛选出除第一次出现外的所有重复项
# 默认情况下，keep='first'，这意味着它会标记所有后续的重复项为True
# 然后通过布尔索引选择这些行
out = df[df['client_id'].duplicated()]

print("\n筛选后的DataFrame (保留后续重复项):")
print(out)

代码解释：

1. df['client_id'].duplicated(): 这一步对client_id列调用duplicated()方法。由于keep参数默认为'first'，它会检查client_id列中的每一个值。如果一个client_id之前已经出现过，那么当前这一行对应的布尔值为True；如果是第一次出现，则为False。 例如，对于client_id为141424的记录：
   • 第一条141424 (索引2) -> False (首次出现)
   • 第二条141424 (索引3) -> True (重复出现)
2. df[...]: 接着，我们使用布尔索引将这个布尔Series应用于原始DataFrame df。只有对应布尔值为True的行才会被选中并构成新的DataFrame out。

拓展应用：基于多列的重复项判断

如果重复的定义需要基于多列的组合，例如，我们认为只有当client_id和payment_date都相同时才算重复，那么可以使用subset参数：

# 假设需要基于client_id和payment_date的组合来判断重复
# out_multi_col = df[df.duplicated(subset=['client_id', 'payment_date'])]
# print("\n基于多列判断重复并保留后续重复项:")
# print(out_multi_col)
# (此示例数据中，client_id和payment_date的组合没有重复，所以结果会是空的)

在当前示例数据中，client_id和payment_date的组合没有重复，因此上述代码将返回一个空DataFrame。这说明了subset参数的用法，以及它如何影响重复项的定义。

注意事项

• 原DataFrame不变： duplicated()方法本身不会修改原始DataFrame。它返回一个布尔Series，你需要通过布尔索引将其应用于DataFrame才能得到筛选后的结果。
• 性能： 对于非常大的数据集，duplicated()方法通常效率很高，因为它是在C语言层面实现的。
• keep参数的理解： 务必清楚keep参数的含义，它直接决定了哪些重复项会被标记为True。在本例中，keep='first'是关键，它确保了我们只保留后续的重复项。

总结

通过Pandas的duplicated()方法结合布尔索引，我们可以非常简洁高效地实现“保留指定列中所有重复值除了第一次出现以外的后续记录”这一数据处理需求。理解duplicated()的keep参数是掌握此技巧的关键。这种方法不仅适用于单个列，通过subset参数也能轻松扩展到基于多列组合的重复项判断，极大地提升了数据清洗和预处理的灵活性。