Pandas创建条件列：识别新增零售商方法

问题背景与目标

在用户行为分析中，我们经常需要比较不同时间段内用户行为的变化。一个常见的场景是，给定用户在前期（pre-period）和后期（post-period）访问的零售商列表，我们需要识别出在后期才首次出现的新增零售商。这里的关键在于，新增零售商的判断是基于每个用户独立进行的，即对于特定用户而言，某个零售商在后期出现但前期未曾出现，则被视为该用户的新增零售商。

例如，我们有以下两组数据，分别代表用户在前期和后期访问的零售商记录：

import pandas as pd

# 前期数据 (sample1)
sample1 = pd.DataFrame(
    {
        'user_id': [45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2982, 2982],
        'retailer': ['retailer_1', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 
                     'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_1', 'retailer_2']
    }
)

# 后期数据 (sample2)
sample2 = pd.DataFrame(
    {
        'user_id': [45, 45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2673, 2982, 2982],
        'retailer': ['retailer_1', 'retailer_6', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 
                     'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_2', 'retailer_1', 'retailer_2']
    }
)

print("前期数据 (sample1):")
print(sample1)
print("\n后期数据 (sample2):")
print(sample2)

我们的目标是在后期数据 sample2 中添加一个名为 is_new_retailer 的条件列，如果该行的 (user_id, retailer) 组合在 sample1 中不存在，则标记为1（表示新增），否则标记为0（表示非新增）。

期望的输出结果示例如下：

    user_id    retailer  is_new_retailer
0        45  retailer_1                0
1        45  retailer_6                1  # user 45, retailer_6 在 sample1 中不存在
...
14     2673  retailer_2                1  # user 2673, retailer_2 在 sample1 中不存在
...

方法一：利用 merge 函数的 indicator 参数

Pandas的 merge 函数提供了一个 indicator 参数，可以在合并结果中添加一列，指示每行数据是来自左表、右表还是两者兼有。这对于识别集合差异非常有用。

实现步骤

1. 对 sample2 和 sample1 进行左连接（how='left'），连接键为 ['user_id', 'retailer']。
2. 设置 indicator='is_new_retailer'，这将生成一个名为 is_new_retailer 的新列，其值包括 left_only（仅在左表）、right_only（仅在右表）和 both（左右表均有）。
3. 筛选 is_new_retailer 列中值为 left_only 的行，这表示这些 (user_id, retailer) 组合仅存在于 sample2 中，而不存在于 sample1 中。
4. 将布尔值转换为整数（1表示新增，0表示非新增）。

示例代码

# 方法一：使用 merge 和 indicator 参数
def find_new_retailers_with_merge(df_post, df_pre):
    """
    使用 Pandas merge 函数的 indicator 参数识别新增零售商。

    Args:
        df_post (pd.DataFrame): 后期数据，包含 user_id 和 retailer。
        df_pre (pd.DataFrame): 前期数据，包含 user_id 和 retailer。

    Returns:
        pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。
    """
    # 执行左连接，并使用 indicator 参数
    # 连接键是 ['user_id', 'retailer']，确保是按用户-零售商组合进行匹配
    merged_df = df_post.merge(df_pre, on=['user_id', 'retailer'], how='left', indicator='_merge_indicator')

    # 根据 indicator 列判断是否为新增零售商
    # 'left_only' 表示该组合只存在于 df_post 中，而不在 df_pre 中
    merged_df['is_new_retailer'] = (merged_df['_merge_indicator'] == 'left_only').astype(int)

    # 移除临时的 indicator 列
    merged_df = merged_df.drop(columns=['_merge_indicator'])

    return merged_df

result_merge = find_new_retailers_with_merge(sample2, sample1)
print("\n方法一结果 (使用 merge indicator):")
print(result_merge)

注意事项

• 此方法简洁高效，尤其适用于需要合并数据并同时识别差异的场景。
• merge 操作会根据连接键的组合进行匹配。如果 sample1 和 sample2 中 (user_id, retailer) 组合存在重复，此方法依然能正确识别新增组合，但如果 df_post 中原始行存在重复，结果中也会保留这些重复。

方法二：利用 MultiIndex.isin 进行多列集合判断

当需要对多列组合进行精确的集合成员判断时，创建 MultiIndex 并使用其 isin 方法是一个非常强大且通用的解决方案。

实现步骤

1. 从 sample2 和 sample1 中分别创建包含 user_id 和 retailer 两列的 MultiIndex。
2. 使用 sample2 的 MultiIndex 调用 isin 方法，传入 sample1 的 MultiIndex 作为参数。这将返回一个布尔序列，指示 sample2 中的每个 (user_id, retailer) 组合是否在 sample1 中存在。
3. 对布尔序列进行逻辑非（~）操作，因为我们寻找的是 不在 sample1 中的组合。
4. 将布尔值转换为整数。

示例代码

# 方法二：使用 MultiIndex.isin
def find_new_retailers_with_multiindex(df_post, df_pre):
    """
    使用 Pandas MultiIndex.isin 方法识别新增零售商。

    Args:
        df_post (pd.DataFrame): 后期数据，包含 user_id 和 retailer。
        df_pre (pd.DataFrame): 前期数据，包含 user_id 和 retailer。

    Returns:
        pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。
    """
    # 从 df_post 和 df_pre 创建 MultiIndex
    # 这将把 'user_id' 和 'retailer' 组合成一个复合键
    multi_index_post = pd.MultiIndex.from_frame(df_post[['user_id', 'retailer']])
    multi_index_pre = pd.MultiIndex.from_frame(df_pre[['user_id', 'retailer']])

    # 检查 df_post 中的每个复合键是否在 df_pre 中
    # (~...) 表示如果不在 df_pre 中，则为 True (即新增)
    df_post['is_new_retailer'] = (~multi_index_post.isin(multi_index_pre)).astype(int)

    return df_post

result_multiindex = find_new_retailers_with_multiindex(sample2.copy(), sample1) # 使用 .copy() 避免修改原始 sample2
print("\n方法二结果 (使用 MultiIndex.isin):")
print(result_multiindex)

注意事项

• MultiIndex.isin 方法在处理多列组合的集合成员判断时非常直观和高效。
• 此方法直接在原始 DataFrame 上添加列，因此如果需要保留原始 DataFrame，请先进行复制（如示例中的 sample2.copy()）。
• 它不涉及合并操作，因此对于只需要进行集合判断而不需要合并其他列的场景，可能比 merge 更简洁。

总结与比较

两种方法都能有效地识别用户新增零售商，并在后期数据中创建相应的条件列。

1. merge 与 indicator 参数：

   • 优点：代码简洁，易于理解，特别适合需要将两个数据集合并并同时标记差异的场景。
   • 缺点：会生成一个中间的 _merge_indicator 列，需要后续删除。如果只需要判断集合成员关系而不需要合并其他列，可能会显得稍微冗余。

2. MultiIndex.isin 方法：

   • 优点：更直接地表达了多列组合的集合成员判断逻辑，适用于纯粹的集合操作。性能通常也很好。
   • 缺点：需要创建 MultiIndex 对象，对于不熟悉 MultiIndex 的用户来说可能稍显复杂。

在实际应用中，选择哪种方法取决于具体的需求和个人偏好。如果你的任务是基于一个主表（后期数据）去检查其记录在另一个表（前期数据）中的存在性，并且主要关注的是“新增”标记，那么 MultiIndex.isin 提供了一种非常直接且高效的解决方案。如果你的分析还涉及从前期数据中引入其他列，或者你更习惯SQL风格的连接操作，那么 merge 配合 indicator 也是一个非常好的选择。两种方法都体现了Pandas在处理复杂数据关系方面的灵活性和强大功能。