Pandas保留指定列重复项方法
本文旨在详细讲解如何在PandasDataFrame中筛选数据，仅保留指定列中所有重复值除了第一次出现以外的后续记录。我们将利用Pandas内置的duplicated()方法结合布尔索引，高效地实现这一常见的数据清洗和预处理任务，并通过具体代码示例进行演示。
在数据处理过程中，我们经常会遇到需要识别和处理重复数据的情况。有时，我们希望完全移除重复项；而另一些时候，我们可能需要保留所有重复项，但排除它们首次出现的那一条记录。例如，在一个客户交易记录表中，如果某个客户有多笔交易，我们可能只关心其后续的交易记录，忽略其第一笔交易。Pandas库提供了一个非常便捷的方法duplicated()来解决这类问题。
理解 duplicated() 方法
pandas.Series.duplicated() 或 pandas.DataFrame.duplicated() 方法用于标记DataFrame或Series中的重复行或重复值。它返回一个布尔Series，其中True表示该行或该值是重复的，False表示它是唯一的或首次出现。
该方法有一个关键参数keep，它决定了如何处理重复项：
- keep='first' (默认值): 标记除第一次出现之外的所有重复项为True。
- keep='last': 标记除最后一次出现之外的所有重复项为True。
- keep=False: 标记所有重复项（包括第一次和最后一次）为True。
对于本教程的目标——保留所有重复项，但排除第一次出现的那一条记录——我们正好可以利用keep='first'的默认行为。当duplicated()方法在指定列上调用时，它会为该列中所有非首次出现的重复值返回True。
实现步骤与示例
假设我们有一个包含客户ID、支付日期和支付金额的DataFrame，我们希望筛选出每个客户除了第一次交易之外的所有交易记录。
原始数据示例：
| client_id | payment_date | value |
|---|---|---|
| 067858 | 2021-05-30 | 140.0 |
| 168226 | 2021-05-30 | 150.0 |
| 141424 | 2021-05-31 | 100.0 |
| 141424 | 2021-06-01 | 150.0 |
| 151525 | 2021-06-01 | 150.0 |
| 168226 | 2021-06-02 | 115.0 |
| 067858 | 2021-06-05 | 143.0 |
| 151525 | 2021-06-07 | 82.0 |
目标输出：
| client_id | payment_date | value |
|---|---|---|
| 141424 | 2021-06-01 | 150.0 |
| 168226 | 2021-06-02 | 115.0 |
| 067858 | 2021-06-05 | 143.0 |
| 151525 | 2021-06-07 | 82.0 |
代码实现：
首先，创建示例DataFrame：
import pandas as pd
data = {
'client_id': ['067858', '168226', '141424', '141424', '151525', '168226', '067858', '151525'],
'payment_date': ['2021-05-30', '2021-05-30', '2021-05-31', '2021-06-01', '2021-06-01', '2021-06-02', '2021-06-05', '2021-06-07'],
'value': [140.00, 150.00, 100.00, 150.00, 150.00, 115.00, 143.00, 82.00]
}
df = pd.DataFrame(data)
df['payment_date'] = pd.to_datetime(df['payment_date']) # 转换为日期类型
print("原始DataFrame:")
print(df)
print("-" * 30)
# 使用duplicated()方法筛选出除第一次出现外的所有重复项
# 默认情况下，keep='first'，这意味着它会标记所有后续的重复项为True
# 然后通过布尔索引选择这些行
out = df[df['client_id'].duplicated()]
print("\n筛选后的DataFrame (保留后续重复项):")
print(out)代码解释：
- df['client_id'].duplicated(): 这一步对client_id列调用duplicated()方法。由于keep参数默认为'first'，它会检查client_id列中的每一个值。如果一个client_id之前已经出现过，那么当前这一行对应的布尔值为True；如果是第一次出现，则为False。
例如，对于client_id为141424的记录：
- 第一条141424 (索引2) -> False (首次出现)
- 第二条141424 (索引3) -> True (重复出现)
- df[...]: 接着，我们使用布尔索引将这个布尔Series应用于原始DataFrame df。只有对应布尔值为True的行才会被选中并构成新的DataFrame out。
拓展应用：基于多列的重复项判断
如果重复的定义需要基于多列的组合，例如，我们认为只有当client_id和payment_date都相同时才算重复，那么可以使用subset参数：
# 假设需要基于client_id和payment_date的组合来判断重复
# out_multi_col = df[df.duplicated(subset=['client_id', 'payment_date'])]
# print("\n基于多列判断重复并保留后续重复项:")
# print(out_multi_col)
# (此示例数据中，client_id和payment_date的组合没有重复，所以结果会是空的)在当前示例数据中，client_id和payment_date的组合没有重复，因此上述代码将返回一个空DataFrame。这说明了subset参数的用法，以及它如何影响重复项的定义。
注意事项
- 原DataFrame不变： duplicated()方法本身不会修改原始DataFrame。它返回一个布尔Series，你需要通过布尔索引将其应用于DataFrame才能得到筛选后的结果。
- 性能： 对于非常大的数据集，duplicated()方法通常效率很高，因为它是在C语言层面实现的。
- keep参数的理解： 务必清楚keep参数的含义，它直接决定了哪些重复项会被标记为True。在本例中，keep='first'是关键，它确保了我们只保留后续的重复项。
总结
通过Pandas的duplicated()方法结合布尔索引，我们可以非常简洁高效地实现“保留指定列中所有重复值除了第一次出现以外的后续记录”这一数据处理需求。理解duplicated()的keep参数是掌握此技巧的关键。这种方法不仅适用于单个列，通过subset参数也能轻松扩展到基于多列组合的重复项判断，极大地提升了数据清洗和预处理的灵活性。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。