如何基于条件比较两个 DataFrame 并筛选保留匹配的优质策略记录
基于条件筛选DataFrame中的记录,可先提取更新表中状态为“good”的保单号,再用isin()匹配原始表,实现高效向量化操作。该方法避免循环,时间复杂度接近O(m+n),需注意数据类型一致及重复值处理。
在实际的数据分析工作中,我们经常会遇到这样一个场景:手头有两张表,一张是原始策略清单,另一张是状态更新记录,需要根据某个关键字段去筛选出符合要求的记录。比如,你想从原始策略表(df)中,只保留那些在更新表(df_2)中状态为“good”的保单。这个问题看起来简单,但如果用循环去逐行判断,效率会非常低,尤其是在数据量大的时候。
那么,有没有一种既高效又简洁的方法?答案是肯定的,而且完全可以用pandas的向量化操作来实现,避免任何显式循环。
关键在于两步走:先筛选出符合条件的“钥匙”,再用它去匹配目标表。
# 第一步:从df_2中提取所有状态为"good"的保单号 good_policy_numbers = df_2.loc[df_2["policy status"] == "good", "policy number"] # 第二步:在df中筛选出保单号存在于上述集合中的行 result = df[df["policy number"].isin(good_policy_numbers)]
如果你喜欢更紧凑的写法,也可以把这两步合并成一行:
result = df[df["policy number"].isin(df_2.loc[df_2["policy status"] == "good", "policy number"])]
运行后,你会得到类似这样的结果:
policy number policy status 3 44 good 5 66 good 7 88 good
这个方法的效率优势很明显。`df_2.loc[...]`这一步是O(n)的向量化过滤,而`isin()`底层用的是哈希查找,平均时间复杂度接近O(m)。相比之下,如果用嵌套循环,时间复杂度是O(m×n),数据量一大就完全跑不动了。整个过程没有Python层的循环,完全由pandas的Cython引擎加速,这才是真正的“优雅”。
当然,使用时有几个细节需要注意。首先,要确保两个DataFrame中“policy number”列的数据类型一致,比如都是int类型,否则`isin()`可能会因为类型不匹配而返回空结果。稳妥的做法是先用`df["policy number"] = df["policy number"].astype(int)`统一一下。其次,如果df_2中存在重复的保单号,`isin()`仍然能正确匹配——只要至少有一条记录状态是“good”就行。但如果你需要严格的一对一最新状态,那最好先对df_2按时间戳去重,或者只取最新的一条记录。最后,如果你想同时筛选多个状态,比如“good”或“a verage”,可以这样写:`df_2["policy status"].isin(["good", "a verage"])`。
这个方法简洁、可读性强,而且能轻松应对百万级的数据量,可以说是生产环境中处理跨表状态筛选的标准做法了。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件,支持 Windows、macOS 和 iPad 等平台,广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件,集建模、动画、渲染、视频编辑与视觉合成等功能于一体,广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎,并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统,安装包轻巧、运行流畅,依托活跃的全球开发者社区持续更新,是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。
一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具,像本地磁盘一样使用网盘。清理链路的完整性会更好一些,做应用卸载、残留处理和空间整理时,通常能少走很多手动排查步骤。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件,支持 Windows、macOS 和 iPad 等平台,广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件,集建模、动画、渲染、视频编辑与视觉合成等功能于一体,广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎,并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统,安装包轻巧、运行流畅,依托活跃的全球开发者社区持续更新,是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。
一款文字处理软件,一种订阅式的跨平台办公软件,基于云平台提供多种服务,通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合,Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件,为私密数据添加多重保护。高频操作更强调就近处理,浏览、整理和跨目录移动文件时,来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具,通过键入缩写自动展开为自定义文段,提升工作效率。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。


























