Pandas DataFrame循环拆分技巧
本教程探讨了如何在PandasDataFrame中根据重复的序列模式（例如交通路线中的站点循环）进行数据拆分。文章提供了两种主要方法：一种是利用groupby结合累积求和动态识别并分组每个循环，另一种是利用numpy.array_split基于唯一停靠点数量进行固定间隔拆分。通过具体示例代码，本文旨在帮助读者高效地将连续数据流分解为独立的、结构化的子DataFrame。
本教程探讨了如何在Pandas DataFrame中根据重复的序列模式（例如交通路线中的站点循环）进行数据拆分。文章提供了两种主要方法：一种是利用`groupby`结合累积求和动态识别并分组每个循环，另一种是利用`numpy.array_split`基于唯一停靠点数量进行固定间隔拆分。通过具体示例代码，本文旨在帮助读者高效地将连续数据流分解为独立的、结构化的子DataFrame。
在数据分析和处理中，我们经常会遇到需要将一个大型数据集根据其内部的重复模式或周期性结构进行拆分的场景。一个典型的例子是公共交通数据，其中一辆巴士在一天内会重复执行相同的站点序列（例如A->B->C），形成多个独立的行程（或“循环”）。即使不知道每个循环具体包含多少个停靠点，我们仍然希望将原始DataFrame拆分成多个子DataFrame，每个子DataFrame代表一个完整的行程循环。
为了更好地说明这一需求，我们构建一个包含计划时间和停靠站点的Pandas DataFrame：
import pandas as pd
df = pd.DataFrame({
"scheduled": ["2023-05-25 13:00", "2023-05-25 13:15", "2023-05-25 13:45",
"2023-05-25 14:35", "2023-05-25 14:50", "2023-05-25 15:20"],
"stop": ["A", "B", "C", "A", "B", "C"]
})
df["scheduled"] = pd.to_datetime(df["scheduled"])
print("原始DataFrame:")
print(df)输出的DataFrame如下所示，清晰地展示了“A->B->C”的站点序列重复了两次：
原始DataFrame:
scheduled stop
0 2023-05-25 13:00:00 A
1 2023-05-25 13:15:00 B
2 2023-05-25 13:45:00 C
3 2023-05-25 14:35:00 A
4 2023-05-25 14:50:00 B
5 2023-05-25 15:20:00 C我们的目标是将这个DataFrame拆分为两个子DataFrame，每个子DataFrame对应一个完整的“A->B->C”行程。
方法一：利用 groupby 和动态分组标识符
这种方法的核心思想是动态地识别每个循环的起始点，并为每个循环分配一个唯一的组ID。它特别适用于我们不确定每个循环具体有多少个停靠点，但知道循环模式会重复的情况。
实现步骤：
- 识别循环起点： 我们假设每个循环都以相同的停靠点开始（在本例中是“A”）。通过比较 stop 列的当前值与第一个停靠点的值 (df['stop'].iloc[0])，我们可以得到一个布尔序列，其中 True 表示循环的起点。
df['stop'].eq(df['stop'].iloc[0]) # 输出示例: # 0 True # 1 False # 2 False # 3 True # 4 False # 5 False # Name: stop, dtype: bool
- 生成组ID： 对上述布尔序列执行累积求和 (cumsum())。每当遇到 True（即循环起点）时，累积和就会增加1，从而为新的循环分配一个递增的组ID。
group_id = df['stop'].eq(df['stop'].iloc[0]).cumsum() # 输出示例: # 0 1 # 1 1 # 2 1 # 3 2 # 4 2 # 5 2 # Name: stop, dtype: int64
为了更好地理解，我们可以将这个 group_id 列添加到原始DataFrame中作为中间步骤的参考：
df_with_group = df.copy() # 创建副本以避免修改原始df df_with_group['group'] = group_id print("\n带有分组ID的DataFrame:") print(df_with_group)输出结果如下，清晰地展示了每个行程的组ID：
带有分组ID的DataFrame: scheduled stop group 0 2023-05-25 13:00:00 A 1 1 2023-05-25 13:15:00 B 1 2 2023-05-25 13:45:00 C 1 3 2023-05-25 14:35:00 A 2 4 2023-05-25 14:50:00 B 2 5 2023-05-25 15:20:00 C 2 - 使用 groupby 拆分： 最后，使用 groupby() 方法
正软商城本月促销专区，汇集办公、设计、安全、影音、系统工具及AI软件等正版软件优惠活动，提供限时折扣、特价授权和优惠购买信息，活动库存及价格以页面实时展示为准。
正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。
正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。
正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。
正软商城iOS软件专区，精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用，提供功能介绍、适用设备、系统要求和正版获取方式等信息。
正软商城AI软件专区，汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具，提供功能介绍、适用平台、收费方式及正版购买信息。
正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。
赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
