Pandas条件筛选与多维分组统计方法

在数据分析实践中，我们经常面临这样的需求：从一个庞大的数据集中，首先筛选出满足特定条件（例如某个字段为缺失值）的记录，然后对这些筛选后的数据进行多维度分组，并计算每个分组内的记录数量。这种操作在数据清洗、异常值分析或特定条件下的业务指标统计中尤为常见。Pandas作为Python数据分析的核心库，提供了强大而灵活的工具来高效完成此类任务。

数据准备与加载

在开始数据处理之前，我们需要加载数据。通常，数据会以CSV、Excel或其他结构化格式存储。在本教程中，我们假设数据存储在一个名为space.csv的CSV文件中。

import pandas as pd

# 假设数据文件名为 'space.csv'
# 请确保该文件与你的Python脚本在同一目录下，或者提供完整路径
df = pd.read_csv('./space.csv', sep=',')

# 打印原始数据的前几行，以便了解其结构
print("原始数据：")
print(df.head())
print("\n")

为了方便演示，我们提供一个space.csv的示例内容：

Id,SpatialDimType,SpatialDim,TimeDim,Value,NumericValue,Low,High
32256659,COUNTRY,AND,2022,No data,,,
32256659,COUNTRY,AND,2022,No data,,,
32256659,COUNTRY,AND,2023,No data,,,
32256661,COUNTRY,ATG,2022,No data,,,
32256664,COUNTRY,AUS,2001,No data,,,
32256664,COUNTRY,AUS,2001,No data,,,
32256664,COUNTRY,AUS,2001,No data,,,
32256664,COUNTRY,AUS,2004,No data,,,
32256664,COUNTRY,AUS,2004,No data,,,
32256665,COUNTRY,AUT,2004,No data,,,

请注意，在CSV文件中，空值（例如NumericValue列）在Pandas读取时通常会被解析为NaN（Not a Number）。

核心操作：条件筛选与多维度分组计数

实现目标的关键步骤包括：

1. 条件筛选：过滤出NumericValue列为NaN的行。
2. 多维度分组：根据SpatialDim和TimeDim两列进行分组。
3. 计数：统计每个分组中符合条件的记录数量。
4. 结果整理：将计数结果转换为易于分析的DataFrame格式。

# 1. 条件筛选：过滤NumericValue为NaN的行
# 使用 .isna() 方法判断缺失值
filtered_df = df[df['NumericValue'].isna()]

# 2. 多维度分组与计数
# 使用 .groupby() 方法指定分组列
# 使用 .size() 方法计算每个分组的记录数量
grouped_counts = filtered_df.groupby(
    by=['SpatialDim', 'TimeDim']
).size()

# 3. 结果整理：将Series转换为DataFrame，并重命名计数列
# .reset_index() 将分组键从索引转换回列
# name='count' 为新的计数列指定名称
result_df = grouped_counts.reset_index(name='count')

print("筛选并分组计数后的结果：")
print(result_df)

完整代码示例

将上述步骤整合，形成一个完整的Python脚本：

import pandas as pd

# 假设数据文件名为 'space.csv'
# 请确保该文件与你的Python脚本在同一目录下，或者提供完整路径
df = pd.read_csv('./space.csv', sep=',')

# 核心处理逻辑
# 1. 筛选 NumericValue 为 NaN 的行
# 2. 按 SpatialDim 和 TimeDim 进行分组
# 3. 计算每个分组的记录数量
# 4. 将结果重置索引，并将计数列命名为 'count'
result_df = df[df['NumericValue'].isna()].groupby(
    by=['SpatialDim', 'TimeDim']
).size().reset_index(name='count')

# 打印最终结果
print(result_df)

示例数据与运行结果

当使用上面提供的space.csv示例数据运行上述代码时，你将获得如下输出：

  SpatialDim  TimeDim  count
0        AND     2022      2
1        AND     2023      1
2        ATG     2022      1
3        AUS     2001      3
4        AUS     2004      2
5        AUT     2004      1

这个结果清晰地展示了在NumericValue为NaN的记录中，每个SpatialDim与TimeDim组合对应的记录数量。例如，SpatialDim为"AND"，TimeDim为"2022"的记录有2条。

注意事项

• 缺失值类型：Pandas的isna()方法能够识别多种类型的缺失值，包括numpy.nan、None以及在读取数据时被Pandas自动识别的空字符串等。如果你的数据中缺失值以其他形式（如特定字符串"N/A"、"null"）表示，你可能需要在读取数据时使用na_values参数，或者在筛选前进行额外的替换操作（例如df.replace('N/A', pd.NA)）。
• 多重条件筛选：如果需要基于多个条件进行筛选，可以使用逻辑运算符（&表示“与”，|表示“或”）组合条件，例如：df[(df['NumericValue'].isna()) & (df['TimeDim'] == 2022)]。
• 其他聚合函数：除了.size()用于计数外，groupby()对象还支持多种聚合函数，如.count()（非NaN值的数量）、.sum()、.mean()、.median()、.min()、.max()等。你可以根据分析需求选择合适的聚合方法。
• 性能考量：对于非常大的数据集，链式操作（如本例中的一行代码）虽然简洁，但在某些情况下可能不如分步操作清晰。不过，Pandas内部对这类操作进行了优化，通常性能表现良好。如果遇到性能瓶颈，可以考虑使用apply或transform结合自定义函数，或者利用Dask等并行计算库。
• 错误处理：在实际应用中，应考虑文件不存在等异常情况，使用try-except块来增强代码的健壮性。

总结

通过本教程，我们学习了如何利用Pandas库高效地完成“条件筛选 + 多维度分组计数”这一常见的数据分析任务。核心在于灵活运用df[condition]进行数据筛选，结合groupby()进行分组，并使用.size()或.count()进行聚合。掌握这些技巧将极大地提升你在Python中处理和分析结构化数据的能力。