用Pandas通过MAD筛选高波动列

本文详细介绍了如何利用Pandas库，通过计算中位数绝对离差（MAD）来识别并提取DataFrame中变异性最高的列。我们将通过一个实际示例，演示如何高效地从包含大量列的数据集中筛选出最具有代表性的特征，从而构建一个更精简、更具信息量的新DataFrame，这对于数据分析和特征工程至关重要。

在处理包含数万甚至数十万列的大型数据集时，识别并选择最具信息量的特征是数据预处理和特征工程中的关键一步。这些数据集通常包含许多冗余或低变异性的列，它们不仅会增加计算负担，还可能引入噪声，影响模型的性能。中位数绝对离差（Median Absolute Deviation, MAD）是一种衡量数据变异性的稳健统计量，相比于标准差，它对异常值不那么敏感，因此在存在异常值的数据集中更具优势。

本教程将指导您如何使用Pandas库，通过计算每一列的MAD值，并选择MAD值最高的列来创建一个新的DataFrame。

1. 理解中位数绝对离差（MAD）

中位数绝对离差（MAD）的计算步骤如下：

1. 计算数据集中所有观测值的中位数（median）。
2. 计算每个观测值与该中位数之间的绝对差值。
3. 计算这些绝对差值的中位数。

MAD提供了一个数据分散程度的度量，其优点在于它不像标准差那样容易受到极端值的影响。

2. 计算DataFrame各列的MAD

假设我们有一个包含大量列的Pandas DataFrame。首先，我们需要计算每一列的MAD。Pandas并没有直接提供计算MAD的内置函数，但我们可以通过组合其现有方法来实现。

计算MAD的公式可以表示为：$MAD = median(|X_i - median(X)|)$。

在Pandas中，这可以通过以下步骤完成：

import pandas as pd
import numpy as np

# 假设df是您的原始DataFrame
# 为了演示，我们先创建一个示例DataFrame
rng = np.random.default_rng(seed=2024)
df = pd.DataFrame(rng.random((1000, 20000))) # 1000行, 20000列

# 计算每一列的MAD
mad = df.sub(df.median()).abs().median()

代码解释：

• df.median(): 计算DataFrame df 中每一列的中位数。这将返回一个Series，其索引是列名，值是对应列的中位数。
• df.sub(df.median()): 从DataFrame df 中的每个元素减去其所在列的中位数。Pandas会自动进行广播操作。
• .abs(): 对上一步结果中的所有元素取绝对值。
• .median(): 计算每个列的绝对差值的中位数，即得到每列的MAD值。mad 将是一个Series，其中包含每个列的MAD值。

3. 选择MAD值最高的列

得到每列的MAD值后，我们需要根据这些值进行排序，并选择我们感兴趣的前N个列。

# 假设我们想选择MAD最高的1000列
num_cols_to_select = 1000
cols = mad.sort_values(ascending=False).head(num_cols_to_select).index

代码解释：

• mad.sort_values(ascending=False): 对mad Series进行降序排序，这样MAD值最高的列会排在前面。
• .head(num_cols_to_select): 选择排序后Series的前num_cols_to_select个元素。这将返回一个包含最高MAD值的Series片段。
• .index: 获取这些选定元素的索引，即对应列的名称。cols 将是一个包含我们希望保留的列名的Index对象。

4. 构建新的DataFrame

最后一步是使用筛选出的列名来创建一个只包含这些高变异性列的新DataFrame。

out_df = df[cols]

代码解释：

• df[cols]: 使用我们从cols中获得的列名列表来从原始DataFrame df 中选择相应的列，从而创建一个新的DataFrame out_df。

5. 完整示例代码

以下是一个完整的、可运行的示例，演示了如何从一个包含20000列的DataFrame中选择MAD最高的1000列：

import pandas as pd
import numpy as np

# 1. 创建一个示例DataFrame
# 包含1000行和20000列，数值介于0到1之间
rng = np.random.default_rng(seed=2024)
df = pd.DataFrame(rng.random((1000, 20000)))

print("原始DataFrame的形状:", df.shape)
# 原始DataFrame的形状: (1000, 20000)

# 2. 计算每一列的中位数绝对离差（MAD）
# df.median() 计算每列中位数
# df.sub() 从每列元素减去对应中位数
# .abs() 取绝对值
# .median() 计算绝对差值的中位数，得到每列的MAD
mad = df.sub(df.median()).abs().median()

print("\nMAD值的Series（前5个）:")
print(mad.head())
# MAD值的Series（前5个）:
# 0    0.248384
# 1    0.248917
# 2    0.246473
# 3    0.247949
# 4    0.248358
# dtype: float64

# 3. 排序MAD值并选择MAD最高的列的索引
num_cols_to_select = 1000
cols = mad.sort_values(ascending=False).head(num_cols_to_select).index

print(f"\n选择的列数量: {len(cols)}")
# 选择的列数量: 1000
print("选择的列索引（前5个）:")
print(cols[:5])
# 选择的列索引（前5个）:
# Index([14988, 11488, 14902, 10735, 12693], dtype='int64')

# 4. 使用选定的列索引创建新的DataFrame
out_df = df[cols]

print("\n新DataFrame的形状:", out_df.shape)
# 新DataFrame的形状: (1000, 1000)
print("\n新DataFrame的前5行和前5列:")
print(out_df.iloc[:5, :5])
# 新DataFrame的前5行和前5列:
#      14988    11488    14902    10735    12693
# 0  0.076846  0.640284  0.038596  0.940822  0.007620
# 1  0.024925  0.017770  0.134509  0.963283  0.864700
# 2  0.962535  0.126436  0.942978  0.054366  0.013063
# 3  0.027063  0.826620  0.137837  0.988022  0.091396
# 4  0.999650  0.852570  0.945242  0.003185  0.892550

6. 注意事项与最佳实践

• 选择列的数量： num_cols_to_select 的值应根据您的具体分析需求和数据集特性来确定。没有一个放之四海而皆准的数字，这通常需要通过实验或领域知识来决定。
• 性能考量： 对于极大规模的DataFrame（例如，行数和列数都非常大），计算MAD可能会消耗较多的内存和时间。Pandas操作通常是高度优化的，但在极端情况下，可能需要考虑更底层的Numpy操作或分块处理。
• MAD的适用性： MAD对于识别具有高变异性的特征非常有效，尤其是在数据可能包含异常值时。然而，它主要关注单变量的变异性。在某些情况下，您可能还需要考虑特征之间的相关性或多变量分析方法。
• 替代方法： 除了MAD，还有其他特征选择方法，如基于方差选择（VarianceThreshold）、卡方检验、互信息等。选择哪种方法取决于数据的类型和您的目标。

总结

通过计算中位数绝对离差（MAD），我们可以有效地从大型Pandas DataFrame中筛选出最具变异性的列。这种方法不仅能够帮助我们精简数据集，减少计算负担，还能确保我们选择的特征对异常值具有一定的鲁棒性。掌握这一技术对于进行高效的数据预处理和特征工程至关重要。