DataFrame列转行列表及透视方法

本教程详细介绍了如何利用Pandas库高效地将DataFrame中的多列数据聚合为每行的列表，并在此基础上进行数据透视（pivot）操作，以实现复杂的DataFrame重塑需求。文章通过具体示例，深入讲解了`assign()`、`apply()`和`pivot()`等核心方法的联合应用，旨在帮助读者掌握一种避免冗余循环、提升数据处理效率的专业技巧。

在数据分析和处理过程中，我们经常需要对Pandas DataFrame进行复杂的重塑操作。一个常见的场景是，需要将DataFrame中的若干列数据合并成一个列表，作为新的一列，然后根据其他列的值进行透视，将特定的列转换为新的索引或列名。本文将以一个具体的示例，详细阐述如何通过链式操作，高效地实现这一数据转换过程，避免使用低效的循环语句。

原始数据结构

假设我们有一个包含产品ID、名称、多个数值列以及类型信息的DataFrame，其结构如下：

import pandas as pd
import io

data = """id     name     value1   value2    value3     Type
 1     AAA       1.0       1.5       1.8      NEW
 2     BBB       2.0       2.3       2.5      NEW
 3     CCC       3.0       3.6       3.7      NEW"""

df = pd.read_csv(io.StringIO(data), sep=r'\s+')
print("原始DataFrame:")
print(df)

输出:

原始DataFrame:
   id name  value1  value2  value3 Type
0   1  AAA     1.0     1.5     1.8  NEW
1   2  BBB     2.0     2.3     2.5  NEW
2   3  CCC     3.0     3.6     3.7  NEW

目标数据结构

我们的目标是将value1、value2、value3这三列的数据合并成一个列表，作为每个name对应的新值，并以Type作为索引，name作为新的列名，最终形成如下结构：

Type        AAA                     BBB                 CCC
================================================================
NEW    [1.0, 1.5, 1.8]       [2.0, 2.3, 2.5]      [3.0, 3.6, 3.7]

解决方案：链式操作实现数据重塑

要实现上述转换，我们可以利用Pandas的assign()、apply()和pivot()方法进行链式操作。

1. 将多列数据合并为列表

首先，我们需要将value1到value3这几列的数据，在每一行中合并成一个列表。这可以通过df.loc选择特定列，然后使用apply(list, axis=1)方法实现。axis=1参数至关重要，它指示apply函数按行操作，将每一行选定列的值作为列表传递。

# 提取需要合并的列，并按行生成列表
df.loc[:, 'value1':'value3'].apply(list, axis=1)

这将返回一个Series，其中每个元素都是一个列表：

0    [1.0, 1.5, 1.8]
1    [2.0, 2.3, 2.5]
2    [3.0, 3.6, 3.7]
dtype: object

2. 使用 assign() 添加新列

接下来，我们将这个包含列表的新Series添加回原始DataFrame，作为名为value的新列。assign()方法是一个非常方便的函数，它可以在不修改原始DataFrame的情况下，返回一个添加了新列的新DataFrame。

df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))

执行此步骤后，DataFrame将包含一个名为value的新列，其中存储了合并后的列表。

3. 使用 pivot() 进行数据透视

最后一步是使用pivot()方法进行数据透视。pivot()函数需要三个关键参数：

• index: 指定新DataFrame的索引列。
• columns: 指定新DataFrame的列名来源列。
• values: 指定填充新DataFrame单元格的值来源列。

根据我们的目标结构，Type应作为索引，name作为列名，而我们刚刚创建的value列则作为透视后的数据值。

(df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
 .pivot(index='Type', columns='name', values='value'))

4. 清理和格式化（可选但推荐）

透视操作完成后，Pandas可能会为新的列名（name）和索引（Type）添加一个层级名称（name和Type）。为了使输出更简洁，我们可以使用rename_axis(None, axis=1)移除列名的层级名称，并通过reset_index()将Type从索引转换为普通列。

(df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
 .pivot(index='Type', columns='name', values='value')
 .rename_axis(None, axis=1) # 移除列名轴的名称
 .reset_index())            # 将Type从索引转换为列

完整代码示例

将上述步骤整合，形成完整的解决方案代码：

import pandas as pd
import io

# 模拟原始DataFrame
data = """id     name     value1   value2    value3     Type
 1     AAA       1.0       1.5       1.8      NEW
 2     BBB       2.0       2.3       2.5      NEW
 3     CCC       3.0       3.6       3.7      NEW"""

df = pd.read_csv(io.StringIO(data), sep=r'\s+')

# 执行转换操作
transformed_df = (
    df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))
    .pivot(index='Type', columns='name', values='value')
    .rename_axis(None, axis=1)
    .reset_index()
)

print("\n转换后的DataFrame:")
print(transformed_df)

输出结果

转换后的DataFrame:
  Type              AAA              BBB              CCC
0  NEW  [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

注意事项与总结

• 效率: 这种方法避免了Python的显式循环，充分利用了Pandas底层的C/NumPy优化，因此对于大型数据集来说效率非常高。
• pivot() vs pivot_table(): pivot()要求index和columns的组合必须是唯一的，否则会报错。如果存在重复组合，且需要进行聚合操作（如求和、平均等），则应使用功能更强大的pivot_table()。在本例中，Type和name的组合是唯一的，因此pivot()适用。
• loc选择器: 使用df.loc[:, 'value1':'value3']可以精确选择连续的列，确保只对目标列进行操作。
• 链式操作: 将多个操作链接在一起（使用括号包裹，并换行），可以提高代码的可读性和简洁性。

通过掌握assign()、apply()和pivot()的联合使用，您将能够灵活高效地处理DataFrame的复杂重塑任务，极大地提升数据处理能力。