Pandas多值列透视技巧详解

本文深入解析了如何利用Pandas `pivot` 函数实现多值列的水平透视，旨在解决数据分析中长宽格式转换的常见需求，符合百度SEO优化。针对包含多个度量值和分类维度的数据，文章详细阐述了如何将特定的分类列与年份值列结合，生成扁平化的新列标题，从而将长格式数据高效地转换为宽格式。教程通过示例代码，展示了如何处理`pivot`操作后产生的多级列，并将其重命名为更具可读性的单一列名。此外，还对比了`pivot`与`pivot_table`的区别，并强调了数据完整性和性能考量，为读者提供了全面的Pandas数据重塑技巧，助力数据分析与处理。

本教程详细阐述如何使用Pandas `DataFrame.pivot` 函数对包含多个值列的数据进行水平转置。通过将特定的分类列（如财务比率）与原有的年份值列结合，创建新的、扁平化的列标题，从而将长格式数据转换为宽格式。文章将通过示例代码演示如何处理`pivot`操作后产生的多级列，并将其重命名为更具可读性的单一列名，最终实现数据结构的高效重塑。

在数据分析和处理中，经常需要对数据表进行重塑（Reshaping），其中一种常见的需求是将“长格式”数据转换为“宽格式”，特别是在处理具有多个度量值（value columns）和分类维度（category columns）时。本教程将专注于如何使用Pandas库中的pivot函数，有效地实现这种带有多个值列的水平转置，并解决由此产生的多级列（MultiIndex columns）问题。

原始数据结构分析

我们通常会遇到以下形式的数据，其中包含一个或多个标识符列（如Ticker）、一个分类列（如Financial Ratio）以及多个代表不同时间点或度量值的列（如2001, 2002, 2003）：

  Ticker  Financial Ratio                  2001     2002    2003
  ARKR    Net Profit Margin                -0.1931  0.052   -0.0187
  ARKR    Return on Assets                 0        0       0
  ARKR    Current Ratio                    1.3419     1.2096  0.7031
  ARMK    Net Profit Margin                -0.1931  0.052   -0.0187
  ARMK    Return on Assets                 0        0       0
  ARMK    Current Ratio                    1.3419     1.2096  0.7031

在这个例子中，Ticker是唯一的标识符，Financial Ratio是需要转置为新列名的分类信息，而2001, 2002, 2003则是我们希望保留并与Financial Ratio结合作为新列值的数据。

目标数据结构

我们的目标是将上述数据转换为以下宽格式：

  Ticker  2001 Current Ratio  2001 Net Profit Margin  2001 Return on Assets  2002 Current Ratio ...
0   ARKR              1.3419                 -0.1931                    0.0              1.2096 ...
1   ARMK              1.3419                 -0.1931                    0.0              1.2096 ...

可以看到，Ticker仍然作为唯一的标识符，而年份（如2001）和财务比率（如Net Profit Margin）被组合成新的列标题，每个单元格包含对应的值。

使用 pandas.DataFrame.pivot 实现水平转置

Pandas的DataFrame.pivot函数是实现这种转置的核心工具。它接受三个主要参数：index、columns和可选的values。

• index: 指定哪些列应该成为新的DataFrame的索引。
• columns: 指定哪些列的唯一值应该成为新的DataFrame的列标题。
• values: 指定哪些列的值应该填充到新的DataFrame中。

关键在于，当原始数据中存在多个值列（本例中的2001, 2002, 2003）且我们希望它们全部参与转置时，可以省略values参数。此时，pivot函数会自动将所有未被指定为index或columns的列视为值列进行处理，并生成一个多级列（MultiIndex columns）的DataFrame。

让我们通过一个示例来演示这个过程。首先，模拟原始数据：

import pandas as pd
import io

# 模拟原始数据
data = """Ticker,Financial Ratio,2001,2002,2003
ARKR,Net Profit Margin,-0.1931,0.052,-0.0187
ARKR,Return on Assets,0,0,0
ARKR,Current Ratio,1.3419,1.2096,0.7031
ARMK,Net Profit Margin,-0.1931,0.052,-0.0187
ARMK,Return on Assets,0,0,0
ARMK,Current Ratio,1.3419,1.2096,0.7031
"""
df = pd.read_csv(io.StringIO(data))
print("原始DataFrame:")
print(df)

# 执行pivot操作，不指定values参数
pivoted_df = df.pivot(index="Ticker", columns="Financial Ratio")
print("\n经过pivot操作后的DataFrame (带有MultiIndex列):")
print(pivoted_df)

执行上述代码后，pivoted_df的输出将显示一个多级列结构：

经过pivot操作后的DataFrame (带有MultiIndex列):
Financial Ratio Current Ratio Net Profit Margin Return on Assets Current Ratio Net Profit Margin Return on Assets Current Ratio Net Profit Margin Return on Assets
Ticker
ARKR                   1.3419           -0.1931              0.0        1.2096           0.052              0.0        0.7031           -0.0187              0.0
ARMK                   1.3419           -0.1931              0.0        1.2096           0.052              0.0        0.7031           -0.0187              0.0

可以看到，列名现在是两级的：第一级是原始的值列（2001, 2002, 2003），第二级是Financial Ratio的各个唯一值。

扁平化多级列

为了达到目标数据结构，我们需要将这些多级列扁平化为单一的、有意义的列名，例如“2001 Net Profit Margin”。这可以通过遍历pivoted_df.columns并使用f-string（或str.format）来组合列名实现。

# 扁平化多级列
# pivoted_df.columns 是一个MultiIndex对象，包含 (年份, 财务比率) 的元组
pivoted_df.columns = [f"{year} {ratio}" for year, ratio in pivoted_df.columns]

print("\n扁平化列名后的DataFrame:")
print(pivoted_df)

输出结果：

扁平化列名后的DataFrame:
        2001 Current Ratio  2001 Net Profit Margin  2001 Return on Assets  2002 Current Ratio  2002 Net Profit Margin  2002 Return on Assets  2003 Current Ratio  2003 Net Profit Margin  2003 Return on Assets
Ticker
ARKR              1.3419                 -0.1931                    0.0              1.2096                   0.052                    0.0              0.7031                 -0.0187                    0.0
ARMK              1.3419                 -0.1931                    0.0              1.2096                   0.052                    0.0              0.7031                 -0.0187                    0.0

现在，列名已经符合我们的要求。

最终调整：重置索引

如果希望将Ticker列从索引中移出，使其成为一个普通的列，可以使用reset_index()方法。

# 重置索引，将'Ticker'从索引变为普通列
final_df = pivoted_df.reset_index()

print("\n最终重塑的DataFrame:")
print(final_df)

最终输出：

最终重塑的DataFrame:
  Ticker  2001 Current Ratio  2001 Net Profit Margin  2001 Return on Assets  2002 Current Ratio  2002 Net Profit Margin  2002 Return on Assets  2003 Current Ratio  2003 Net Profit Margin  2003 Return on Assets
0   ARKR              1.3419                 -0.1931                    0.0              1.2096                   0.052                    0.0              0.7031                 -0.0187                    0.0
1   ARMK              1.3419                 -0.1931                    0.0              1.2096                   0.052                    0.0              0.7031                 -0.0187                    0.0

这正是我们期望的最终数据结构。

完整代码示例

import pandas as pd
import io

# 模拟原始数据
data = """Ticker,Financial Ratio,2001,2002,2003
ARKR,Net Profit Margin,-0.1931,0.052,-0.0187
ARKR,Return on Assets,0,0,0
ARKR,Current Ratio,1.3419,1.2096,0.7031
ARMK,Net Profit Margin,-0.1931,0.052,-0.0187
ARMK,Return on Assets,0,0,0
ARMK,Current Ratio,1.3419,1.2096,0.7031
"""
df = pd.read_csv(io.StringIO(data))

# 1. 执行pivot操作，将'Ticker'设为索引，'Financial Ratio'设为列
#    由于未指定values，所有剩余的年份列将作为值列，导致MultiIndex列
pivoted_df = df.pivot(index="Ticker", columns="Financial Ratio")

# 2. 扁平化MultiIndex列名
#    遍历MultiIndex的每一对 (年份, 财务比率)，并组合成新的字符串
pivoted_df.columns = [f"{year} {ratio}" for year, ratio in pivoted_df.columns]

# 3. 重置索引，将'Ticker'从索引变为普通列
final_df = pivoted_df.reset_index()

print("最终重塑的DataFrame:")
print(final_df)

注意事项与最佳实践

1. pivot vs pivot_table:
   • df.pivot() 要求index和columns的组合必须是唯一的，否则会引发ValueError。它不执行任何聚合操作。
   • df.pivot_table() 更通用，即使index和columns的组合不唯一，它也会通过aggfunc参数指定的聚合函数（默认为mean）来处理重复值。如果你的数据可能存在重复组合且需要聚合，应优先考虑pivot_table。
2. 数据完整性: 确保用于index和columns的列没有缺失值，否则可能导致意外结果。
3. 列名生成灵活性: 扁平化多级列时，你可以根据具体需求自定义列名的生成逻辑。例如，如果希望年份在后，可以写成f"{ratio} {year}"。
4. 性能考量: 对于非常大的DataFrame，pivot操作可能会消耗较多的内存和计算资源。在处理大数据时，应注意优化。

总结

通过本教程，我们学习了如何利用Pandas的DataFrame.pivot函数，结合对多级列的扁平化处理，高效地将包含多个值列的长格式数据转换为宽格式。这种数据重塑技术在财务分析、报告生成以及其他需要多维度展示数据的场景中非常实用。掌握这一技巧，能显著提升数据处理的灵活性和效率。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。