Pandas多级分组聚合方法详解

学习文章要努力，但是不要急！今天的这篇文章《Pandas多级分组聚合技巧详解》将会介绍到等等知识点，如果你想深入学习文章，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

在Pandas中实现多级分组聚合的核心方法是使用groupby()并传入多个列名列表，随后调用聚合函数。1. 创建或加载包含多个分类列和数值列的数据；2. 使用groupby(['列名1', '列名2'])指定多级分组键；3. 通过sum()、mean()等函数进行统一聚合，或使用agg()方法实现更灵活的聚合逻辑，如对不同列应用不同函数或自定义函数；4. 聚合结果可通过reset_index()扁平化索引、unstack()进行数据透视，或使用loc进行层次化数据选择，以便后续分析。

Pandas中实现数据的多级分组聚合，核心在于groupby()方法。你只需将需要作为分组依据的多个列名以列表的形式传递给它，然后链式调用各种聚合函数，如sum()、mean()、count()，或者使用更灵活的agg()方法来应用多种聚合操作。这种方式能让你从不同维度、不同层级深入挖掘数据，发现单层分组难以察觉的模式和洞察。

解决方案

多级分组聚合的核心步骤包括：

1. 创建或加载数据： 准备一个包含需要分析的多个分类列和数值列的DataFrame。
2. 指定多级分组键： 将作为分组依据的列名放入一个Python列表中，传递给df.groupby()。
3. 选择聚合列并应用聚合函数： 在groupby对象上直接调用聚合函数（如.sum()、.mean()），或者使用.agg()方法进行更复杂的聚合操作。

这里是一个具体的例子：

假设我们有一个销售数据，包含区域（Region）、产品类别（Product_Category）、销售额（Sales）和数量（Quantity）。我们想按区域和产品类别来统计总销售额和平均销售数量。

import pandas as pd
import numpy as np

# 模拟数据
data = {
    'Region': ['North', 'South', 'North', 'East', 'South', 'North', 'East', 'West', 'North', 'South'],
    'Product_Category': ['Electronics', 'Clothing', 'Electronics', 'Books', 'Electronics', 'Books', 'Clothing', 'Electronics', 'Books', 'Clothing'],
    'Sales': [1200, 800, 1500, 300, 900, 450, 600, 1000, 700, 550],
    'Quantity': [5, 3, 7, 2, 4, 3, 2, 5, 4, 3]
}
df = pd.DataFrame(data)

# 多级分组并聚合
# 方法一：直接调用聚合函数（适用于所有数值列应用相同聚合）
# grouped_df_simple = df.groupby(['Region', 'Product_Category']).sum()
# print("简单聚合结果:\n", grouped_df_simple)

# 方法二：使用agg()进行更灵活的聚合
# 针对特定列应用不同函数，并可以重命名结果列
grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg(
    total_sales=('Sales', 'sum'),           # 计算销售额总和，并命名为total_sales
    average_quantity=('Quantity', 'mean'),  # 计算数量平均值，并命名为average_quantity
    num_transactions=('Sales', 'count')     # 计算每个组的交易次数
)
print("复杂聚合结果:\n", grouped_df_complex)

# 如果想对所有数值列应用多个聚合函数
# grouped_all_multi_agg = df.groupby(['Region', 'Product_Category']).agg(['sum', 'mean', 'count'])
# print("\n所有数值列多函数聚合结果:\n", grouped_all_multi_agg)

这段代码首先创建了一个示例DataFrame。然后，通过df.groupby(['Region', 'Product_Category'])指定了“区域”和“产品类别”作为两级分组的依据。接着，agg()方法被用来定义具体的聚合操作：计算每个组的总销售额（total_sales）、平均销售数量（average_quantity）以及交易次数（num_transactions）。这种方式不仅灵活，还能清晰地为聚合后的列命名。

为什么常规的单层分组聚合无法满足复杂分析需求？

我个人在数据探索时，就经常发现，单一维度的聚合往往只是冰山一角，真正有价值的洞察，往往藏在多维度的交叉审视里。试想一下，如果我只按“区域”来统计总销售额，我能知道哪个区域卖得最好，但却无法得知在这个区域里，具体是哪类产品贡献了大部分销售，或者哪些产品表现不佳。这种信息缺失，就导致了决策上的盲区。

单层分组就像你只看一张地图的某个局部，而多级分组则提供了不同缩放级别的视角。比如，你可能发现“北方”区域的总销售额很高，这听起来不错。但如果进一步按“产品类别”分组，你可能会惊奇地发现，北方区域的销售额主要是由“电子产品”贡献的，而“图书”类别在这个区域的销售却非常惨淡。这种细致入微的发现，是单层聚合无法提供的。它揭示了数据背后的层次结构和更深层次的业务问题，比如北方区域的图书销售策略可能需要调整，或者电子产品有更大的市场潜力。这种层次化的信息，是构建复杂业务模型、进行精准营销或优化供应链的关键。

如何在多级分组中应用不同的聚合函数或自定义聚合逻辑？

这就像你在厨房里做菜，不是所有食材都只用一种烹饪方法，有些需要蒸，有些需要炒，聚合也是如此，得按需定制。Pandas的agg()方法在这方面提供了极大的灵活性。你可以针对不同的列应用不同的聚合函数，甚至对同一列应用多个函数，或者定义你自己的聚合逻辑。

1. 为不同列应用不同聚合函数： 这是最常见的需求。比如，我们想看每个区域-产品组合的总销售额和平均数量。

   # 继续使用之前的df
   agg_result = df.groupby(['Region', 'Product_Category']).agg(
       total_sales=('Sales', 'sum'),
       avg_quantity=('Quantity', 'mean')
   )
   print("\n不同列应用不同函数:\n", agg_result)

2. 对同一列应用多个聚合函数： 有时候，我们想从多个角度审视一个指标。例如，除了总销售额，我们还想知道每个分组的销售额最大值和最小值。

   multi_func_on_one_col = df.groupby(['Region', 'Product_Category']).agg(
       sales_sum=('Sales', 'sum'),
       sales_max=('Sales', 'max'),
       sales_min=('Sales', 'min')
   )
   print("\n同一列应用多个函数:\n", multi_func_on_one_col)

   或者更简洁地，直接传递函数列表：

   multi_func_list = df.groupby(['Region', 'Product_Category'])['Sales'].agg(['sum', 'mean', 'max'])
   print("\n对单列直接应用函数列表:\n", multi_func_list)

3. 使用自定义聚合函数： 如果Pandas内置的聚合函数无法满足你的需求，你可以定义自己的Python函数，并将其传递给agg()。这个函数会接收一个Series作为输入（即每个分组的某列数据），并返回一个单一值。

   # 定义一个自定义函数，例如计算销售额的标准差与平均值的比率
   def sales_variation_ratio(series):
       if series.mean() == 0:
           return 0
       return series.std() / series.mean()
   
   custom_agg_result = df.groupby(['Region', 'Product_Category']).agg(
       total_sales=('Sales', 'sum'),
       sales_ratio=('Sales', sales_variation_ratio) # 使用自定义函数
   )
   print("\n使用自定义聚合函数:\n", custom_agg_result)

   这种灵活性使得agg()成为处理复杂聚合任务的利器，它远不止是简单的求和或求平均。

多级分组聚合后如何进行数据透视或进一步的层次化分析？

处理完多级聚合的结果，我常会发现，原始的MultiIndex虽然强大，但视觉上并不总是那么直观。这时候，透视一下或者干脆扁平化，往往能让数据“说话”更清晰。聚合后的DataFrame通常会带有一个MultiIndex（多级索引），这在进行后续的层次化分析时非常有用。

1. 扁平化索引：reset_index() 这是最常用的操作之一。它将MultiIndex转换为普通的列，使DataFrame回到一个更“平坦”的结构，方便导出到CSV或进行其他非层次化的操作。

   # 假设我们有之前的grouped_df_complex
   # grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg(
   #     total_sales=('Sales', 'sum'),
   #     average_quantity=('Quantity', 'mean'),
   #     num_transactions=('Sales', 'count')
   # )
   
   flattened_df = grouped_df_complex.reset_index()
   print("\n扁平化后的DataFrame:\n", flattened_df)

   这会把Region和Product_Category从索引变成普通的数据列。

2. 数据透视：unstack() 当你的MultiIndex结果需要进行交叉表式的展示时，unstack()就显得非常有用。它能将MultiIndex的一个或多个级别“旋转”成列。

   # 将Product_Category从索引级别旋转到列
   pivoted_df = grouped_df_complex.unstack(level='Product_Category')
   print("\n透视后的DataFrame (unstack):\n", pivoted_df)
   
   # unstack后，列名会变成MultiIndex，可以进一步扁平化
   # pivoted_df.columns = ['_'.join(col).strip() for col in pivoted_df.columns.values]
   # print("\n透视并扁平化列名:\n", pivoted_df)

   unstack()操作会将Product_Category的每个唯一值变成新的列名，非常适合制作汇总表格。注意，unstack()后，列名本身也可能变成MultiIndex，这需要根据后续分析需求进行处理（例如，使用列表推导式来扁平化列名）。

3. 层次化选择数据：loc与切片 即使不扁平化或透视，MultiIndex也允许你进行非常精细的层次化数据选择。

   # 选择某个特定区域的所有产品类别数据
   north_data = grouped_df_complex.loc['North']
   print("\n选择'North'区域的数据:\n", north_data)
   
   # 选择某个特定区域的特定产品类别数据
   north_electronics_data = grouped_df_complex.loc[('North', 'Electronics')]
   print("\n选择'North'区域'Electronics'类别的数据:\n", north_electronics_data)
   
   # 使用切片选择多个区域或产品类别（需要排序索引）
   # grouped_df_complex_sorted = grouped_df_complex.sort_index()
   # print("\n排序后的数据（切片需要）:\n", grouped_df_complex_sorted)
   # slice_data = grouped_df_complex_sorted.loc[('North':'South', 'Books':'Electronics'), :]
   # print("\n切片选择数据:\n", slice_data)

   通过这些操作，你可以在保持数据层次结构的同时，灵活地展现和分析多级分组聚合的结果，为后续的数据可视化或更深层的统计建模打下基础。

今天关于《Pandas多级分组聚合方法详解》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！