Pandas数据分类汇总技巧详解

大家好，今天本人给大家带来文章《Pandas数据分类汇总方法详解》，文中内容主要涉及到，如果你对文章方面的知识点感兴趣，那就请各位朋友继续看下去吧~希望能真正帮到你们，谢谢！

Pandas中实现数据分类汇总的核心工具是groupby()方法。1. 使用groupby()按一个或多个列分组数据；2. 通过.agg()方法定义聚合逻辑，如sum()、mean()、count()等；3. 可使用reset_index()或多级索引参数as_index=False来处理汇总后的多级索引结构；4. 面对复杂需求时，可结合lambda函数实现条件聚合，或通过自定义函数配合agg()或apply()完成更灵活的计算。这些工具和方法构成了Pandas强大的分类汇总功能，能够满足多样化的数据分析需求。

Pandas里实现数据分类汇总，核心工具就是groupby()方法。它能让你根据一个或多个列的值把数据巧妙地分成若干组，然后对每一组独立地执行各种聚合操作，比如求和、计算平均值、计数等等。这就像是把一大堆散乱的乐高积木，按照颜色、形状分好类，再数数每种颜色有多少块，或者看看每种形状的积木总共有多高，非常实用。

Pandas的groupby()方法是实现数据分类汇总的基石。通常，我们会先用groupby()指定分组的键，然后紧接着使用.agg()方法来定义具体的聚合逻辑。

import pandas as pd
import numpy as np

# 假设我们有一些销售数据
data = {
    'Region': ['East', 'West', 'East', 'North', 'West', 'East', 'North', 'West'],
    'Product': ['A', 'B', 'A', 'C', 'B', 'A', 'C', 'D'],
    'Sales': [100, 150, 120, 80, 200, 110, 90, 180],
    'Quantity': [10, 15, 12, 8, 20, 11, 9, 18]
}
df = pd.DataFrame(data)

# 简单的按区域汇总销售额
regional_sales = df.groupby('Region')['Sales'].sum()
print("按区域汇总销售额：\n", regional_sales)

# 也可以同时按多个维度分组，并进行多种聚合
# 比如，按区域和产品类型，计算总销售额和平均销量
multi_dim_summary = df.groupby(['Region', 'Product']).agg(
    TotalSales=('Sales', 'sum'),
    AverageQuantity=('Quantity', 'mean')
)
print("\n按区域和产品汇总销售额与平均销量：\n", multi_dim_summary)

# 如果聚合逻辑更复杂，例如需要自定义函数，可以使用 .apply()
# 比如，我们想计算每个区域内，销售额超过100的产品数量
def count_high_sales_products(group):
    return (group['Sales'] > 100).sum()

high_sales_count = df.groupby('Region').apply(count_high_sales_products)
print("\n每个区域销售额超过100的产品数量：\n", high_sales_count)

聚合函数怎么选，才能切中要害？

选择合适的聚合函数，其实就是看你最终想从数据里“提炼”出什么信息。Pandas提供了非常丰富的内置聚合函数，覆盖了我们日常分析的绝大部分场景。

最常见的有：

• sum()：计算总和，比如总销售额、总库存。
• mean()：计算平均值，比如平均客单价、平均响应时间。
• count()：计算非空值的数量，看某个类别有多少条记录。
• size()：计算组的大小，包括NaN值，这能告诉你每个分组有多少行。
• min() / max()：找出最小值或最大值，比如最低价、最高气温。
• median()：中位数，对异常值不那么敏感的中心趋势度量。
• std() / var()：标准差和方差，衡量数据的波动性。

当你需要同时进行多种聚合时，agg()方法就显得格外强大。你可以给它传入一个字典，键是新的列名，值是一个元组，元组里包含你想要聚合的列和聚合函数。这样输出的结果就非常清晰，避免了多层索引的麻烦。

# 还是用上面的df
# 假设我们想看每个区域的总销售额、平均销量和产品种类数量
comprehensive_summary = df.groupby('Region').agg(
    TotalSales=('Sales', 'sum'),
    AverageQuantity=('Quantity', 'mean'),
    ProductCount=('Product', 'nunique') # nunique计算唯一值的数量
)
print(comprehensive_summary)

这里nunique就非常巧妙，它能帮你快速统计每个区域有多少种不同的产品。选择聚合函数，关键在于你的分析目标：想看总量就sum，想看分布就mean或median，想看覆盖面就count或size。没有绝对的最佳选择，只有最适合你当前问题的那一个。

分类汇总后的多级索引，是福是祸？又该如何驯服它？

groupby()操作之后，一个很常见的情况就是结果DataFrame会带有多级索引（MultiIndex）。这在某些分析场景下，比如你需要进一步筛选或展示层级关系时，确实非常方便。它能清晰地展示数据是如何被层层分组的。

然而，在另一些情况下，特别是当你需要将汇总结果用于后续的合并、写入文件，或者直接作为扁平化表格展示时，多级索引可能会显得有点“碍事”。它让列的访问变得复杂，也可能不符合某些工具或数据库的导入要求。

驯服它的方法主要有两种：

1. reset_index()：这是最直接、最常用的方法。它会把所有索引层级都转换为普通的列，从而得到一个扁平化的DataFrame。你可以指定drop=True来丢弃旧的索引，或者不指定让它们变成新列。

   # 承接上文的 multi_dim_summary
   print("原始多级索引汇总：\n", multi_dim_summary)
   
   # 使用 reset_index() 将索引转换为列
   flattened_summary = multi_dim_summary.reset_index()
   print("\n扁平化后的汇总：\n", flattened_summary)

2. as_index=False：在groupby()的时候就直接告诉Pandas，别把分组键作为索引。这样，它会把分组键保留为普通列，直接输出一个扁平化的结果，省去了后续reset_index()的步骤。

   # 再次按区域和产品类型分组，但这次不使用索引
   no_index_summary = df.groupby(['Region', 'Product'], as_index=False).agg(
       TotalSales=('Sales', 'sum'),
       AverageQuantity=('Quantity', 'mean')
   )
   print("\n直接生成扁平化汇总（as_index=False）：\n", no_index_summary)

选择哪种方式取决于你的习惯和具体需求。如果我一开始就知道我最终需要一个扁平的表格，我可能会倾向于直接用as_index=False。但如果我需要逐步探索数据，或者多级索引能更好地表达我的数据结构，那我就先让它保持多级索引，等到需要扁平化时再reset_index()。这就像是，你知道最终要吃面条，可以直接煮面，也可以先煮一大锅高汤，再捞出来放面。各有各的便利。

面对更复杂的聚合需求，例如条件聚合或自定义函数，Pandas还能怎么玩？

有时候，简单的sum()或mean()满足不了我们刁钻的需求。比如，我只想统计某个特定条件下才满足的销售额，或者需要一个完全定制的计算逻辑。这时候，Pandas依然能灵活应对。

1. 条件聚合（Conditional Aggregation）： 你可以在agg()内部结合布尔索引来实现条件聚合。这通常需要你传入一个具名聚合（named aggregation），然后在一个lambda函数中嵌入条件判断。

   # 假设我们想计算每个区域中，只有销售额超过100的订单的总销售额
   conditional_sales = df.groupby('Region').agg(
       HighValueSales=('Sales', lambda x: x[x > 100].sum()),
       # 还可以计算高价值订单的数量
       HighValueOrdersCount=('Sales', lambda x: (x > 100).sum())
   )
   print("\n每个区域高价值订单的汇总：\n", conditional_sales)

   这里，lambda x: x[x > 100].sum()就是精髓。x代表分组后的Series（比如某个Region下的所有Sales值），我们对这个Series进行布尔索引，只选择大于100的值，然后再求和。这种方式非常简洁高效。

2. 自定义函数（Custom Functions）： 当你的聚合逻辑非常复杂，无法用简单的lambda表达式表达时，你可以定义一个普通的Python函数，然后将其传递给agg()或apply()。

   • 传递给agg()：如果你的函数接受一个Series并返回一个标量值，那就可以直接用在agg()里。

     # 比如，我们想计算每个区域销售额的中位数与平均值的差值
     def median_mean_diff(series):
         return series.median() - series.mean()
     
     diff_summary = df.groupby('Region').agg(
         SalesDiff=('Sales', median_mean_diff)
     )
     print("\n每个区域销售额中位数与平均值的差值：\n", diff_summary)

   • 使用apply()：apply()是groupby()操作中最灵活的。它会将每个分组作为一个完整的DataFrame（或Series）传递给你的函数。这意味着你可以在函数内部进行任何Pandas操作，甚至更复杂的逻辑，只要最终返回一个DataFrame、Series或标量。

     # 假设我们想找出每个区域销售额最高的两个产品及其销售额
     def top_n_sales(group_df, n=2):
         return group_df.nlargest(n, 'Sales')[['Product', 'Sales']]
     
     top_products_by_region = df.groupby('Region').apply(top_n_sales, n=2)
     print("\n每个区域销售额最高的两个产品：\n", top_products_by_region)

     apply()的强大之处在于，它给你的函数提供的是整个分组的上下文，而不仅仅是某一列。这使得你可以执行跨列的计算、复杂的过滤或排序，甚至返回一个结构完全不同的结果。不过，apply()通常比内置聚合函数或agg()的性能要差一些，因为它在Python循环中执行。所以，能用内置函数或agg()解决的，尽量优先考虑它们。但当逻辑实在太复杂时，apply()就是你的救星。

总之，Pandas的分类汇总功能，从简单的sum()到复杂的apply()，提供了一整套工具来帮助你深入挖掘数据。理解并灵活运用它们，数据分析的效率和深度都能得到显著提升。

文中关于groupby,Pandas,apply,agg,分类汇总的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pandas数据分类汇总技巧详解》文章吧，也可关注golang学习网公众号了解相关技术文章。