Pythonpandas分组聚合操作教程

想要高效处理数据？Python pandas的groupby()函数绝对是你的利器！本文详解pandas分组聚合操作，教你如何利用groupby()按列对数据进行分组，并结合sum、mean等聚合函数进行统计分析。从单列分组到多级分组，从agg多种聚合到transform组内转换，再到apply自定义函数，更有处理NaN值的技巧，一网打尽。此外，还介绍了如何结合sort_values和head获取每组前N条数据，以及如何利用transform将聚合结果合并回DataFrame，让数据分析更高效！

Pandas的groupby()可按列分组数据并应用聚合函数如sum、mean等，支持多级分组、agg多种聚合、transform组内转换及apply自定义函数，默认排除NaN值，可用fillna填充，结合sort_values和head可获取每组前N条，transform还能将结果合并回原DataFrame。

Pandas 中使用 groupby() 方法可以轻松实现数据分组，然后配合聚合函数进行统计分析。这是一种非常强大的数据处理工具，能让你快速了解数据的不同维度。

解决方案

Pandas 的 groupby() 函数允许你根据一个或多个列的值对 DataFrame 进行分组。分组后，你可以对每个组应用聚合函数，例如 sum(), mean(), count(), min(), max() 等。

以下是一些常用的 Pandas 分组聚合操作示例：

import pandas as pd

# 创建一个示例 DataFrame
data = {'Category': ['A', 'A', 'B', 'B', 'A', 'C', 'C'],
        'Value': [10, 15, 20, 25, 12, 30, 35],
        'City': ['Beijing', 'Shanghai', 'Beijing', 'Shanghai', 'Guangzhou', 'Shanghai', 'Guangzhou']}
df = pd.DataFrame(data)

# 按照 'Category' 列进行分组，并计算每组 'Value' 的总和
grouped_sum = df.groupby('Category')['Value'].sum()
print("按照 Category 分组求和:\n", grouped_sum)

# 按照 'Category' 列进行分组，并计算每组 'Value' 的平均值
grouped_mean = df.groupby('Category')['Value'].mean()
print("\n按照 Category 分组求平均值:\n", grouped_mean)

# 按照 'Category' 和 'City' 列进行分组，并计算每组 'Value' 的总和
grouped_multi = df.groupby(['Category', 'City'])['Value'].sum()
print("\n按照 Category 和 City 分组求和:\n", grouped_multi)

# 使用 agg 函数进行多种聚合操作
grouped_agg = df.groupby('Category')['Value'].agg(['sum', 'mean', 'count'])
print("\n使用 agg 函数进行多种聚合操作:\n", grouped_agg)

# 对不同的列应用不同的聚合函数
grouped_diff_agg = df.groupby('Category').agg({'Value': 'sum', 'City': 'nunique'})
print("\n对不同的列应用不同的聚合函数:\n", grouped_diff_agg)

# 使用 transform 进行组内转换
df['Category_Mean'] = df.groupby('Category')['Value'].transform('mean')
print("\n使用 transform 进行组内转换:\n", df)

# 使用 apply 应用自定义函数
def custom_function(x):
    return x.max() - x.min()

grouped_apply = df.groupby('Category')['Value'].apply(custom_function)
print("\n使用 apply 应用自定义函数:\n", grouped_apply)

Pandas 分组后如何处理缺失值 (NaN)?

在分组聚合操作中，如果数据包含缺失值 (NaN)，groupby() 默认会将 NaN 值排除在外。这意味着 NaN 值不会参与到聚合计算中。

• 排除 NaN (默认行为): groupby() 默认跳过 NaN 值。 如果一个组内的所有值都是 NaN，那么聚合结果也会是 NaN。
• 填充 NaN: 你可以在分组之前使用 fillna() 方法填充 NaN 值。例如，使用组内的平均值或中位数填充。

import pandas as pd
import numpy as np

data = {'Category': ['A', 'A', 'B', 'B', 'A'],
        'Value': [10, np.nan, 20, 25, 12]}
df = pd.DataFrame(data)

# 默认行为：排除 NaN
grouped_sum = df.groupby('Category')['Value'].sum()
print("排除 NaN:\n", grouped_sum)

# 填充 NaN 值 (使用组内平均值)
df['Value'] = df.groupby('Category')['Value'].transform(lambda x: x.fillna(x.mean()))
grouped_sum_filled = df.groupby('Category')['Value'].sum()
print("\n填充 NaN 后求和:\n", grouped_sum_filled)

如何对分组后的数据进行排序，并获取每组的前 N 个值?

有时候，你需要对每个分组内的数据进行排序，然后提取每组的前 N 个值。 这在很多场景下都很有用，例如找出每个类别下销量最高的前几名产品。

import pandas as pd

data = {'Category': ['A', 'A', 'A', 'B', 'B', 'B'],
        'Value': [10, 15, 5, 20, 25, 18]}
df = pd.DataFrame(data)

# 按照 Category 分组，并对 Value 降序排序，获取每组的前 2 个值
def top_n(df, n=2):
    return df.sort_values(by='Value', ascending=False).head(n)

top_2 = df.groupby('Category').apply(top_n)
print(top_2)

# 如果想重置索引，可以这样做
top_2 = df.groupby('Category').apply(top_n).reset_index(drop=True)
print("\n重置索引后:\n", top_2)

分组聚合后，如何将结果合并回原始 DataFrame？

transform() 函数非常适合这种场景。 它可以将聚合后的结果广播回原始 DataFrame，保持索引对齐。

import pandas as pd

data = {'Category': ['A', 'A', 'B', 'B', 'A'],
        'Value': [10, 15, 20, 25, 12]}
df = pd.DataFrame(data)

# 计算每个 Category 的平均值，并将结果合并回原始 DataFrame
df['Category_Mean'] = df.groupby('Category')['Value'].transform('mean')
print(df)

这个方法避免了手动合并的麻烦，而且效率很高。transform() 保持了 DataFrame 的结构，使得后续分析更加方便。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~