Pandas分层抽样技巧：groupby加sample方法

本文深入解析了Pandas中实现分层抽样的核心技巧与常见陷阱，重点阐明为何`groupby().sample()`会报错（因`DataFrameGroupBy`对象不支持该方法），并系统介绍通过`apply()`封装`sample()`的正确写法；同时覆盖关键实战细节：如何处理小分组兜底（避免抽样失败）、`n`与`frac`的选用差异及精度陷阱、索引管理策略（保留原始索引、去重、重置）、以及百万级数据下的性能优化方案（如用`head()`/`tail()`替代、向量化索引选择、`observed=True`等）。内容直击实际开发中易踩坑的逻辑盲区，帮助读者写出健壮、高效、可维护的分层抽样代码。

sample() 在 groupby 后直接调用为什么报错 AttributeError: 'DataFrameGroupBy' object has no attribute 'sample'

因为 groupby 返回的是 DataFrameGroupBy 对象，它本身不支持 sample()；必须把抽样逻辑“下推”到每个分组内部执行。正确做法是用 apply() 包裹 sample()，让每个子 DataFrame 自己抽。

• 错误写法：df.groupby('category').sample(n=2) → 直接报错
• 正确写法：df.groupby('category').apply(lambda g: g.sample(n=2))
• 注意：apply() 默认会把分组键作为索引层级加回来，如果不需要，加 reset_index(drop=True)
• 如果分组大小不一，某些组可能抽不到足够样本（比如某组只有 1 行却指定 n=2），此时要加 replace=True 或提前过滤小分组

按比例抽样时，frac 和 n 的选择与陷阱

frac 是按比例抽，n 是按数量抽；但两者不能共存，且 frac 在小分组里容易因向下取整导致抽 0 行 —— 比如 frac=0.3 作用于 2 行的组，结果就是 0 行（不是 1 行）。

• 想严格保证每组至少抽 1 行？别用 frac，改用 n=1 或动态计算：lambda g: g.sample(n=max(1, int(len(g) * 0.3)))
• frac 支持小数，n 必须是整数；传浮点数给 n 会报 TypeError
• 当总行数少、分组多时，frac=0.1 可能让多数组抽不到数据，实际效果远低于预期

如何保留原始索引、避免重排或重复索引

默认 groupby().apply() 会把分组键塞进结果索引，且各组抽样后的索引保留原样 —— 这可能导致最终结果索引不唯一、不连续，后续 merge 或定位出问题。

• 保留原始行索引不打乱：不用额外操作，sample() 默认 ignore_index=False
• 去掉分组键索引层级：.apply(...).reset_index(drop=True)
• 如果担心索引重复（比如多次抽样拼接），可显式重置：.apply(...).reset_index(drop=True) 或抽样前先 df = df.reset_index(drop=True)
• 想用原始索引做标记？抽完立刻加一列：.apply(lambda g: g.sample(n=2).assign(group=g.name))

性能差得明显？大表分层抽样卡住的几个关键点

对百万级数据做 groupby().apply() 抽样，慢的主因不是 sample() 本身，而是 Python 层循环 + 多次 DataFrame 构造。尤其当分组数极多（比如上万组）、每组又很小时，开销集中在 apply 的调度和对象创建上。

• 优先考虑向量化替代：如果只是等量抽（如每组固定 5 行），可用 df.groupby('key').head(5) 或 df.groupby('key').tail(5)，快一个数量级
• 避免在 apply 里反复调用 len(g)，提前算好或用 g.size
• 内存敏感场景，加 observed=True（针对 category 类型分组键）可减少未出现类别的占位
• 真要高速随机抽？考虑先用 numpy.random.Generator.choice 生成每组的行号索引，再用 .iloc 批量切片

分层抽样的真正复杂点不在语法，而在「每组样本数是否可变」「小分组怎么兜底」「索引要不要连贯」——这几个判断没想清楚，代码写出来大概率要返工。

今天关于《Pandas分层抽样技巧：groupby加sample方法》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！