当前位置:首页 > 文章列表 > 文章 > python教程 > Python statistics.kde_random 怎样按核密度估计生成样本

Python statistics.kde_random 怎样按核密度估计生成样本

来源:17golang原创 2026-10-27 13:39:59 0浏览 收藏

我最近需要给一批连续数值补出一组“看起来仍像原数据”的样本。直接在最小值和最大值之间均匀取数,会把原数据的峰值和稀疏区全部抹平;只重复抽取原始值,又无法得到新的连续结果。这个场景可以用 Python 标准库的 statistics.kde_random:先用核密度估计把离散观测值平滑成一个概率密度,再从这个密度中随机抽样。

官方地址:https://docs.python.org/3/library/statistics.html#statistics.kde_random

它返回的不是一串已经生成好的数字,而是一个可以反复调用的抽样函数。seed 可以让同一组输入得到可复现的序列;h 控制平滑程度;kernel 只负责选择核函数的权重形状。

先准备一组适合 KDE 的观测值

这个函数适合连续数值或可以近似看作连续数值的数据,例如响应时长、测量结果和温度记录。输入必须非空,且最好先处理缺失值、明显的非法值和混杂类型。它不是凭空推断真实总体,而是把手里的样本当作分布形状的依据。

from statistics import kde_random

# 这些值代表已经清洗过的连续观测结果,单位可以是毫秒
latencies = [82.0, 91.5, 96.0, 101.0, 108.5, 112.0, 118.0]

# h 是平滑带宽;先用一个相对保守的值建立抽样器
rand_latency = kde_random(latencies, h=8.0, seed=20261027)

# 抽样器每调用一次就返回一个新的浮点样本
new_samples = [round(rand_latency(), 2) for _ in range(5)]
print(new_samples)

调用结果是浮点数,未必等于原始列表中的某个值。这正是 KDE 抽样与“从原列表随机挑一个”之间的差异:原始观测值附近会形成连续的密度,而不是只有几个离散桶。

观测数据、带宽、核密度估计与随机抽样之间的关系图
图1:观测数据经过核密度估计后,形成可持续抽样的概率密度函数。

kde_random 返回的是可重复调用的函数

把 kde_random 想成“创建一个抽样器”,而不是“马上生成结果”。先固定数据和参数,再在需要的地方调用返回值。这样做适合批量生成、按页生成,或者在测试中只改变抽样次数。

from statistics import kde_random

data = [1.2, 1.8, 2.1, 2.4, 3.0, 3.2]

# 同一个 seed 让两次创建的抽样器拥有相同的随机起点
first = kde_random(data, h=0.35, seed="demo-seed")
second = kde_random(data, h=0.35, seed="demo-seed")

# 逐次调用而不是一次传入数量;这样可以按业务需要停止或追加
left = [round(first(), 3) for _ in range(4)]
right = [round(second(), 3) for _ in range(4)]
print(left == right)  # 相同输入和 seed 时,结果序列可复现

复现只表示输入、参数和 seed 都相同。改变调用次数、调用顺序,或在同一个抽样器上插入一次额外调用,后续序列都会随随机状态推进而变化。因此测试时应在测试用例内部重新创建抽样器,避免共享一个已经被消费过的随机状态。

带宽 h 决定结果有多平滑

在实践中,h 往往比核函数名称更值得先调。较小的带宽更重视局部峰值,生成的样本会更贴近观测数据的细节;较大的带宽会把相邻峰值融合,结果更平滑,但可能掩盖小规模结构。没有脱离数据场景的“最佳 h”,应结合样本量、噪声和你要保留的细节来决定。

from statistics import kde_random

data = [10.0, 10.4, 10.7, 11.1, 14.8, 15.2, 15.5]

# 小 h 更强调两个局部区域,适合观察局部形状
local_rand = kde_random(data, h=0.25, seed=7)

# 大 h 更强调整体趋势,适合需要更平滑的合成样本
smooth_rand = kde_random(data, h=1.5, seed=7)

# 用相同 seed 只比较 h 的影响,避免把随机差异误判成带宽差异
local_batch = [round(local_rand(), 2) for _ in range(6)]
smooth_batch = [round(smooth_rand(), 2) for _ in range(6)]
print(local_batch)
print(smooth_batch)

比较时不要只盯着一两个返回值。抽样本身有随机性,更可靠的做法是为每个配置生成一批样本,再观察范围、集中区域和极端值。若目标是补齐训练数据,还要把合成样本与原始数据分开标记,避免后续把模拟数据误当成真实采集数据。

kernel 怎么选,seed 又解决什么问题

文档提供多种核函数。normal、logistic 和 sigmoid 会给每个样本点一定权重;rectangular、triangular、parabolic、quartic、triweight 与 cosine 更强调带宽范围内的点。多数工程场景先固定一种核,再调 h 更容易判断变化来自哪里。

seed 不改变密度形状,它只让随机抽样过程可重放。开发和测试可以固定 seed;生产环境如果希望每次生成不同样本,可以不传 seed,但应把输入参数和生成批次记录下来,方便出问题时复盘。

带宽、核函数和随机种子在 kde_random 中的职责边界图
图2:带宽控制平滑程度,kernel 决定权重形状,seed 控制抽样序列的复现性。

三个容易忽略的边界

第一,空数据会抛出 StatisticsError,因此不要把“没有观测值”当作可以生成默认样本的信号。第二,KDE 是对样本分布的估计,尾部可能产生超出观测最小值或最大值的结果;如果业务有硬边界,要在抽样后单独做业务裁剪,并记录这一步,而不是假设 KDE 自动遵守边界。第三,文档提示未来更准确的逆 CDF 估计实现可能让数值略有变化,所以固定 seed 适合复现当前运行逻辑,不应被当作跨未来版本的永久字节级承诺。

from statistics import StatisticsError, kde_random

def make_sampler(values, bandwidth, seed):
    # 先把空输入转换成明确的业务错误,避免错误出现在批处理深处
    if not values:
        raise ValueError("至少需要一个观测值")
    try:
        # 返回函数本身,调用方决定生成多少个样本
        return kde_random(values, h=bandwidth, seed=seed)
    except StatisticsError as exc:
        # 保留原始异常作为上下文,便于定位输入清洗问题
        raise ValueError("观测值不满足 KDE 抽样条件") from exc

sampler = make_sampler([3.1, 3.4, 3.8, 4.2], bandwidth=0.4, seed=11)
bounded = [min(5.0, max(0.0, sampler())) for _ in range(3)]
print(bounded)  # 裁剪是业务规则,不是 kde_random 的分布定义

适合把它用在哪里

如果你需要从小批量连续观测中构造一批带有原分布形状的模拟值,kde_random 的接口很轻:标准库即可使用,抽样器也容易封装进测试或数据预处理流程。它不适合作为完整的统计建模平台,也不应替代对样本代表性、异常值和业务边界的判断。我的经验是先固定一个有解释的 h,用 seed 建立可复现基线,再通过批量结果判断是否需要改变平滑程度。

常见追问

kde_random 和直接随机选择原始值有什么区别?

直接选择只能返回已有观测值;kde_random 根据核密度估计产生连续数值,能够保留局部集中趋势,同时允许出现原始点之间的新值。

seed 一定要传吗?

不一定。测试、演示和需要复现的批处理建议传入;追求每次随机变化时可以省略,但应保存生成配置。

为什么生成的值可能超出原数据范围?

核密度估计会在观测值周围形成连续分布,尾部抽样可能越过样本边界。若业务禁止越界,应明确增加裁剪或拒绝采样逻辑。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Python statistics.NormalDist.overlap 怎样比较两个正态分布重叠程度Python statistics.NormalDist.overlap 怎样比较两个正态分布重叠程度
上一篇
Python statistics.NormalDist.overlap 怎样比较两个正态分布重叠程度
Python decimal.Context.flags 怎样记录计算中的舍入信号
下一篇
Python decimal.Context.flags 怎样记录计算中的舍入信号
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    734次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    736次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    815次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    776次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    611次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码