当前位置:首页 > 文章列表 > 数据库 > Redis > RedisBloom TDIGEST.TRIMMED_MEAN 怎么计算去掉两端样本后的均值

RedisBloom TDIGEST.TRIMMED_MEAN 怎么计算去掉两端样本后的均值

来源:17golang原创 2026-11-05 12:26:20 0浏览 收藏

使用 TDIGEST.TRIMMED_MEAN key 0.1 0.9,可以查询分布中间约 80% 对应的均值估计,降低两端样本对这个统计量的影响。两个参数是 0 到 1 之间的分位位置,且下界必须小于上界;它们不是数值阈值,也不是各自要删除的样本个数。该查询不会从摘要中删除两端数据。

官方地址:https://redis.io/docs/latest/commands/tdigest.trimmed_mean/

变化先说清:改变的是统计口径

假设延迟报表里少量特别大的值显著拉高了均值,读者希望同时了解典型区间的平均水平。我会先增加一个明确命名的截尾均值,而不是悄悄替换原来的均值。这是指标设计上的取舍,不是某次真实上线的结果。

本文讨论现有命令的用途,没有宣称某个新版本刚刚改变统计行为。能力的价值在于让同一份 t-digest 摘要支持不同分位范围的均值查询;读者要做的调整,是定义范围并让报表保留这个范围信息。原指标关注全部数据,新指标关注选定分布区域,两者回答的问题不同。

极端值也可能代表真实的用户体验或生产异常。截尾只是统计口径,不会证明两端数据是错误数据。因此“去掉异常值后的平均值”这种命名容易误导,使用“中间80%截尾均值”更能说明实际计算含义。

两个参数填分位位置,不填数值阈值

区分分位下界、上界、低端区、中间区和高端区的静态约束
结构说明图:两个分位参数约束均值所采用的中间区间,不是数据值上下限。
参数组合范围含义
0 与 1不做低端或高端截尾,查询全范围均值估计
0.1 与 0.9低端约10%、高端约10%不参与,使用中间约80%
0 与 0.95只对高端做约5%的截尾
0.2 与 1只对低端做约20%的截尾

high 参数表达上界分位位置,所以两端各截 10% 应写 0.1、0.9,而不是 0.1、0.1。后者上下界相等,不是有效区间。若填入 10、90,也不是百分数写法;调用方应先完成比例归一化,并拒绝范围外输入。

官方说明中,下界非零时排除低于该分位的观测,高界小于一时排除大于或等于该分位边界的观测;端点 0 和 1 分别表示不做对应方向的截尾。实际查询基于摘要估计,不宜把这一描述机械转换为“每次精确删除若干整条原始记录”。

最小示例同时保留全范围均值

# 在支持TDIGEST命令的独立演示实例中使用一个尚不存在的键。
redis-cli TDIGEST.CREATE demo:latency:trimmed:sample COMPRESSION 1000
# 原创样例:中间数据集中在40附近,两端各有一个远离中心的值。
redis-cli TDIGEST.ADD demo:latency:trimmed:sample 1 38 39 40 41 42 43 44 45 900
# 保留全范围均值作为原始口径。
redis-cli TDIGEST.TRIMMED_MEAN demo:latency:trimmed:sample 0 1
# 低端截去约10%,高端截去约10%,查询中间约80%的均值估计。
redis-cli TDIGEST.TRIMMED_MEAN demo:latency:trimmed:sample 0.1 0.9

样例十个数的总和为 1333,原始数据精确算术均值为 133.3。如果按离散排序规则只去掉最小的 1 和最大的 900,中间八个数总和为 332,精确均值为 41.5。这两项是手工算术参照,不是 TDIGEST 命令的实测返回值;摘要查询的近似性与边界处理必须另外理解。

本文未启动 Redis 或执行命令,不给出虚构的终端结果。COMPRESSION 是创建摘要时的配置,不是截尾比例。演示键应是独立的新键,若创建失败,应处理错误,不能继续向同名历史摘要添加数据后再将结果归因于这十个样本。

同一摘要可以先查 0、1,再查 0.1、0.9。这不代表先查询会影响后一次的输入:截尾均值是读取估计,不是清洗摘要。不要为了获得另一个范围,重复写入同一批样本,否则会改变摘要记录的观测权重。

旧报表接入时保留哪些边界

区分摘要、全范围均值、截尾均值以及报表元数据
结构说明图:全范围与截尾均值共享摘要,但必须保留各自的统计口径。

t-digest 摘要不是完整的原始样本列表,返回的是均值估计。报表若要求精确复算、列出被排除记录或按原始记录数量审计,不应仅保存这个摘要。本文不比较外部统计库,也不承诺和某种离散截尾算法逐位相同。

空摘要的 nan 应作为“无可用观测”处理,不要直接转换为零延迟。键不存在、类型不符或参数不合规则属于调用错误,需要与空数据状态区分。客户端还应按其协议与库的返回类型读取估计值,而不是依赖示例中的引号形式。

时间窗口同样属于口径。对某个键查询中间80%,并不自动意味着最近一小时;摘要中存了哪些时间范围的数据,由写入与窗口管理决定。迁移报表时保存时间窗口、分位参数、摘要标识和单位,才能解释变化来自范围调整还是输入变化。

采用建议与常见问题

最小采用方式是保留原来的全范围指标,同时新增明确标注范围的截尾均值。用相同输入窗口比较两者,记录预期用途,之后再决定哪些展示适合使用新指标。不要为了让图表变平滑,反复调截尾比例却不留下口径变化记录。

0.1、0.9 是保留10%到90%还是各删90%?它们是下界和上界分位位置,目标是中间约80%的范围。

截尾后能取回被删掉的样本吗?命令并未删除样本,但摘要也不提供完整原始记录清单;需要追溯时另行保留原始数据。

截尾均值更小,代表系统变快了吗?不一定。仅改变参与均值计算的范围,就可能使数字下降;比较前先确认统计口径一致。

参考:TDIGEST.TRIMMED_MEAN 官方说明;TDIGEST.ADD 官方说明。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Redis CLUSTER BUMPEPOCH 什么时候适合修正拓扑纪元Redis CLUSTER BUMPEPOCH 什么时候适合修正拓扑纪元
上一篇
Redis CLUSTER BUMPEPOCH 什么时候适合修正拓扑纪元
RediSearch FT.SEARCH 的 SLOP 和 INORDER 有什么区别
下一篇
RediSearch FT.SEARCH 的 SLOP 和 INORDER 有什么区别
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    893次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    894次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    978次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    965次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    791次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码