当前位置:首页 > 文章列表 > 数据库 > Redis > Redis CMS.MERGE怎样合并多个频次统计

Redis CMS.MERGE怎样合并多个频次统计

来源:17golang原创 2026-10-13 18:57:50 0浏览 收藏

在分站点、分机房或分时间窗口保存频次统计时,最后通常要把多个 Count-Min Sketch 汇总成一个查询入口。Redis 的 CMS.MERGE 负责这件事:它把多个来源 sketch 合并到一个已经初始化的目标 key,成功时返回 OK。真正容易出问题的地方不在命令格式,而在目标参数、来源参数和权重是否对应。

官方地址:https://redis.io/docs/latest/commands/cms.merge/

要点速览
  • 目标 sketch 必须先初始化,所有来源的 width 和 depth 必须完全一致。
  • numKeys 要等于后面 source key 的数量,WEIGHTS 按来源顺序逐个倍乘。
  • CMS 是近似计数结构,合并后查询值可能偏大;失败时先查 key、参数和部署形态。

先把合并现场拆成目标、来源和查询

一次合并可以理解为三组对象:目标 key 用来接收结果,来源 key 保存各自的频次草图,查询 key 负责读取合并后的估算值。目标不是普通字符串,也不是一个可以临时创建的空 key;它要先用相同的 width、depth 初始化。下面用两个站点统计说明最小路径:

# 先用固定 width 和 depth 创建目标与两个来源 sketch
redis-cli CMS.INITBYDIM orders:all 2000 7
redis-cli CMS.INITBYDIM orders:north 2000 7
redis-cli CMS.INITBYDIM orders:south 2000 7

# 分别写入来源统计,INCRBY 的数值是本次增加量
redis-cli CMS.INCRBY orders:north sku:1001 4 sku:1002 2
redis-cli CMS.INCRBY orders:south sku:1001 3 sku:1003 5

# numKeys=2,后面正好跟两个来源 key
redis-cli CMS.MERGE orders:all 2 orders:north orders:south

# 从合并结果读取指定商品的估算频次
redis-cli CMS.QUERY orders:all sku:1001 sku:1003

这里的关键不是把三个 key 写在同一行,而是三个 sketch 的结构参数一致。官方命令说明要求所有 sketch 具有相同的 width 和 depth;如果目标 key 不存在,或目标与来源的参数不一致,命令会返回错误而不是部分合并。

Redis CMS.MERGE 说明图:两个相同 width 和 depth 的来源 sketch 汇入已初始化的目标 sketch,再由 CMS.QUERY 读取频次估算
图1:Redis CMS.MERGE 参数关系说明图,展示目标、来源和查询之间的边界。

多个频次统计按 source 顺序合并

CMS.MERGE destination numKeys source [source ...] 的读取顺序很固定:先写目标,再写来源数量,再列出来源 key。numKeys 不是目标容量,也不是要合并的元素数量,而是 source sketch 的数量。三地统计就写 3,并在后面列出三个来源。

# 三个来源使用同一组初始化参数,避免结构不兼容
redis-cli CMS.MERGE orders:all 3 orders:north orders:south orders:west

# 成功时 Redis 返回 OK;然后再按业务 key 查询合并值
redis-cli CMS.QUERY orders:all sku:1001

# 只读结构信息,确认目标的 width、depth 和总计数
redis-cli CMS.INFO orders:all

命令的时间复杂度是 O(n),这里的 n 指参与合并的 sketch 数量。它不是按每个商品逐个遍历,因此适合把分片统计做一次汇总;但大量来源 key 仍会增加单条命令的处理时间,生产环境可以按区域或时间窗口分层合并,避免一次塞入过长的 source 列表。

权重解决的是倍乘,不是修复参数差异

当不同来源代表不同采样比例、批次数量或业务折算系数时,可以追加 WEIGHTS。权重按 source 的位置对应,默认每个来源都是 1。例如北区数据保持原值,南区数据按 3 倍计入:

# 两个权重分别对应 orders:north 和 orders:south
redis-cli CMS.MERGE orders:weighted 2 orders:north orders:south WEIGHTS 1 3

# 读取加权后的估算值;它仍然是 CMS 的近似计数
redis-cli CMS.QUERY orders:weighted sku:1001

权重不会改变 sketch 的 width/depth,也不会把两个不同尺寸的 sketch 变成兼容结构。它只是把来源的计数贡献按倍数加入目标,所以权重列表要和 source 一一对应。若只是普通汇总,不要为了“更准确”随意填大于 1 的数字。

Redis CMS.MERGE 权重说明图:来源 sketch 按 1 和 3 的权重进入目标,并在查询结果中保留近似计数边界
图2:权重合并结构说明图,展示 source 顺序、权重倍乘和查询结果的关系。

失败与结果偏大按这张清单排查

现象优先检查处理方式
返回 key 不存在目标或来源是否被删除、是否写错命名空间先用 CMS.INFO 检查每个 key,再重新初始化缺失的目标
提示 width/depth 不一致初始化命令是否使用了不同参数重新建立同尺寸的目标或来源,不能靠 WEIGHTS 绕过
查询值偶尔偏大CMS 哈希碰撞和历史累计是否被忽略把结果当上界估算,按业务容忍度调整 width/depth
合并后结果异常放大权重顺序、数量和采样比例逐项对照 source 列表,普通汇总统一使用默认权重 1

还要注意集群部署:官方命令页特别提示,集群环境下多 key 操作的行为需要结合集群多 key 规则判断。也就是说,单机上格式正确,不代表跨槽的多个 key 在集群里就能直接执行;部署形态应在上线前单独确认。

相关问题

CMS.MERGE 会把来源 key 删除吗?

命令用途是把多个 sketch 合并到目标 key,文章中的来源仍作为独立统计保留。是否清理来源应由业务的归档周期决定,不要把合并和删除绑定成一个假设。

为什么合并后的 CMS.QUERY 不是精确总和?

Count-Min Sketch 用有限宽度和多行哈希估算频次,碰撞可能让结果偏大。CMS.MERGE 只合并这些估算结构,不会把它变成精确计数表。

能不能用不同 width 的来源做加权合并?

不能。权重只表示来源贡献的倍乘关系,所有参与合并的 sketch 仍必须使用相同的 width 和 depth。

落地时可以先把每个来源的初始化参数和采样比例写入配置,再由程序生成 source 与 weights 列表。这样出现“命令成功但数值偏大”时,能区分结构兼容问题、权重配置问题和 CMS 固有误差。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Redis CF.COUNT和CF.EXISTS有什么区别Redis CF.COUNT和CF.EXISTS有什么区别
上一篇
Redis CF.COUNT和CF.EXISTS有什么区别
Redis Count-Min Sketch为什么不能提供精确计数
下一篇
Redis Count-Min Sketch为什么不能提供精确计数
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    463次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    526次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    543次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    491次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    311次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码