Redis Pub/Sub 怎样避免普通频道和模式频道重复消费
我第一次遇到 Redis Pub/Sub“重复消费”,是在把一个具体频道订阅和一个通配模式放进同一条连接之后:发布者只调用了一次 PUBLISH orders {...},处理器却连续收到两条看起来内容相同的消息。答案是,Redis 并没有把它们当成一次订阅。如果同一客户端同时执行 SUBSCRIBE orders 和 PSUBSCRIBE order.*,频道 orders 同时命中两条订阅,Redis 会分别发送一条 message 和一条 pmessage。
官方地址:https://redis.io/docs/latest/develop/pubsub/
所以,避免重复消费的首选办法不是在业务函数里猜“哪一条是重试”,而是先让订阅拓扑不重叠:同一类业务只选普通频道订阅或模式订阅。只有确实需要兼容两种入口时,才在业务层用稳定的事件 ID 做幂等。还要记住,Pub/Sub 本身是 at-most-once 投递,断线后的消息不会自动补发。
先看清楚:这是匹配重叠,不是 Redis 自动重试
Redis Pub/Sub 把消息发送给频道订阅者。SUBSCRIBE 直接订阅频道名,PSUBSCRIBE 订阅 glob 风格的模式。两种订阅分别维护,Redis 不会因为同一个客户端已经通过频道收到消息,就替它取消模式匹配。
下面的关系会产生两条投递路径:
# 普通订阅只匹配名为 orders 的频道
redis-cli SUBSCRIBE orders
# 模式订阅也会匹配 orders,因为它符合 order.*
redis-cli PSUBSCRIBE order.*
# 一个发布动作足以命中两种订阅
redis-cli PUBLISH orders '{"event_id":"evt-1001","status":"paid"}'
严格说,示例中的两个命令通常要在同一个订阅客户端连接上执行,或者由客户端库在同一个连接上维护。若普通订阅和模式订阅由两个不同业务进程承担,它们各自处理一次可能是设计结果;若两条消息最后进入同一个业务处理器,就会表现成一次事件执行两次。

从消息形状定位重复来源
普通频道消息和模式频道消息的字段不一样,先记录消息类型与来源,再判断是否重复,比只比较 payload 更可靠。
| 消息类型 | 字段形状 | 说明 |
|---|---|---|
message | [message, channel, payload] | 由普通频道订阅命中,第二项是实际频道 |
pmessage | [pmessage, pattern, channel, payload] | 由模式订阅命中,第二项是模式,第三项才是实际频道 |
subscribe / psubscribe | 订阅确认消息 | 不是业务发布,不应交给业务处理器 |
排查时可以暂时把“消息类型、模式、实际频道、业务事件 ID”写入结构化日志。若同一个 event_id 先出现 message,随后又出现 pmessage,并且二者的实际频道相同,基本可以确认是订阅重叠。
// classifyPubSubMessage 只提取消息来源,不在这里执行副作用。
// 这样可以把 message 与 pmessage 的字段差异保留到后续幂等层。
func classifyPubSubMessage(values []any) (kind, pattern, channel, payload string, ok bool) {
// Redis 推送消息的第一个元素描述消息类型。
if len(values) == 0 {
return "", "", "", "", false
}
kind, ok = values[0].(string)
if !ok {
return "", "", "", "", false
}
switch kind {
case "message":
// 普通消息的顺序是:类型、实际频道、负载。
if len(values) != 3 {
return "", "", "", "", false
}
channel, ok = values[1].(string)
if !ok {
return "", "", "", "", false
}
payload, ok = values[2].(string)
return kind, "", channel, payload, ok
case "pmessage":
// 模式消息多一个 pattern:类型、模式、实际频道、负载。
if len(values) != 4 {
return "", "", "", "", false
}
pattern, ok = values[1].(string)
if !ok {
return "", "", "", "", false
}
channel, ok = values[2].(string)
if !ok {
return "", "", "", "", false
}
payload, ok = values[3].(string)
return kind, pattern, channel, payload, ok
default:
// subscribe 等控制消息不属于业务事件。
return "", "", "", "", false
}
}
这个判断只负责识别形状,不等于已经完成幂等。不要用“内容完全相同”作为唯一去重键:两次合法业务事件可能恰好有相同的状态值,而同一事件的 payload 也可能因为序列化顺序不同而不完全相同。
最稳妥的办法:让订阅范围不重叠
如果业务只处理订单事件,最简单的设计是直接订阅一个明确频道;如果需要按租户或事件类型动态扩展,才使用模式订阅。不要为了“以后可能增加频道”而在同一个处理器上同时保留两套入口。
| 业务需求 | 建议 | 原因 |
|---|---|---|
| 只处理一个固定频道 | 只用 SUBSCRIBE orders | 消息来源单一,最容易观察和限权 |
| 处理一组同前缀频道 | 只用 PSUBSCRIBE order.* | 让模式订阅承担完整范围,不再重复订阅具体频道 |
| 固定业务与通配业务是两个独立消费者 | 拆成不同连接和不同处理器 | 把“收到两次”变成两个明确的业务责任,而不是同一函数重复执行 |
| 需要可靠重放和消费确认 | 评估 Redis Streams | Pub/Sub 断线丢消息,不能靠重复订阅弥补可靠性 |
订阅模式也要按实际频道命名空间设计。例如固定频道是 orders,而模式写成 order.*,两者就可能重叠;如果确实要区分用途,可以让模式只匹配 orders.region.* 这类不会覆盖固定频道的命名空间。
两种订阅都要保留时怎样做幂等
有些迁移期确实需要同时兼容普通订阅和模式订阅,例如旧消费者只能订阅固定频道,新消费者需要监听一组频道。这时不要依赖 Redis 帮你去重,而是让每条业务事件携带稳定的 event_id,在执行副作用前做一次原子占位。
// handleEvent 通过 event_id 把两种订阅路径汇合到同一个幂等入口。
// seenStore 的 SetNX 需要有过期时间,避免去重键无限增长。
func handleEvent(ctx context.Context, msg PubSubMessage, seenStore SeenStore) error {
if msg.EventID == "" {
// 没有稳定事件 ID 时不要伪造“恰好一次”,应拒绝或转入人工补偿路径。
return errors.New("missing event_id")
}
first, err := seenStore.SetNX(ctx, "pubsub:seen:"+msg.EventID, "1", 24*time.Hour)
if err != nil {
// 去重存储不可用时不继续执行副作用,避免放大重复风险。
return fmt.Errorf("reserve event id: %w", err)
}
if !first {
// message 与 pmessage 可能指向同一个事件,第二次只记录并跳过。
return nil
}
// 只有成功占位的路径才执行发送邮件、扣库存等业务副作用。
return processBusinessEvent(ctx, msg)
}
这里有一个必须正视的边界:先写去重键、后执行副作用,并不能凭空制造事务。如果进程在占位成功后立刻崩溃,事件可能被标记为已处理但副作用没有完成;如果先执行副作用再写去重键,又可能在崩溃重试时重复执行。涉及扣款、库存或外部 API 时,应把幂等键下沉到真正产生副作用的系统,或使用带状态的业务表和补偿流程。

连接状态、订阅计数和可靠性边界
订阅确认消息里的计数包含频道和模式订阅的总数。只取消普通频道,不代表连接已经退出订阅状态;只要仍有模式订阅,连接依旧处于订阅状态。重连代码如果把旧订阅列表和新订阅列表叠加,也可能制造新的重叠。
// resetSubscriptions 在重连后先清空本地状态,再按唯一集合恢复订阅。
// 这样不会把旧连接记录误当成新连接已经生效的订阅。
func resetSubscriptions(ctx context.Context, client Subscriber) error {
// 先取消旧的模式和频道记录,忽略“已经不存在”的本地状态。
if err := client.Unsubscribe(ctx, "orders"); err != nil {
return fmt.Errorf("unsubscribe channel: %w", err)
}
if err := client.PUnsubscribe(ctx, "order.*"); err != nil {
return fmt.Errorf("punsubscribe pattern: %w", err)
}
// 生产配置只选择一条路径;示例选择模式订阅。
if err := client.PSubscribe(ctx, "order.*"); err != nil {
return fmt.Errorf("psubscribe pattern: %w", err)
}
return nil
}
另外,Pub/Sub 与 Redis key 的数据库编号没有隔离关系:在一个逻辑数据库发布,订阅者在另一个数据库也能听到。需要环境隔离时,把 production、staging 等前缀纳入频道命名,而不是把数据库编号当成 Pub/Sub 命名空间。
最后再强调一次可靠性边界:Pub/Sub 是 at-most-once。订阅者处理失败或网络断开后,Redis 不会把已经发送过的消息重新发一遍。若业务要求消费确认、失败重试或历史回放,应该比较 Redis Streams,而不是叠加更多频道和模式订阅。
发布前的简短排查清单
- 列出每个连接实际执行过的
SUBSCRIBE与PSUBSCRIBE,检查具体频道是否被某个模式覆盖。 - 记录消息类型、pattern、实际 channel 和
event_id,不要只打印 payload。 - 固定范围只保留一种订阅方式;必须兼容两种方式时,让消息经过同一个幂等门。
- 重连时从声明式配置恢复唯一订阅集合,不要把旧连接状态直接追加到新连接。
- 把 Pub/Sub 的丢消息边界告知业务方;需要确认和重放时改评估 Streams。
常见问题
同一条消息同时出现 message 和 pmessage,Redis 是不是重复发送了?
这是同一客户端的普通订阅和模式订阅都匹配成功的正常结果。两条消息类型不同,模式消息还会带上命中的 pattern。
只在 payload 相同时去重可以吗?
不推荐。相同 payload 可能代表两次不同事件,应该让发布者提供稳定的业务事件 ID,再按事件语义做幂等。
把普通订阅和模式订阅放在两个连接里能解决吗?
它能把连接状态隔离,却不会让两条业务路径自动合并。如果两个连接最终调用同一个副作用函数,仍然需要拆分责任或做幂等。
Redis Pub/Sub 能保证至少消费一次吗?
不能。Pub/Sub 是 at-most-once;需要持久化、确认和重放时,应评估 Redis Streams 等更合适的机制。
把问题归因到“订阅匹配关系”后,处理顺序就清晰了:先消除普通频道与模式频道的重叠,再为迁移期或多入口场景补上业务事件 ID 幂等,最后根据是否需要重放重新选择消息模型。
Redis Lua 脚本怎样返回结构化结果给客户端
- 上一篇
- Redis Lua 脚本怎样返回结构化结果给客户端
- 下一篇
- Redis ZRANGEBYSCORE 怎样处理开区间和相同分数
-
- 数据库 · Redis | 20分钟前 | 分页 · redis 分页 Sorted Set score ZRANGEBYSCORE
- Redis ZRANGEBYSCORE 怎样处理开区间和相同分数
- 241浏览 收藏
-
- 数据库 · Redis | 25分钟前 |
- Redis Lua 脚本怎样返回结构化结果给客户端
- 342浏览 收藏
-
- 数据库 · Redis | 28分钟前 | Redis · lua · redis Lua FUNCTION LOAD FCALL Functions
- Redis Functions 怎样把脚本按库管理并调用
- 269浏览 收藏
-
- 数据库 · Redis | 30分钟前 | Redis · Sorted Set · redis 有序集合 BZMPOP 阻塞消费
- Redis BZMPOP 怎样等待多个有序集合出现可弹出元素
- 278浏览 收藏
-
- 数据库 · Redis | 37分钟前 |
- Redis ZMPOP 怎样按分值顺序从多个有序集合取出成员
- 213浏览 收藏
-
- 数据库 · Redis | 45分钟前 |
- Redis CLIENT LIST 怎样按连接名筛选客户端
- 101浏览 收藏
-
- 数据库 · Redis | 1天前 |
- Redis队列处理失败任务可见性超时
- 379浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1054次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1053次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1214次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1161次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1004次使用
-
- Go与Redis实现分布式互斥锁和红锁
- 2022-12-22 117浏览
-
- Go+Redis实现延迟队列实操
- 2023-02-23 426浏览
-
- 一文搞懂Go语言操作Redis的方法
- 2023-01-07 171浏览
-
- Golang分布式应用之Redis示例详解
- 2023-01-07 113浏览
-
- Go Redis客户端使用的两种对比
- 2022-12-30 195浏览

