当前位置:首页 > 文章列表 > 数据库 > Redis > Redis Pub/Sub 怎样避免普通频道和模式频道重复消费

Redis Pub/Sub 怎样避免普通频道和模式频道重复消费

来源:17golang原创 2026-11-16 19:23:22 0浏览 收藏

我第一次遇到 Redis Pub/Sub“重复消费”,是在把一个具体频道订阅和一个通配模式放进同一条连接之后:发布者只调用了一次 PUBLISH orders {...},处理器却连续收到两条看起来内容相同的消息。答案是,Redis 并没有把它们当成一次订阅。如果同一客户端同时执行 SUBSCRIBE orders 和 PSUBSCRIBE order.*,频道 orders 同时命中两条订阅,Redis 会分别发送一条 message 和一条 pmessage。

官方地址:https://redis.io/docs/latest/develop/pubsub/

所以,避免重复消费的首选办法不是在业务函数里猜“哪一条是重试”,而是先让订阅拓扑不重叠:同一类业务只选普通频道订阅或模式订阅。只有确实需要兼容两种入口时,才在业务层用稳定的事件 ID 做幂等。还要记住,Pub/Sub 本身是 at-most-once 投递,断线后的消息不会自动补发。

先看清楚:这是匹配重叠,不是 Redis 自动重试

Redis Pub/Sub 把消息发送给频道订阅者。SUBSCRIBE 直接订阅频道名,PSUBSCRIBE 订阅 glob 风格的模式。两种订阅分别维护,Redis 不会因为同一个客户端已经通过频道收到消息,就替它取消模式匹配。

下面的关系会产生两条投递路径:

# 普通订阅只匹配名为 orders 的频道
redis-cli SUBSCRIBE orders

# 模式订阅也会匹配 orders,因为它符合 order.*
redis-cli PSUBSCRIBE order.*

# 一个发布动作足以命中两种订阅
redis-cli PUBLISH orders '{"event_id":"evt-1001","status":"paid"}'

严格说,示例中的两个命令通常要在同一个订阅客户端连接上执行,或者由客户端库在同一个连接上维护。若普通订阅和模式订阅由两个不同业务进程承担,它们各自处理一次可能是设计结果;若两条消息最后进入同一个业务处理器,就会表现成一次事件执行两次。

Redis 普通频道 orders 与模式 order.* 同时命中并分别投递 message 和 pmessage 的消息流
图1:普通频道与模式频道重叠时的消息流说明图,不是运行截图。

从消息形状定位重复来源

普通频道消息和模式频道消息的字段不一样,先记录消息类型与来源,再判断是否重复,比只比较 payload 更可靠。

消息类型字段形状说明
message[message, channel, payload]由普通频道订阅命中,第二项是实际频道
pmessage[pmessage, pattern, channel, payload]由模式订阅命中,第二项是模式,第三项才是实际频道
subscribe / psubscribe订阅确认消息不是业务发布,不应交给业务处理器

排查时可以暂时把“消息类型、模式、实际频道、业务事件 ID”写入结构化日志。若同一个 event_id 先出现 message,随后又出现 pmessage,并且二者的实际频道相同,基本可以确认是订阅重叠。

// classifyPubSubMessage 只提取消息来源,不在这里执行副作用。
// 这样可以把 message 与 pmessage 的字段差异保留到后续幂等层。
func classifyPubSubMessage(values []any) (kind, pattern, channel, payload string, ok bool) {
	// Redis 推送消息的第一个元素描述消息类型。
	if len(values) == 0 {
		return "", "", "", "", false
	}
	kind, ok = values[0].(string)
	if !ok {
		return "", "", "", "", false
	}

	switch kind {
	case "message":
		// 普通消息的顺序是:类型、实际频道、负载。
		if len(values) != 3 {
			return "", "", "", "", false
		}
		channel, ok = values[1].(string)
		if !ok {
			return "", "", "", "", false
		}
		payload, ok = values[2].(string)
		return kind, "", channel, payload, ok
	case "pmessage":
		// 模式消息多一个 pattern:类型、模式、实际频道、负载。
		if len(values) != 4 {
			return "", "", "", "", false
		}
		pattern, ok = values[1].(string)
		if !ok {
			return "", "", "", "", false
		}
		channel, ok = values[2].(string)
		if !ok {
			return "", "", "", "", false
		}
		payload, ok = values[3].(string)
		return kind, pattern, channel, payload, ok
	default:
		// subscribe 等控制消息不属于业务事件。
		return "", "", "", "", false
	}
}

这个判断只负责识别形状,不等于已经完成幂等。不要用“内容完全相同”作为唯一去重键:两次合法业务事件可能恰好有相同的状态值,而同一事件的 payload 也可能因为序列化顺序不同而不完全相同。

最稳妥的办法:让订阅范围不重叠

如果业务只处理订单事件,最简单的设计是直接订阅一个明确频道;如果需要按租户或事件类型动态扩展,才使用模式订阅。不要为了“以后可能增加频道”而在同一个处理器上同时保留两套入口。

业务需求建议原因
只处理一个固定频道只用 SUBSCRIBE orders消息来源单一,最容易观察和限权
处理一组同前缀频道只用 PSUBSCRIBE order.*让模式订阅承担完整范围,不再重复订阅具体频道
固定业务与通配业务是两个独立消费者拆成不同连接和不同处理器把“收到两次”变成两个明确的业务责任,而不是同一函数重复执行
需要可靠重放和消费确认评估 Redis StreamsPub/Sub 断线丢消息,不能靠重复订阅弥补可靠性

订阅模式也要按实际频道命名空间设计。例如固定频道是 orders,而模式写成 order.*,两者就可能重叠;如果确实要区分用途,可以让模式只匹配 orders.region.* 这类不会覆盖固定频道的命名空间。

两种订阅都要保留时怎样做幂等

有些迁移期确实需要同时兼容普通订阅和模式订阅,例如旧消费者只能订阅固定频道,新消费者需要监听一组频道。这时不要依赖 Redis 帮你去重,而是让每条业务事件携带稳定的 event_id,在执行副作用前做一次原子占位。

// handleEvent 通过 event_id 把两种订阅路径汇合到同一个幂等入口。
// seenStore 的 SetNX 需要有过期时间,避免去重键无限增长。
func handleEvent(ctx context.Context, msg PubSubMessage, seenStore SeenStore) error {
	if msg.EventID == "" {
		// 没有稳定事件 ID 时不要伪造“恰好一次”,应拒绝或转入人工补偿路径。
		return errors.New("missing event_id")
	}

	first, err := seenStore.SetNX(ctx, "pubsub:seen:"+msg.EventID, "1", 24*time.Hour)
	if err != nil {
		// 去重存储不可用时不继续执行副作用,避免放大重复风险。
		return fmt.Errorf("reserve event id: %w", err)
	}
	if !first {
		// message 与 pmessage 可能指向同一个事件,第二次只记录并跳过。
		return nil
	}

	// 只有成功占位的路径才执行发送邮件、扣库存等业务副作用。
	return processBusinessEvent(ctx, msg)
}

这里有一个必须正视的边界:先写去重键、后执行副作用,并不能凭空制造事务。如果进程在占位成功后立刻崩溃,事件可能被标记为已处理但副作用没有完成;如果先执行副作用再写去重键,又可能在崩溃重试时重复执行。涉及扣款、库存或外部 API 时,应把幂等键下沉到真正产生副作用的系统,或使用带状态的业务表和补偿流程。

Redis message 与 pmessage 字段经过 event_id 幂等门后只保留一次业务处理
图2:消息字段与业务事件幂等入口的结构图,不是客户端截图。

连接状态、订阅计数和可靠性边界

订阅确认消息里的计数包含频道和模式订阅的总数。只取消普通频道,不代表连接已经退出订阅状态;只要仍有模式订阅,连接依旧处于订阅状态。重连代码如果把旧订阅列表和新订阅列表叠加,也可能制造新的重叠。

// resetSubscriptions 在重连后先清空本地状态,再按唯一集合恢复订阅。
// 这样不会把旧连接记录误当成新连接已经生效的订阅。
func resetSubscriptions(ctx context.Context, client Subscriber) error {
	// 先取消旧的模式和频道记录,忽略“已经不存在”的本地状态。
	if err := client.Unsubscribe(ctx, "orders"); err != nil {
		return fmt.Errorf("unsubscribe channel: %w", err)
	}
	if err := client.PUnsubscribe(ctx, "order.*"); err != nil {
		return fmt.Errorf("punsubscribe pattern: %w", err)
	}

	// 生产配置只选择一条路径;示例选择模式订阅。
	if err := client.PSubscribe(ctx, "order.*"); err != nil {
		return fmt.Errorf("psubscribe pattern: %w", err)
	}
	return nil
}

另外,Pub/Sub 与 Redis key 的数据库编号没有隔离关系:在一个逻辑数据库发布,订阅者在另一个数据库也能听到。需要环境隔离时,把 production、staging 等前缀纳入频道命名,而不是把数据库编号当成 Pub/Sub 命名空间。

最后再强调一次可靠性边界:Pub/Sub 是 at-most-once。订阅者处理失败或网络断开后,Redis 不会把已经发送过的消息重新发一遍。若业务要求消费确认、失败重试或历史回放,应该比较 Redis Streams,而不是叠加更多频道和模式订阅。

发布前的简短排查清单

  1. 列出每个连接实际执行过的 SUBSCRIBE 与 PSUBSCRIBE,检查具体频道是否被某个模式覆盖。
  2. 记录消息类型、pattern、实际 channel 和 event_id,不要只打印 payload。
  3. 固定范围只保留一种订阅方式;必须兼容两种方式时,让消息经过同一个幂等门。
  4. 重连时从声明式配置恢复唯一订阅集合,不要把旧连接状态直接追加到新连接。
  5. 把 Pub/Sub 的丢消息边界告知业务方;需要确认和重放时改评估 Streams。

常见问题

同一条消息同时出现 message 和 pmessage,Redis 是不是重复发送了?

这是同一客户端的普通订阅和模式订阅都匹配成功的正常结果。两条消息类型不同,模式消息还会带上命中的 pattern。

只在 payload 相同时去重可以吗?

不推荐。相同 payload 可能代表两次不同事件,应该让发布者提供稳定的业务事件 ID,再按事件语义做幂等。

把普通订阅和模式订阅放在两个连接里能解决吗?

它能把连接状态隔离,却不会让两条业务路径自动合并。如果两个连接最终调用同一个副作用函数,仍然需要拆分责任或做幂等。

Redis Pub/Sub 能保证至少消费一次吗?

不能。Pub/Sub 是 at-most-once;需要持久化、确认和重放时,应评估 Redis Streams 等更合适的机制。

把问题归因到“订阅匹配关系”后,处理顺序就清晰了:先消除普通频道与模式频道的重叠,再为迁移期或多入口场景补上业务事件 ID 幂等,最后根据是否需要重放重新选择消息模型。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Redis Lua 脚本怎样返回结构化结果给客户端Redis Lua 脚本怎样返回结构化结果给客户端
上一篇
Redis Lua 脚本怎样返回结构化结果给客户端
Redis ZRANGEBYSCORE 怎样处理开区间和相同分数
下一篇
Redis ZRANGEBYSCORE 怎样处理开区间和相同分数
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1054次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1053次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1214次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1161次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1004次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码