当前位置:首页 > 文章列表 > 数据库 > Redis > Redis Pub/Sub 断线重连后的消息丢失处理

Redis Pub/Sub 断线重连后的消息丢失处理

来源:17golang原创 2026-11-13 14:06:33 0浏览 收藏

Redis Pub/Sub 断线期间的消息不会在重连后自动补发。它提供至多一次投递语义;重新订阅只能恢复接收后续消息。若消息只是“数据已变化”的提醒,重连后重新加载权威状态;若每一条事件都必须处理,需要提前把事件写入 Redis Streams 等可回放记录,并保存消费进度。已经只通过 Pub/Sub 发出且没有其他记录的消息,不能靠重连追回。

Redis Pub/Sub 官方文档:https://redis.io/docs/latest/develop/pubsub/

先恢复订阅,再恢复业务状态

对于配置刷新、看板刷新等场景,最小处理方案是:客户端重连并确认订阅建立后,将本地状态标为待同步,从数据库或权威接口重新获取快照,然后恢复正常展示。Redis 只负责变化通知,业务接口负责当前事实。不要因为 TCP 连接恢复就直接把界面标成“数据最新”。

例如消息体只含配置项标识和版本号,订阅端收到提醒后读取配置。断线后即使漏掉多条中间通知,重新加载当前配置仍能恢复正确状态;但这个方案不适用于必须逐条执行业务副作用的事件。

即时通知与权威状态的依赖边界
结构说明图:订阅端依赖实时通知获得变化提示,也依赖权威快照恢复当前状态;Pub/Sub 频道不承担历史回放。

快照加载期间可能仍有新通知到来。应用可先完成订阅,暂存加载期间的更新提示,待快照装载完成再按版本处理,必要时重新读取。若接口不能提供一致快照或可比较版本,就不能声称消除了全部并发窗口,应依据业务一致性要求设计同步协议。

区分订阅成功与消息补发

下面是 Bash 中调用 redis-cli 的演示命令,需在独立命令会话中分别使用。示例没有在本文写作环境执行,不提供伪造的终端输出。

# 订阅会话:等待服务端订阅确认后,才能接收该频道的新消息。
redis-cli SUBSCRIBE demo:config:changed
# 发布会话:发送一个配置变化提示,完整配置仍从权威接口读取。
redis-cli PUBLISH demo:config:changed '{"config_id":"theme","version":42}'

断开订阅会话,在它离线时发布另一条提醒,再重新执行 SUBSCRIBE。重新订阅不会拿到离线期间的历史。PUBLISH 返回的订阅接收者数量不等于业务处理成功数;回调开始执行也不代表配置已经落地。

客户端的自动重连、自动重新订阅属于具体 SDK 的行为,不能用 Redis 协议本身推断。应用应监听连接错误与订阅状态,设置有上限的退避重试,避免持续重连冲击;具体参数以所用客户端文档为准。

必须补齐事件时改用可回放记录

如果是需要逐条处理的库存变动等事件,先明确历史记录的权威来源,再决定如何接入 Streams。最简单的设计是把 Stream 当作事件读取入口,而不是先 PUBLISH、等订阅者发现丢失后再尝试补写。

# 单引号保护星号,避免被 shell 当成文件匹配;event_id 用于业务去重。
redis-cli XADD 'demo:{inventory}:events' '*' event_id evt-9001 sku item-7 delta -1
# 新消费端从保留历史起点读取;COUNT 限制本批返回条数。
redis-cli XREAD COUNT 100 STREAMS 'demo:{inventory}:events' 0-0

XADD 回执中的 Stream ID 标识流中的条目位置,event_id 则是业务事件标识。生产者超时后重试可能写出多个具有相同 event_id 的条目,不能把这两个标识混为一谈。

若业务变更在关系数据库提交,而事件写入 Redis 是另一步,两者存在双写失败窗口。可以通过数据库事务内的 outbox 记录和独立投递任务衔接,消费者仍需去重。单纯并列执行 XADD 与 PUBLISH,不构成跨系统原子提交。Pub/Sub 可以保留为唤醒提示,但断线恢复必须以可回放记录为依据。

事件记录、消费游标和业务去重之间的静态关系
结构说明图:Stream ID 定位读取进度,event_id 支持业务去重;消费端同时依赖持久化游标与处理结果,不能用连接状态代替处理进度。

用保存的 Stream ID 继续读取

已有消费端恢复时,XREAD 传入最后成功处理并持久化的 Stream ID,它返回该位置之后的条目。下面的数字只是格式示例,实际必须替换为自己的已保存进度,不能照抄当作当前游标。

# 示例游标来自消费端的持久化记录;读取超时无新条目时保持它不变。
saved_id='1794540000000-0'
redis-cli XREAD COUNT 100 BLOCK 5000 STREAMS 'demo:{inventory}:events' "$saved_id"

不要在每次重连时传入 $。它表示以当时流的尾部为起点等待新增内容,会跳过已经存在的积压。0-0 适合首次从保留历史开始读取,但不是每次重连的固定参数,否则会反复读历史。

该例使用普通 XREAD,不涉及消费者组和确认机制。需要任务分摊与待处理消息管理时可以另行采用消费者组,但仍要设计确认、超时接管和业务幂等,不能仅替换命令就声称实现端到端恰好一次。

处理重复执行与历史保留

先保存游标再做业务,会在中途崩溃时跳过尚未完成的事件;先做业务再保存游标,则可能在崩溃恢复后重复执行。实际处理应把业务事件去重记录与业务变更放到同一事务中,再更新可恢复进度,或设计等价的可靠提交协议。外部接口副作用还需要稳定幂等键和结果查询能力。

示例中的 event_id 去重不能只存在进程内存里,重启后仍应有效;去重记录的期限也应覆盖可能重放的事件范围。遇到一条失败事件,不要直接把全局游标推进到它后面的成功条目,除非已经为它保存了可靠的单独恢复记录。

现象对应处理
Pub/Sub 离线期间漏提醒重新加载权威快照
必须补齐独立业务事件从已保存游标回放持久事件记录
重放导致相同事件再次出现通过业务 event_id 持久化去重
游标早于已删除历史从归档或业务数据对账恢复,明确记录缺口

Streams 可保留记录,但保留期、裁剪和 Redis 持久化策略共同决定可恢复范围。离线时间超过历史保留窗口,或故障导致尚未可靠持久化的数据丢失,都不能凭消费游标自动恢复。规划最大离线时间、积压容量和归档方案,并监控最旧未处理事件的年龄。

排查重连后的常见误区

打开 AOF 就能让 Pub/Sub 补发吗?

不能。Redis 的数据持久化不把普通频道变成带消费游标的历史日志;需要补发能力就必须事先采用相应存储模型。

重连成功为什么仍没有新消息?

确认订阅是否重新建立、频道名称与环境前缀是否一致、回调是否阻塞。普通 Pub/Sub 不按 Redis 数据库编号隔离频道,不能把 SELECT 当作频道环境隔离方案。

只在消息中加递增编号能找回丢失内容吗?

编号可以帮助发现缺口,但找回内容还需要保存原始事件的来源;只有编号而没有历史内容,依然无法回放。

恢复后该展示“已连接”还是“已同步”?

分别记录连接、订阅和数据同步状态。只有快照或回放达到业务定义的同步点,才把数据状态更新为已同步。

Streams 官方文档:https://redis.io/docs/latest/develop/data-types/streams/。XREAD 参数:https://redis.io/docs/latest/commands/xread/。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Redis JSONPath 查询数组字段的返回边界Redis JSONPath 查询数组字段的返回边界
上一篇
Redis JSONPath 查询数组字段的返回边界
下一篇
下一篇
暂无
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1011次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1015次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1141次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1112次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    957次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码