Redis循环任务处理：List+定时策略构建循环队列

本文深入剖析了为何 Redis 的 List 结构（如 LPUSH + BRPOP）无法直接构建可靠、健壮的循环任务队列，并系统性地指出了其在状态跟踪、幂等性、消费确认、超时容错和定时调度等方面的固有缺陷；文章不仅揭示了常见误用导致的任务丢失、重复消费和循环中断等痛点，还给出了面向生产场景的进阶方案——包括结合 EXPIRE 实现任务心跳与自动清理、用 ZSET 构建延迟调度、以及优先采用 Redis Stream 消费组模型来原生支持 ACK、重试与消息追溯，强调真正可靠的循环任务处理关键在于明确定义“任务完成”边界，并根据版本兼容性与业务需求选择合适的数据结构与外部协同机制。

为什么 LPUSH + BRPOP 不能直接做可靠循环队列

因为 BRPOP 是阻塞式弹出，一旦队列空了，它就卡住不动，没法“自动重入”或“兜底重试”。你没法靠它实现“执行完一个任务，立刻取下一个”的闭环逻辑——它只管取，不管后续怎么调度。

常见错误现象：BRPOP myqueue 0 在任务处理完后没主动再推回或推新任务，队列迅速变空，worker 进程挂起，整个循环中断。

• 必须配合外部调度逻辑（比如定时器、协程轮询、或另一个守护进程）来触发下一轮入队
• LPUSH 和 RPUSH 的方向决定消费顺序：用 LPUSH + RPOP 是栈式（LIFO），RPUSH + LPOP 才是队列式（FIFO）
• 如果任务需要严格顺序且可重入，别依赖单个 List；得加 WATCH + EXEC 或改用 Redis Stream 配消费组

用 EXPIRE 给任务加“心跳超时”，避免死锁堆积

循环任务常遇到“取出来但崩溃没处理完”，导致任务丢失或重复。List 本身不记录状态，所以得靠外部机制标记“正在处理中”。最轻量的做法是把任务推到一个临时 key，设过期时间，处理完再删。

使用场景：每 5 秒拉一次任务，但单次执行可能耗时 8 秒——不加超时，第二次拉会重复取到同一任务。

• 入队时不用 LPUSH 直接进主队列，而是先 SET task:123 "payload" EX 10，再 LPUSH processing_queue "task:123"
• worker 取出 task:123 后，立刻 DEL task:123；失败则靠 10 秒后自动过期清理
• 别用 EXPIRE 配 GETSET 做原子更新，Redis 7.0+ 才支持 SET … XX EX 安全续期，老版本建议用 Lua 脚本

定时策略别硬靠 redis-cli --scan 或轮询 KEYS

KEYS 会阻塞主线程，SCAN 返回无序且不保证实时性，在高频循环任务里容易漏判或重复触发。真正该用的是 Redis 的发布订阅 + 外部定时器，或者直接在应用层控制节奏。

性能影响：每秒 SCAN 一次 key 空间，在 10w+ key 时延迟飙升，CPU 毛刺明显。

• 推荐做法：用系统 cron 或 node-schedule/APScheduler 触发脚本，脚本内执行 LPOP 或 BRPOP，处理完再 LPUSH 回原队列（或新 delay 队列）
• 如果要用纯 Redis 实现定时，改用 ZSET 存时间戳 + 任务 ID，配合 ZRANGEBYSCORE + ZREM 做延迟队列，比 List 更适合周期调度
• 别在 Lua 脚本里写 while true do ... end，Redis 不允许长时间运行脚本，会触发 BUSY 错误

当任务需要幂等和失败重试，LIST 就该让位给 Stream

原生 List 没有消息 ID、没有消费者组、不支持 ACK，所有“重试”“跳过”“重播”都得自己维护 offset 和状态，代码很快变脆弱。

兼容性注意：Redis 5.0+ 才支持 Stream，旧环境升级成本高；但如果你已在用 6.x 或 7.x，XADD + XREADGROUP 是更自然的选择。

• 构建循环：用 XADD tasks * field value 写入，XREADGROUP GROUP mygroup consumer1 COUNT 1 STREAMS tasks > 拉取未处理消息
• 成功后必须 XACK tasks mygroup $id，否则下次 XREADGROUP 还会返回它；失败则跳过 XACK，由 XCLAIM 或 XPENDING 介入
• 不要把 Stream 当 List 用：别反复 XREAD 同一个 ID，那会重复消费；必须用消费组模型才能闭环

真正难的不是怎么推怎么取，是怎么定义“一次任务完成”的边界——是写进 DB 成功？还是发完 HTTP 请求？这个判断点一旦错位，List 和 Stream 都会崩。

今天关于《Redis循环任务处理：List+定时策略构建循环队列》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！