当前位置:首页 > 文章列表 > 数据库 > Redis > Redis HSCAN 怎样按模式增量读取字段

Redis HSCAN 怎样按模式增量读取字段

来源:17golang原创 2026-10-18 10:44:03 0浏览 收藏

线上有一个很大的 Hash,需要只处理名称以 profile: 开头的字段。直接使用 HGETALL 会把整个 Hash 一次性搬到客户端,既占内存,也让单次任务的耗时不可控。这时应该把读取拆成多个小回合:HSCAN 负责游标,MATCH 负责字段名筛选,COUNT 只负责提示每轮大致处理量。

官方地址:https://redis.io/docs/latest/commands/hscan/

要点速览
  • 从游标 0 开始,每次把 Redis 返回的新游标传给下一次调用,直到游标再次变成 0。
  • MATCH 使用 glob 风格模式匹配字段名;某一轮没有匹配字段并不代表遍历结束。
  • COUNT 是工作量提示,不是精确分页大小;返回数量可能少于、接近或多于它。

先把 HSCAN 看成游标工作流

HSCAN 的命令形态是 HSCAN key cursor [MATCH pattern] [COUNT count]。第一次调用使用 0,返回结果包含两部分:下一次调用要使用的游标,以及本轮读到的字段和值。只要返回游标不是 0,任务就还没有完成。

Redis Hash、HSCAN 游标、MATCH 和字段值批次之间的静态关系说明图
图1:HSCAN 的游标与字段批次关系说明图,展示静态数据边界,不是运行截图。

先用 redis-cli 看最小调用关系。下面的注释只解释参数用途,不把返回数量当成固定分页:

# 从 0 开始扫描 user:profile 这个 Hash
redis-cli HSCAN user:profile 0

# 继续使用上一轮返回的游标,并只匹配 profile: 开头的字段
redis-cli HSCAN user:profile 17 MATCH 'profile:*' COUNT 50

返回的第一个值可能是 17、42 等任意游标值,不应自己递增,也不应把它当成字段偏移量。第二次调用必须原样带上 Redis 返回的游标;只有它重新变为 0,才可以结束这个完整遍历。

把 MATCH、COUNT 放进可恢复处理循环

MATCH 只约束字段名,支持 Redis 的 glob 风格模式:* 表示任意长度字符,? 表示单个字符,方括号可以表示字符集合。它不是正则表达式,也不会按业务条件解析字段值。

COUNT 50 的含义是“尽量按这个工作量组织一次返回”,不是“每页恰好返回 50 个字段”。Redis 文档还特别说明,筛选发生在扫描到元素之后,因此一个回合可能得到空数组;这时仍然要保存新游标并继续扫描。

HSCAN 的 cursor、MATCH glob、COUNT 提示、空批次和检查点关系说明图
图2:MATCH、COUNT 与可恢复批次的结构说明图,空批次和检查点均为概念关系,不是运行证据。

在 Go 客户端中,可以把“游标推进”和“业务处理”分成两个阶段。这样即使某一轮没有命中字段,也不会错误退出:

package main

import (
	"context"
	"fmt"

	"github.com/redis/go-redis/v9"
)

func scanProfileFields(ctx context.Context, client *redis.Client) error {
	var cursor uint64
	for {
		// MATCH 只筛字段名;COUNT 是每轮工作量提示,不是精确页大小。
		items, next, err := client.HScan(ctx, "user:profile", cursor, "profile:*", 50).Result()
		if err != nil {
			// 保留原始错误,让上层决定重试或记录当前检查点。
			return fmt.Errorf("hscan user:profile: %w", err)
		}

		// items 是 field/value 交替排列的切片;空切片仍然要推进游标。
		for i := 0; i+1 

如果业务处理耗时较长,可以在自己的任务表或消息中记录 next,把它作为下一次任务的恢复游标。但它只适合“继续一次扫描”的场景,不是跨数据版本的稳定分页游标;Hash 在扫描期间发生大量新增、删除或修改时,结果不能当成事务快照。

触发失败时,先区分空批次和真正结束

生产任务里最容易出现三个误判:

现象正确判断处理方式
本轮字段数组为空可能只是 MATCH 没有命中保存新游标,继续调用
本轮返回少于 COUNTCOUNT 不是硬分页按实际返回内容处理,不补齐虚假记录
返回游标为 0这次完整遍历结束提交本次任务的汇总或检查点

如果任务需要重试,优先重试当前命令或恢复到业务记录的游标,不要为了“补一页”改成 HGETALL。扫描期间数据变化还可能让同一字段被看到多次,或者某些变化中的字段不在这次结果里;需要严格一致的批处理,应先建立版本化快照或使用更适合事务语义的数据结构。

上线前的参数和通知清单

  • 确认 key 确实是 Hash,字段模式使用的是 glob 语法而非正则语法。
  • 把 COUNT 按单轮业务处理成本调整,避免把它写成必须精确满足的分页协议。
  • 记录最近一次游标、已处理字段数和最后错误;空批次不直接触发“扫描失败”告警。
  • 只有游标为 0 才发送“本轮完成”通知;网络错误或业务处理错误要走重试/人工处理回路。

常见问题

HSCAN MATCH 为什么有时连续几轮都没有结果?

因为 MATCH 在扫描到字段之后再筛选,当前回合扫描到的字段可能都不符合模式。继续使用返回游标即可,不能把空数组当成结束信号。

COUNT 设置为 100,能保证每轮返回 100 个字段吗?

不能。COUNT 是提示值,Redis 会根据内部结构组织返回;小 Hash 甚至可能一次返回全部字段,业务代码应按真实数组处理。

HSCAN 能替代稳定分页吗?

它适合降低单次读取压力的增量遍历,不提供按字段名排序的稳定分页语义。若数据在扫描过程中变化,不要把游标当成跨快照的分页 token。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Redis SET 怎样在写入时返回旧值Redis SET 怎样在写入时返回旧值
上一篇
Redis SET 怎样在写入时返回旧值
Redis LMOVE 怎样把列表元素转移到另一端
下一篇
Redis LMOVE 怎样把列表元素转移到另一端
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    521次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    578次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    604次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    554次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    375次使用