当前位置:首页 > 文章列表 > Golang > Go教程 > Go ksuid 怎样把KSUID保存为固定长度二进制

Go ksuid 怎样把KSUID保存为固定长度二进制

来源:17golang原创 2026-10-31 07:39:49 0浏览 收藏

Go 的 segmentio/ksuid 可以用 id.Bytes() 获取完整20字节二进制,再用 ksuid.FromBytes(raw) 恢复。不要把 []byte(id.String()) 当成二进制编码:它仍是27字符Base62文本的字节。要保存固定长度记录,应在写入边界明确“完整20字节”,而不是截取字符串或仅保存随机载荷。

项目官方地址:https://github.com/segmentio/ksuid

本文以 v1.0.4 的文档与源码为依据,示例为原创存储辅助函数,不宣称该版本最新,也不提供伪造的运行输出。

先看写入的究竟是20字节还是27字符

设想一个服务原来把KSUID保存为文本,后来新增固定长度二进制字段,却仍沿用字符串参数:字段定义变了,应用写入内容并没有跟着变。这时先看参数的类型与长度,比立刻更改字段大小更有用。

表达式或内容表示方式用途
id.Bytes()完整20字节二进制存储
id.String()27字符Base62文本展示、文本传输
[]byte(id.String())文本的字节仍不是原始20字节
id.Payload()16字节载荷不含完整标识

KSUID的二进制结构包含4字节大端时间戳和16字节载荷。保存时直接保留完整表示,不需要自行重排时间戳字节,也不应套用16字节UUID的长度。截断27字符文本既不会完成Base62解码,还会破坏原标识。

KSUID二进制和文本结构关系
表示结构图:完整20字节与27字符文本属于同一标识的不同表示,不可直接截断替换。

保存完整字节,恢复时拒绝错误长度

下面将每条记录固定为20字节,写出时处理短写,读入时使用 io.ReadFull 填满一条记录。辅助函数不接管传入流的生命周期;调用方若打开文件,应负责关闭并按持久化要求处理同步、事务或临时文件替换。

package idstore

import (
    "fmt"
    "io"

    "github.com/segmentio/ksuid"
)

const RecordSize = 20

// EncodeRecord用固定数组表达存储尺寸,不依赖文本长度。
func EncodeRecord(id ksuid.KSUID) ([RecordSize]byte, error) {
    var record [RecordSize]byte
    if id.IsNil() {
        // 本例业务不接受空标识;这不是二进制格式本身的限制。
        return record, fmt.Errorf("不允许保存空KSUID")
    }
    copy(record[:], id.Bytes())
    return record, nil
}

// DecodeRecord拒绝长度错误,不截断或补零修复输入。
func DecodeRecord(raw []byte) (ksuid.KSUID, error) {
    id, err := ksuid.FromBytes(raw)
    if err != nil {
        return ksuid.Nil, fmt.Errorf("读取KSUID记录: %w", err)
    }
    if id.IsNil() {
        return ksuid.Nil, fmt.Errorf("记录中包含空KSUID")
    }
    return id, nil
}

// WriteRecord不拥有w,文件句柄由调用方创建和关闭。
func WriteRecord(w io.Writer, id ksuid.KSUID) error {
    record, err := EncodeRecord(id)
    if err != nil {
        return err
    }
    n, err := w.Write(record[:])
    if err != nil {
        return fmt.Errorf("写入KSUID记录: %w", err)
    }
    if n != len(record) {
        // 短写可能已经留下部分数据,调用方需要处理存储事务。
        return io.ErrShortWrite
    }
    return nil
}

// ReadRecord只读取一个20字节记录,错误原样保留供上层分类。
func ReadRecord(r io.Reader) (ksuid.KSUID, error) {
    var record [RecordSize]byte
    if _, err := io.ReadFull(r, record[:]); err != nil {
        return ksuid.Nil, err
    }
    return DecodeRecord(record[:])
}

EncodeRecord返回固定数组,便于在协议层表达尺寸。恢复入口保持切片参数并交给FromBytes检查长度,不做“多了截掉、少了补零”的猜测修复。示例额外拒绝空KSUID,是业务约定;若业务允许零值,应单独定义它与缺失值的区别。

连续记录文件可以逐次调用ReadRecord。到达新记录边界且没有读到任何字节时,io.ReadFull返回io.EOF;读到部分记录后结束则返回io.ErrUnexpectedEOF。后者应作为截断数据处理,不能当作正常文件结尾悄悄忽略。这些是接口语义说明,不是已执行的结果。

WriteRecord失败并不保证底层没有留下数据。它也不能自动回滚一个已经写入部分字节的流。调用方要保存记录边界或使用适合自身介质的事务策略,不要在原位置不明时盲目追加重试。

数据库参数为什么要显式传字节

v1.0.4 的KSUID实现了SQL值接口:非空值返回文本字符串,空KSUID返回nil。因此,直接把id作为SQL参数,不等价于把20字节二进制传给驱动。二进制列应显式使用 id.Bytes(),或者从EncodeRecord获得数组后以 record[:] 传入。

KSUID二进制存储和SQL默认值关系
存储接口结构图:显式字节参数和默认SQL值接口代表不同的存储约定。

这不意味着所有数据库或驱动都采用同一种字段声明。应让字段、参数绑定和扫描目标都支持完整字节,不进行字符集转换、文本截断或隐式补齐。取回字节后使用DecodeRecord,才能在应用边界发现尺寸不符。本文不假设某个具体数据库已经创建或写入成功。

若数据库允许NULL,要先区分NULL、零长度字节和20字节全零记录。它们不应因为业务都显示“空”就共用一条不明确的恢复逻辑。上面的辅助函数只接受业务允许的非空完整标识。

旧数据怎样迁移和回退

从文本迁移时,解析旧文本应使用ksuid.Parse;成功得到KSUID对象后,再取完整二进制写入新位置。不要使用通用Base64解码,也不要把原字符串前20字节直接复制过去。

  1. 保留旧文本字段或旧文件,新增明确的二进制存储位置,并记录表示版本。
  2. 分批读取旧记录,遇到Parse错误时保留该条原值与错误,停止或隔离当前批,不生成新ID替换。
  3. 在迁移程序中定义往返比较:新字节恢复后的KSUID应与旧文本解析结果相同;这属于读者实施迁移时的检查条件。
  4. 双写过渡期间明确失败处理与补偿责任,完成应用读路径切换前不删除旧表示。

回退读路径需要旧数据仍然完整且持续更新。如果新版本已经只写二进制,旧文本副本可能落后,不能仅切回旧程序就假定数据无损。应事先确定双写截止点、补写方式及迁移批次边界,而不是故障后再猜。

接入后记录哪些信号

适合记录的信号包括序列化类型、字节长度、解析错误数、短写数和迁移批次号。日志里用“binary20”或“base62text”这类明确名称,比统一写“id bytes”更容易排查。20与27的差异只是表示长度差异,不代表索引、行存储或网络开销一定按同样比例下降。

MarshalBinary也可以使用吗?可以,该版本方法返回二进制表示;调用方仍应按它的签名处理返回错误。Bytes更适合本例直接构造固定数组的写法。

恢复成功能证明这个ID真实存在吗?不能。FromBytes主要确认长度并构造标识,并不查询业务数据,也不证明其来源。是否属于当前对象,需要应用自己的业务关系判断。

从文本转为二进制需要重新生成ID吗?不需要。同一标识只是表示方式改变。迁移时重新生成ID会改变引用关系,不能作为处理解析错误的快捷方式。

参考资料:KSUID接口文档;v1.0.4类型与序列化实现;KSUID项目说明;Go io.ReadFull文档。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Go ksuid 怎样从KSUID提取时间戳Go ksuid 怎样从KSUID提取时间戳
上一篇
Go ksuid 怎样从KSUID提取时间戳
Go ksuid 怎样生成并解析KSUID文本
下一篇
Go ksuid 怎样生成并解析KSUID文本
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    804次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    795次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    885次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    853次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    683次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码