当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > RAG 文档切片为什么要保留标题路径:用 Go 生成可追溯检索片段

RAG 文档切片为什么要保留标题路径:用 Go 生成可追溯检索片段

来源:17golang原创 2026-08-27 14:17:36 0浏览 收藏

RAG 问答最容易被忽略的不是向量相似度,而是命中之后能不能说清“这句话来自文档的哪一节”。如果切片只保留正文,模型拿到的上下文会像几张没有书签的纸:能回答,却很难回链、纠错和定位版本。给每个片段保存标题路径、片段编号和来源位置,成本很小,却能把检索结果变成可追溯证据。

标题路径不是展示字段,而是检索数据的一部分;它要在切片时进入 Chunk,随后沿着 buildContext 传到回答层,才能稳定生成引用。

实践要点
  • 切片正文时同时保存 heading_pathchunk_idsource_anchor
  • 标题变化应触发新的片段边界,避免把两个章节拼成一个语义块。
  • 检索上下文只拼接命中的片段,但保留来源锚点供回答和日志回查。
  • 引用验收至少检查标题路径、片段编号和原文窗口三项是否一致。

线上症状:答案对了,却找不到出处

一个内部知识库问答返回了正确的配置建议,评审却无法确认它来自哪份运维手册。日志里只有一段相似度最高的文本,没有章节名、页码或稳定 ID。文档更新后,同一段文字甚至可能来自旧版本,问题就从“答得准不准”变成了“这条结论能不能复核”。

RAG 的检索记录至少要能回答三个问题:命中了哪一个文档版本?命中片段在文档结构中的位置是什么?最终上下文把哪些片段交给了模型?这三个答案分别需要 source_idheading_pathchunk_id

先把文档结构变成 Chunk 元数据

下面的示例不依赖具体向量数据库,先把 Markdown 中的标题路径和正文行组织成稳定的切片对象。示例中的 ChunksplitByHeadingsource_anchor 都会在后续检索链路中继续使用。

type Chunk struct {
    ID           string
    SourceID     string
    HeadingPath  []string
    Text         string
    SourceAnchor string
}

func splitByHeading(sourceID string, lines []string) []Chunk {
    var path []string
    var body []string
    var chunks []Chunk
    flush := func() {
        text := strings.TrimSpace(strings.Join(body, "\n"))
        if text == "" { return }
        chunks = append(chunks, Chunk{
            ID: fmt.Sprintf("%s-%03d", sourceID, len(chunks)+1),
            SourceID: sourceID,
            HeadingPath: append([]string(nil), path...),
            Text: text,
            SourceAnchor: fmt.Sprintf("%s#chunk-%03d", sourceID, len(chunks)+1),
        })
        body = nil
    }
    for _, line := range lines {
        if strings.HasPrefix(line, "## ") || strings.HasPrefix(line, "### ") {
            flush()
            path = append(path[:0], strings.TrimSpace(line[2:]))
            continue
        }
        body = append(body, line)
    }
    flush()
    return chunks
}

这里有一个容易漏掉的细节:HeadingPath 必须复制当前路径,而不是把同一个可变切片直接塞进每个 Chunk。否则下一次遇到标题时,旧片段的路径也可能被悄悄改掉。SourceAnchor 则把来源 ID 和稳定序号连起来,后面可以映射到数据库记录或原文窗口。

RAG 文档通过 splitByHeading 生成带 HeadingPath、Chunk 和 source_anchor 的切片数据路径

故障根因:孤立正文切断了回答回链

如果只把 Text 写入向量索引,召回结果通常仍能完成语义匹配,但回答层看到的是脱离上下文的句子。例如“保留七天”可能属于日志保留策略,也可能属于备份保留策略;相邻标题才是消除歧义的线索。

标题路径不应该在检索之后临时拼接。临时拼接往往依赖原始文档再次查找,遇到同名标题、文档重排或异步更新就会错配。更稳妥的做法是让 Chunk 在入库前就带齐结构信息,向量库的 metadata 与正文索引使用同一个 chunk_id

让 buildContext 保留证据链

召回后不要只做字符串拼接。上下文中的每个片段都应带一个短而稳定的来源头,既让模型知道语义边界,也让日志能够记录实际送入模型的片段集合。

func buildContext(chunks []Chunk) string {
    var blocks []string
    for _, chunk := range chunks {
        heading := strings.Join(chunk.HeadingPath, " / ")
        blocks = append(blocks, fmt.Sprintf(
            "[%s | %s | %s]\n%s",
            chunk.ID, heading, chunk.SourceAnchor, chunk.Text,
        ))
    }
    return strings.Join(blocks, "\n\n")
}

调用方拿到的字符串包含 chunk_id、标题路径和 source_anchor,而不是一堆没有身份的段落;这就是送给回答层的回答上下文。实际接入模型 API 时,还应把这份片段列表作为自己的审计记录保存下来;不要依赖模型是否会原样复述来源头。

RAG 的 buildContext 将 Chunk、标题路径和 source_anchor 组成可追溯回答上下文

验收时检查三条真实路径

从标题到片段

给一份包含同名小节的测试文档,确认每个 ChunkHeadingPath 与它实际所在位置一致。不要只测唯一标题,否则路径错位很难暴露。

从片段到上下文

固定一次召回结果,检查 buildContext 输出中是否同时出现 chunk_id、标题路径和 source_anchor。如果只剩正文,说明证据链在拼接阶段丢了。

从上下文到回答

让回答层返回引用对象或结构化日志,再用 chunk_id 反查原文窗口。模型文字看起来正确,不代表引用就正确;引用必须能回到唯一的源片段。

两个边界别混在一起

标题路径解决的是语义定位,不是切片长度。长章节仍需要按字符数、标记数量或语义边界继续拆分,但拆分后的子片段应继承同一条标题路径,并拥有不同的 chunk_id

来源锚点也不是安全凭证。它只用于定位和审计,不能把访问令牌、内部文件绝对路径或个人数据塞进 metadata。对外展示时可以把 source_anchor 映射为文章标题、章节名和公开链接。

相关问题

标题路径会不会增加向量检索噪声?

会增加少量输入文本,但通常换来了更清晰的语义边界。可以只把一到两级关键标题放进嵌入文本,同时在 metadata 中保存完整路径,按检索场景做取舍。

为什么不在模型回答后再查出处?

回答后的文本可能已经改写、合并或省略原句,事后再匹配容易撞上相似段落。检索时保留 chunk_id,才能让出处来自同一次召回。

文档更新后怎样避免旧片段混入?

把文档版本或内容哈希纳入 SourceID,更新时重新生成对应片段,并在检索过滤条件中排除已下线版本。稳定 ID 的目标是可追踪,不是永久不变。

把可追溯性当成检索结果的一部分

RAG 的质量不只由相似度分数决定。splitByHeading 把文档结构写入 ChunkbuildContext 再把这些字段送进上下文,回答层才有机会把结论指回真实来源。先把这条数据路径跑通,再讨论重排、混合检索或更复杂的切片策略,排查会简单很多。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
RAG 检索结果为什么要保留来源:从召回片段到答案引用的接口设计RAG 检索结果为什么要保留来源:从召回片段到答案引用的接口设计
上一篇
RAG 检索结果为什么要保留来源:从召回片段到答案引用的接口设计
Go bytes.Reader Seek 为什么会返回负位置:偏移计算与错误处理边界
下一篇
Go bytes.Reader Seek 为什么会返回负位置:偏移计算与错误处理边界
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • ljg-skills -
    ljg-skills
    ljg-skills 是李继刚开源的 AI 技能与提示词集合,面向大模型使用者整理了一批可复用的 prompt、角色设定和任务技能模板,适合用于学习提示词设计、搭建个人 AI 工作流和沉淀团队常用智能体能力。
    5309次使用
  • MELO音乐 - AI 音乐生成平台,支持多模态创作能力
    MELO音乐
    MELO音乐是一站式AI视频与音乐制作助手,对标suno, udio的高品质体验。提供伴奏生成、原创写词、无损导出、哼唱识曲、混音变声等全套音频与短视频编辑工具。无论是流行Kpop、电音说唱、民谣古风、摇滚儿歌还是商用轻音乐,MELO为你免费谱曲,轻松做同款!
    4824次使用
  • UniScribe - AI 免费在线音视频转文字平台
    UniScribe
    UniScribe 是一款 AI 音视频转文字与内容整理工具,支持上传音频、视频文件或粘贴 YouTube 链接,自动生成转写文本、摘要、思维导图和关键问题,并支持多格式导出,适合会议记录、课程学习、访谈整理和内容创作复盘。
    4768次使用
  • 剧云 - 免费 AI 智能中文剧本创作平台
    剧云
    剧云是专业中文剧本创作平台,安全稳定运行十余年,集成AI编剧、剧本医生审核、人物小传、剧情关系图、大纲编写、多人协作、Word导入导出、版权管控功能,数据安全防护,轻松高效创作剧本。
    5028次使用
  • 万象有声 - AI 一站式有声内容创作平台
    万象有声
    万象有声,一个专为有声创作者打造的新一代智能有声内容创作平台。平台提供专业的智能拆章、智能画本编辑、AI配音、AI生成音效、后期制作、智能对轨、智能审听等有声创作全流程工具,可以帮助创作者高效、低成本创作出引人入胜的有声作品。立即体验,让有声书制作更简单!
    4972次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码