当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > RAG 文档切片为什么要保留标题路径:用 Go 生成可追溯检索片段

RAG 文档切片为什么要保留标题路径:用 Go 生成可追溯检索片段

来源:17golang原创 2026-08-27 14:17:36 0浏览 收藏
所属专题:Go Qdrant 向量检索与 RAG 工程实践专题 - 从 Go SDK、集合与向量写入到过滤、混合检索和 RAG 评估

RAG 问答最容易被忽略的不是向量相似度,而是命中之后能不能说清“这句话来自文档的哪一节”。如果切片只保留正文,模型拿到的上下文会像几张没有书签的纸:能回答,却很难回链、纠错和定位版本。给每个片段保存标题路径、片段编号和来源位置,成本很小,却能把检索结果变成可追溯证据。

标题路径不是展示字段,而是检索数据的一部分;它要在切片时进入 Chunk,随后沿着 buildContext 传到回答层,才能稳定生成引用。

实践要点
  • 切片正文时同时保存 heading_path、chunk_id 和 source_anchor。
  • 标题变化应触发新的片段边界,避免把两个章节拼成一个语义块。
  • 检索上下文只拼接命中的片段,但保留来源锚点供回答和日志回查。
  • 引用验收至少检查标题路径、片段编号和原文窗口三项是否一致。

线上症状:答案对了,却找不到出处

一个内部知识库问答返回了正确的配置建议,评审却无法确认它来自哪份运维手册。日志里只有一段相似度最高的文本,没有章节名、页码或稳定 ID。文档更新后,同一段文字甚至可能来自旧版本,问题就从“答得准不准”变成了“这条结论能不能复核”。

RAG 的检索记录至少要能回答三个问题:命中了哪一个文档版本?命中片段在文档结构中的位置是什么?最终上下文把哪些片段交给了模型?这三个答案分别需要 source_id、heading_path 和 chunk_id。

先把文档结构变成 Chunk 元数据

下面的示例不依赖具体向量数据库,先把 Markdown 中的标题路径和正文行组织成稳定的切片对象。示例中的 Chunk、splitByHeading 和 source_anchor 都会在后续检索链路中继续使用。

type Chunk struct {
    ID           string
    SourceID     string
    HeadingPath  []string
    Text         string
    SourceAnchor string
}

func splitByHeading(sourceID string, lines []string) []Chunk {
    var path []string
    var body []string
    var chunks []Chunk
    flush := func() {
        text := strings.TrimSpace(strings.Join(body, "\n"))
        if text == "" { return }
        chunks = append(chunks, Chunk{
            ID: fmt.Sprintf("%s-%03d", sourceID, len(chunks)+1),
            SourceID: sourceID,
            HeadingPath: append([]string(nil), path...),
            Text: text,
            SourceAnchor: fmt.Sprintf("%s#chunk-%03d", sourceID, len(chunks)+1),
        })
        body = nil
    }
    for _, line := range lines {
        if strings.HasPrefix(line, "## ") || strings.HasPrefix(line, "### ") {
            flush()
            path = append(path[:0], strings.TrimSpace(line[2:]))
            continue
        }
        body = append(body, line)
    }
    flush()
    return chunks
}

这里有一个容易漏掉的细节:HeadingPath 必须复制当前路径,而不是把同一个可变切片直接塞进每个 Chunk。否则下一次遇到标题时,旧片段的路径也可能被悄悄改掉。SourceAnchor 则把来源 ID 和稳定序号连起来,后面可以映射到数据库记录或原文窗口。

RAG 文档通过 splitByHeading 生成带 HeadingPath、Chunk 和 source_anchor 的切片数据路径

故障根因:孤立正文切断了回答回链

如果只把 Text 写入向量索引,召回结果通常仍能完成语义匹配,但回答层看到的是脱离上下文的句子。例如“保留七天”可能属于日志保留策略,也可能属于备份保留策略;相邻标题才是消除歧义的线索。

标题路径不应该在检索之后临时拼接。临时拼接往往依赖原始文档再次查找,遇到同名标题、文档重排或异步更新就会错配。更稳妥的做法是让 Chunk 在入库前就带齐结构信息,向量库的 metadata 与正文索引使用同一个 chunk_id。

让 buildContext 保留证据链

召回后不要只做字符串拼接。上下文中的每个片段都应带一个短而稳定的来源头,既让模型知道语义边界,也让日志能够记录实际送入模型的片段集合。

func buildContext(chunks []Chunk) string {
    var blocks []string
    for _, chunk := range chunks {
        heading := strings.Join(chunk.HeadingPath, " / ")
        blocks = append(blocks, fmt.Sprintf(
            "[%s | %s | %s]\n%s",
            chunk.ID, heading, chunk.SourceAnchor, chunk.Text,
        ))
    }
    return strings.Join(blocks, "\n\n")
}

调用方拿到的字符串包含 chunk_id、标题路径和 source_anchor,而不是一堆没有身份的段落;这就是送给回答层的回答上下文。实际接入模型 API 时,还应把这份片段列表作为自己的审计记录保存下来;不要依赖模型是否会原样复述来源头。

RAG 的 buildContext 将 Chunk、标题路径和 source_anchor 组成可追溯回答上下文

验收时检查三条真实路径

从标题到片段

给一份包含同名小节的测试文档,确认每个 Chunk 的 HeadingPath 与它实际所在位置一致。不要只测唯一标题,否则路径错位很难暴露。

从片段到上下文

固定一次召回结果,检查 buildContext 输出中是否同时出现 chunk_id、标题路径和 source_anchor。如果只剩正文,说明证据链在拼接阶段丢了。

从上下文到回答

让回答层返回引用对象或结构化日志,再用 chunk_id 反查原文窗口。模型文字看起来正确,不代表引用就正确;引用必须能回到唯一的源片段。

两个边界别混在一起

标题路径解决的是语义定位,不是切片长度。长章节仍需要按字符数、标记数量或语义边界继续拆分,但拆分后的子片段应继承同一条标题路径,并拥有不同的 chunk_id。

来源锚点也不是安全凭证。它只用于定位和审计,不能把访问令牌、内部文件绝对路径或个人数据塞进 metadata。对外展示时可以把 source_anchor 映射为文章标题、章节名和公开链接。

相关问题

标题路径会不会增加向量检索噪声?

会增加少量输入文本,但通常换来了更清晰的语义边界。可以只把一到两级关键标题放进嵌入文本,同时在 metadata 中保存完整路径,按检索场景做取舍。

为什么不在模型回答后再查出处?

回答后的文本可能已经改写、合并或省略原句,事后再匹配容易撞上相似段落。检索时保留 chunk_id,才能让出处来自同一次召回。

文档更新后怎样避免旧片段混入?

把文档版本或内容哈希纳入 SourceID,更新时重新生成对应片段,并在检索过滤条件中排除已下线版本。稳定 ID 的目标是可追踪,不是永久不变。

把可追溯性当成检索结果的一部分

RAG 的质量不只由相似度分数决定。splitByHeading 把文档结构写入 Chunk,buildContext 再把这些字段送进上下文,回答层才有机会把结论指回真实来源。先把这条数据路径跑通,再讨论重排、混合检索或更复杂的切片策略,排查会简单很多。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
RAG 检索结果为什么要保留来源:从召回片段到答案引用的接口设计RAG 检索结果为什么要保留来源:从召回片段到答案引用的接口设计
上一篇
RAG 检索结果为什么要保留来源:从召回片段到答案引用的接口设计
Go bytes.Reader Seek 为什么会返回负位置:偏移计算与错误处理边界
下一篇
Go bytes.Reader Seek 为什么会返回负位置:偏移计算与错误处理边界
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    442次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    516次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    529次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    474次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    300次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码