当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > RAG 检索结果怎样保留来源片段和页码

RAG 检索结果怎样保留来源片段和页码

来源:17golang原创 2026-11-07 23:23:52 0浏览 收藏

RAG 要保留来源片段和页码,应在解析文档时就给每个片段保存文档身份、版本、页位置和原文区间,检索与重排时把这些字段一起返回,最后由应用把答案中的引用标识映射回原片段。只给模型一段拼接文本,再要求它补页码,无法可靠恢复已经丢失的定位信息。

例如,知识库能回答“设备停机前应记录什么”,却只显示“来源:操作手册.pdf”。同名手册可能有修订版,片段也可能在正文第7页、PDF物理第11页。改进重点是让引用成为有明确身份的数据对象,而不只是答案末尾的一行文件名。下面是建议的数据设计,不依赖某次模型升级。

把来源信息从字符串升级为结构化片段

建议为每份源文档分配稳定的 doc_id,并用 revision 区分具体版本;每个可检索片段有自己的 chunk_id。文件名用于展示,不适合单独承担唯一身份。再保存正文 text、物理页位置、页标签及页内区间,片段才具备回到来源的依据。

字段本文约定用途
doc_id / revision文档身份及版本区分同名文件与修订版
chunk_id当前版本内稳定的片段标识重排和引用时关联记录
page_index从0开始的PDF物理页索引确定打开哪一页
page_label读取到的PDF页标签,可为空显示罗马数字等标签
span页内规范化文本的半开区间[start,end)取回精确片段
text该区间对应的原文片段向用户展示证据
来源身份与定位字段共同组成检索片段的静态结构图
图1:静态结构说明图,片段同时保留来源身份和定位字段,字段名是本文建议的数据约定。

这些字段是本文给出的应用契约,不是任何向量数据库的默认字段。Qdrant 的官方文档说明向量记录可以附带 payload,并可在检索时指定返回哪些字段。因此可以把来源字段与片段一起存进 payload,也可以只保存片段标识、再从文档存储取回正文;关键是记录之间能准确关联。

Qdrant 官方地址:https://qdrant.tech/

先保住页边界,再记录片段区间

PDF最好先按物理页提取,再在页内切分。这样每个片段天然属于一页。不要先把整本PDF拼成一个长字符串、扔掉页边界,再把首片段页码复制给全部切片。确需跨页时,将来源写成多个定位段,每段分别保留页号与区间,不能仅保留一个起始页来冒充完整出处。

页标签也不一定等于纸面印刷页码:PDF可能未定义标签,封面及目录可能另用编号。展示时区分“PDF第11页”和“页面标签7”,未确认的印刷页码不要推算。若用pypdf,可参考其逐页文本提取和页面标签能力,但扫描件仍可能需要OCR。

pypdf 官方文档:https://pypdf.readthedocs.io/

区间单位必须写清楚:这里的span按规范化页文本的Unicode字符位置计数,不按UTF-8字节,也不是PDF坐标。去页眉、空白合并、断行修复后,应保存所用的规范化页文本版本,再计算区间。以后修改清洗规则,旧区间不能继续套在新文本上。

需要在PDF画面高亮时,还应保留解析器或OCR提供的词块坐标。单有字符串区间通常不足以重建页面矩形;不要把文本偏移当成坐标使用。

重排以后仍用片段身份绑定引用

检索结果应返回一个完整记录,至少包含chunk_id、text及来源元数据。重排只改变候选次序,不应该拆散正文与元数据。若重排器只返回原始候选的位置或标识,就用它关联原记录;不要拿重排后的第一段正文配上旧列表第一项的页码。

答案引用标识和证据表中片段记录的静态映射图
图2:静态关系说明图,答案只携带引用标识,证据表负责把标识映射到原片段及其来源定位。

构造当前回答的上下文时,可建立一张临时证据表:C1对应某个chunk_id,C2对应另一个chunk_id。让答案引用C1、C2,再由应用按照证据表显示文档名、页位置及摘录。短标识只在本次回答内有效,不能把所有请求的C1都写成一个全局来源。

模型不应自行生成文件URL、页码或检索记录中没有的片段标识。应用应只解析证据表内的标识,未知标识显示为缺失引用并触发降级处理。这是产品实现的行为约定;引用存在也不自动证明该句被原文支持,文本蕴含关系仍需单独处理。

若上下文压缩器改写了原文,保留改写摘要与原片段的映射,不要把摘要伪装成逐字引文。展示证据时取回原片段,并明确区分“原文摘录”和“模型概括”。

旧索引怎样补齐来源信息

先看旧记录是否仍能指向具体源文档版本。如果只丢了检索响应字段,而索引里保留着来源元数据,补回查询的字段选择与接口传递即可;正文向量不一定需要重新计算。Qdrant检索接口的payload返回选项正是这类接口配置的一部分。

如果入库时已经丢掉页边界、原片段及版本身份,就需要重新解析来源并建立新记录。旧chunk_id若已经用于历史回答,应保留旧版本映射,不要悄悄把同一标识换绑到新文件。可以给新版本建立独立索引或记录集,待业务切换后再按保留策略处理旧版本。

跨文档去重时也不要只剩一份正文、一条随机来源。相同句子可能出现在不同文档和页面,去重记录应保留多个来源定位,引用展示再根据本次检索语境选择或并列列出。

用一份小样例确认引用约定

可用一份带封面、正文页标签及跨页段落的小文档,在开发环境逐段对照解析记录、检索返回与引用展示。比如约定PDF第11页的page_index为10,页面标签为7,就应同时保存10与字符串7,不能在每个组件里重复加1。这里是样例约定,不是实际运行输出。

重点观察:片段截取是否对应保存的页文本,重排后chunk_id是否仍配对,旧版回答能否找到旧文件,以及缺页标签时是否明确展示物理页。若来源不足,允许回答“当前片段没有可用页码”,比生成一个看似完整的数字更可靠。

网页没有页码怎么办?保存页面URL、标题、抓取版本和段落锚点或文本区间,不要人为制造PDF页码。

重叠切片会重复引用吗?会出现重合证据。可以在同一文档版本和同一页内合并重叠区间,但必须保留实际支持答案的文本范围,不能只按文件名删除其他页的证据。

有页码就能证明答案正确吗?不能。页码解决定位,原片段解决回看;答案是否得到片段支持是另一项判断。

相关一手资料:Qdrant payload、Qdrant 检索返回字段、pypdf 文本提取说明。来源身份、区间与引用表的组织方式为本文建议的工程设计。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Accelerate 怎样让多个进程分别绑定到不同 GPUAccelerate 怎样让多个进程分别绑定到不同 GPU
上一篇
Accelerate 怎样让多个进程分别绑定到不同 GPU
vLLM 怎样限制批处理显存上限
下一篇
vLLM 怎样限制批处理显存上限
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    932次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    937次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1046次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1016次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    844次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码