LangChain获取源文档的正确方式

哈喽！大家好，很高兴又见面了，我是golang学习网的一名作者，今天由我给大家带来一篇《LangChain 获取源文档的正确方法》，本文主要会讲到等等知识点，希望大家一起学习进步，也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧！

本文详解 LangChain 结合 Chroma 与 OpenAI Embeddings 时无法返回源文档（source documents）的常见原因及完整解决方案，涵盖 PDF 加载、分块、向量化、持久化与检索全流程。

在使用 LangChain 构建 RAG（检索增强生成）应用时，一个高频问题是：尽管检索能返回相关文本片段，但 get_relevant_documents() 却始终返回空列表（len(docs) == 0），或虽有结果却缺失原始 PDF 元信息（如 metadata['source']）。这通常并非模型或 API 问题，而是文档生命周期中元数据丢失或加载链断裂所致。

关键症结在于：DirectoryLoader.load() 返回的 Document 对象必须完整保留 metadata（尤其是 source 字段），且该元数据需在后续分块、嵌入、存储各环节中被显式继承和持久化。若跳过 loader.load() 显式调用，或使用不兼容的分块器（如 RecursiveCharacterTextSplitter 未配置 keep_separator=True 或忽略 metadata 传递），texts 列表中的每个分块 Document 就可能丢失原始路径信息，导致 Chroma 在检索时无法还原来源。

✅ 正确做法如下（完整可运行流程）：

from langchain.document_loaders import DirectoryLoader, PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma

# 1. 显式加载 PDF，确保 metadata['source'] 自动注入（PyPDFLoader 默认支持）
loader = DirectoryLoader('./files/', glob='*.pdf', loader_cls=PyPDFLoader)
documents = loader.load()  # ⚠️ 必须调用 .load()，不可直接传 loader 到 from_documents！

# 2. 分块时保留 metadata（CharacterTextSplitter 默认继承 metadata）
text_splitter = CharacterTextSplitter(
    chunk_size=1000,
    chunk_overlap=200,  # 建议非零重叠，提升语义连贯性
    separator="\n"
)
texts = text_splitter.split_documents(documents)  # ✅ 自动复制 source 等字段

# 3. 创建嵌入并持久化到 Chroma
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")  # 推荐较新模型
persist_directory = "./chroma_db"
docsearch = Chroma.from_documents(
    texts, 
    embeddings, 
    persist_directory=persist_directory
)
docsearch.persist()  # 显式持久化（部分版本需）

# 4. 重新加载并检索（务必复用相同 embedding_function）
docsearch = Chroma(
    persist_directory=persist_directory,
    embedding_function=embeddings
)
retriever = docsearch.as_retriever(search_kwargs={"k": 5})
docs = retriever.get_relevant_documents("你的查询问题")

# 验证源文档是否可用
for i, doc in enumerate(docs):
    print(f"[{i+1}] 来源: {doc.metadata.get('source', 'N/A')}")
    print(f"内容片段: {doc.page_content[:120]}...\n")

? 重要注意事项：

• 不要跳过 loader.load()：DirectoryLoader 是惰性加载器，from_documents() 不会自动触发其加载逻辑；
• 避免使用 split_text() 替代 split_documents()：前者只处理纯字符串，会彻底丢弃 Document 对象及其 metadata；
• Chroma 检索结果的 Document 对象，其 metadata 完全依赖于 from_documents() 输入的 texts 中各 Document 的原始 metadata；
• 若 PDF 文件名含中文或特殊字符，请确保路径编码一致（推荐 UTF-8），否则 source 字段可能出现乱码；
• 调试技巧：在 split_documents() 后打印 texts[0].metadata，确认 source 存在且值合理（如 ./files/report.pdf）。

总结而言，源文档“消失”本质是元数据流中断。严格遵循「加载 → 分块（保留 metadata）→ 向量化 → 存储 → 检索」的完整链路，并在每一步验证 Document.metadata 的完整性，即可稳定获取带来源信息的检索结果。

终于介绍完啦！小伙伴们，这篇关于《LangChain获取源文档的正确方式》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！