Langchain CSVLoader 默认提取哪些列？内容解析揭秘

Langchain 的 CSVLoader 并不会默认选择某单一列作为向量化内容，而是将所有未被指定为 `metadata_columns` 的列，按原始顺序以“键: 值”格式换行拼接，生成最终送入嵌入模型的 `page_content`——这才是真正被向量化、切分和检索的核心文本；而 `metadata_columns` 中的字段仅作为元数据保留，完全不参与向量化流程，这一关键机制常被忽视，导致检索效果不佳时误判模型或向量库问题，实则根源在于文档内容构造逻辑本身。

Langchain 的 CSVLoader 默认将除 metadata_columns 外的所有列拼接为文本作为 Document 的 page_content，这才是实际被嵌入模型向量化的部分；metadata_columns 仅保留在元数据中，不参与向量化。

Langchain 的 CSVLoader 默认将除 `metadata_columns` 外的所有列拼接为文本作为 Document 的 `page_content`，这才是实际被嵌入模型向量化的部分；`metadata_columns` 仅保留在元数据中，不参与向量化。

Langchain 的 CSVLoader 是一个便捷的结构化数据加载器，但其向量化行为常被误解——尤其当检索效果不佳时，开发者容易误判是 Embedding 或向量库（如 Pinecone）的问题，而实际根源往往在于文档内容构造逻辑本身。

关键事实如下：
✅ CSVLoader 不会自动选择某一列（如 col1）作为默认向量化字段；
✅ 它会将所有非 metadata_columns 的列，按原始 CSV 行顺序拼接成一段结构化文本，赋值给 Document.page_content；
✅ 该 page_content 才是后续 text_splitter 切分、Embedding 模型编码、最终写入向量库的唯一内容源；
❌ metadata_columns 中指定的列（如 'col2', 'col3' 等）完全不会出现在 page_content 中，仅以键值对形式存于 doc.metadata，不参与任何向量化流程。

例如，若 CSV 文件含列 ['col1', 'col2', 'col3', 'col4', 'col5']，且你设置：

loader = CSVLoader(file_path=file, metadata_columns=['col2', 'col3', 'col4', 'col5'])

则每一行生成的 Document.page_content 将形如：

col1: value_of_col1

（因为 col2–col5 全被排除在拼接逻辑之外，仅剩 col1）

但如果 CSV 实际列名为 ['id', 'title', 'content', 'author', 'date']，而你错误地将 ['title', 'author'] 设为 metadata_columns，却期望 content 列被向量化——此时 page_content 将是：

id: 123
content: 这是一篇关于机器学习的深度技术文章...
date: 2024-05-20

即：所有非元数据列都会被保留并拼接，而非仅首列。

? 验证方法（强烈推荐）：
在加载后立即检查前几条文档内容，确认实际向量化的文本是否符合预期：

loader = CSVLoader(file_path="data.csv", metadata_columns=['col2', 'col3'])
docs = loader.load()

# 查看第一条文档的原始内容与元数据
print("Page content (vectorized):")
print(repr(docs[0].page_content))  # ← 这才是被嵌入的文本
print("\nMetadata (NOT vectorized):")
print(docs[0].metadata)

⚠️ 注意事项：

• 若 CSV 包含大量空值或非文本列（如 ID、时间戳），拼接后可能引入噪声，建议预处理或显式筛选有效文本列；
• 如需仅向量化特定列（如只用 'content' 列），应自定义 Loader 或使用 csv.DictReader + 手动构建 Document，而非依赖 metadata_columns 的“排除法”；
• RecursiveCharacterTextSplitter 对结构化拼接文本（如 "key: value"）切分效果有限，可考虑先清洗、再按语义段落拆分，或改用 HTMLHeaderTextSplitter 等更适配的切分器。

总结：Langchain CSVLoader 的向量化对象始终是 Document.page_content，而它的生成逻辑明确且透明——排除 metadata_columns 后，将剩余所有列以 "{key}: {value}" 格式换行拼接。排查检索效果差的第一步，永远是 print(docs[0].page_content)，而非调参或换模型。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~