Langchain集成DocumentDB向量存储教程

在使用Langchain开发大型语言模型（LLMs）应用时，向量数据库是存储和检索非结构化数据的关键。本文针对开发者在使用Langchain集成Amazon DocumentDB向量存储时遇到的问题，提供了详细的解决方案。DocumentDB虽然与MongoDB兼容，但其向量搜索API与MongoDB Atlas存在差异，直接复用MongoDB Atlas集成会导致错误。本文将深入探讨Langchain针对DocumentDB的专用集成方案，通过示例代码指导用户正确配置和使用DocumentDBVectorSearch模块，有效利用DocumentDB的向量搜索能力，构建高效的LLM应用。文章涵盖了环境配置、连接建立、文档上传以及向量相似度搜索等关键步骤，助您避免常见陷阱，成功集成DocumentDB。

本文旨在解决在Langchain中使用Amazon DocumentDB作为向量存储时遇到的常见问题。尽管DocumentDB与MongoDB兼容，但其向量搜索API有所不同，导致直接使用MongoDB Atlas集成会失败。文章将详细介绍Langchain针对DocumentDB提供的专用集成方案，并提供示例代码，指导用户正确配置和使用DocumentDB作为高效的向量存储。

随着大型语言模型（LLMs）和生成式AI应用的兴起，向量数据库已成为存储和检索非结构化数据（如文本嵌入）的关键组件。Langchain作为一个强大的LLM应用开发框架，提供了与多种向量存储的集成能力。Amazon DocumentDB，作为一款与MongoDB兼容的文档数据库服务，近期也推出了向量搜索功能，这为开发者提供了更多选择。然而，在使用Langchain集成DocumentDB作为向量存储时，开发者可能会遇到一些特定的挑战。

理解Amazon DocumentDB与MongoDB的向量搜索差异

许多开发者在尝试将Amazon DocumentDB与Langchain集成时，可能会自然而然地想到复用Langchain中针对MongoDB Atlas的向量存储集成（例如MongoDBAtlasVectorSearch）。这主要是因为DocumentDB宣称与MongoDB兼容。然而，实际操作中，这种尝试往往会导致错误，例如ValueError: 'Database' object is not callable。

问题的核心在于，尽管Amazon DocumentDB在核心数据模型和API上与MongoDB高度兼容，但其向量搜索功能的底层实现和查询API与MongoDB Atlas的向量搜索存在显著差异。这意味着，为MongoDB Atlas设计的Langchain集成模块并不能完全适用于DocumentDB的向量搜索功能。试图强制使用会导致API调用不匹配，进而引发运行时错误。

Langchain对DocumentDB的专用集成

为了解决这一兼容性问题，Langchain已经推出了针对Amazon DocumentDB的专用向量存储集成。这一集成模块充分考虑了DocumentDB向量搜索API的特点，为开发者提供了原生且高效的连接与操作方式。通过使用这个专用的集成，开发者可以避免上述的兼容性问题，并充分利用DocumentDB的向量搜索能力。

如何在Langchain中正确使用DocumentDB作为向量存储

以下是使用Langchain的DocumentDBVectorSearch模块集成Amazon DocumentDB的详细步骤和示例代码。

1. 前置条件

在开始之前，请确保您已满足以下条件：

• 一个已启用向量搜索功能的Amazon DocumentDB集群。
• Python环境，并安装了必要的库：langchain-community、pymongo、boto3（如果使用Bedrock embeddings）以及您的嵌入模型库。
• 已配置AWS凭证，以便访问DocumentDB和Bedrock服务。

2. 安装必要的库

pip install langchain-community pymongo boto3

3. 导入模块并建立连接

首先，您需要从langchain_community.vectorstores.docdb导入DocumentDBVectorSearch类，并设置DocumentDB的连接参数。连接字符串通常包含用户名、密码、集群地址以及认证源。

import os
from pymongo import MongoClient
from langchain_community.vectorstores.docdb import DocumentDBVectorSearch
from langchain_community.embeddings import BedrockEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain_core.documents import Document

# DocumentDB 连接信息
# 推荐使用环境变量或安全配置管理这些敏感信息
DOCDB_CONNECTION_STRING = os.environ.get("DOCDB_CONNECTION_STRING")
DOCDB_DB_NAME = "your_database_name"
DOCDB_COLLECTION_NAME = "your_collection_name"
DOCDB_INDEX_NAME = "vector_index" # 确保在DocumentDB中已创建此向量索引

if not DOCDB_CONNECTION_STRING:
    raise ValueError("DOCDB_CONNECTION_STRING 环境变量未设置。")

# 初始化MongoDB客户端
client = MongoClient(DOCDB_CONNECTION_STRING)
db = client[DOCDB_DB_NAME]
collection = db[DOCDB_COLLECTION_NAME]

# 初始化嵌入模型
# 这里以Amazon Bedrock Embeddings为例
bedrock_embeddings = BedrockEmbeddings(
    model_id="amazon.titan-embed-text-v1",
    region_name="us-east-1" # 根据您的AWS区域调整
)

注意事项：

• DOCDB_CONNECTION_STRING应包含完整的连接信息，包括认证参数。
• DOCDB_INDEX_NAME是您在DocumentDB中为向量搜索功能创建的索引名称。请务必确保该索引已存在并配置正确。

4. 准备文档并生成嵌入

接下来，您需要准备要存储的文本数据，并使用选定的嵌入模型将其转换为向量。

# 示例文档
raw_documents = [
    "Langchain是一个用于开发LLM应用的框架。",
    "Amazon DocumentDB提供了MongoDB兼容的数据库服务，现在支持向量搜索。",
    "向量搜索是检索非结构化数据的重要技术。",
    "Bedrock Embeddings是Amazon提供的文本嵌入服务。"
]

# 文档分割器（如果需要处理长文档）
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = []
for i, text in enumerate(raw_documents):
    # 将原始文本包装成Langchain的Document对象
    # 也可以使用text_splitter.create_documents([text])来处理更长的文本
    docs.append(Document(page_content=text, metadata={"source": f"doc_{i}"}))

# 如果文档是字符串列表，也可以直接传入
# docs = text_splitter.create_documents(raw_documents)

5. 将文档上传至DocumentDB

使用DocumentDBVectorSearch.from_documents方法可以将文档及其嵌入直接上传到DocumentDB。这个方法会自动处理嵌入的生成和文档的存储。

print("开始上传文档到DocumentDB...")
vector_store = DocumentDBVectorSearch.from_documents(
    documents=docs,
    embedding=bedrock_embeddings,
    collection=collection, # 传入pymongo的collection对象
    index_name=DOCDB_INDEX_NAME,
)
print("文档上传成功！")

6. 执行向量相似度搜索

一旦文档被存储，您就可以使用similarity_search或as_retriever方法进行向量相似度搜索。

# 执行相似度搜索
query = "什么是Langchain和向量搜索？"
print(f"\n执行相似度搜索，查询: '{query}'")
results = vector_store.similarity_search(query, k=2)

print("\n搜索结果:")
for i, doc in enumerate(results):
    print(f"--- 结果 {i+1} ---")
    print(f"内容: {doc.page_content}")
    print(f"元数据: {doc.metadata}")

# 也可以将其用作检索器
retriever = vector_store.as_retriever(search_kwargs={"k": 1})
retrieved_docs = retriever.invoke(query)
print(f"\n使用检索器获取结果 (k=1):")
for i, doc in enumerate(retrieved_docs):
    print(f"--- 检索结果 {i+1} ---")
    print(f"内容: {doc.page_content}")
    print(f"元数据: {doc.metadata}")

总结与注意事项

• 专用集成是关键： 始终使用Langchain为Amazon DocumentDB提供的专用向量存储集成（DocumentDBVectorSearch），而不是尝试复用MongoDB Atlas的集成。
• 向量索引： 确保您的DocumentDB集群已启用向量搜索功能，并且您已在相应的集合上创建了向量索引。index_name参数必须与您在DocumentDB中创建的索引名称一致。
• 连接字符串： 妥善管理您的DocumentDB连接字符串和凭证，避免硬编码。
• 嵌入模型： Langchain的DocumentDB集成支持多种嵌入模型，您可以根据需求选择，例如Bedrock Embeddings、OpenAI Embeddings等。
• 性能优化： 对于大规模数据集，考虑DocumentDB集群的扩展性、索引策略以及嵌入模型的选择，以优化搜索性能。

通过遵循本教程，开发者可以有效避免在Langchain中集成Amazon DocumentDB作为向量存储时可能遇到的常见陷阱，并成功构建基于DocumentDB向量搜索能力的LLM应用。

到这里，我们也就讲完了《Langchain集成DocumentDB向量存储教程》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！