Ollama与LangChain结合，Python集成攻略

本文提供详细的Python集成指南，教你如何结合开源大语言模型部署工具Ollama和AI应用构建框架LangChain，在本地快速部署和使用先进的AI模型，例如llama3.1和llava。教程涵盖环境配置、模型下载、核心功能示例（包括ChatPromptTemplate对话、流式输出、工具调用和多模态模型应用），以及进阶用法（如ConversationChain多轮对话、自定义提示模板和RAG问答系统构建）。 通过学习本文，你可以轻松构建强大的本地AI应用，提升AI开发效率。 立即学习，开启你的AI开发之旅！

Ollama 与 LangChain 集成：构建强大的本地 AI 应用

本文档介绍如何结合开源大语言模型部署工具 Ollama 和 AI 应用构建框架 LangChain，在本地环境快速部署和使用先进的 AI 模型。 文档包含核心代码片段和详细解释，完整代码可在 [Jupyter Notebook](此处应插入Jupyter Notebook链接) 中找到。(注意：部分内容具有时效性，请以最新信息为准。)

1. 环境配置

1.1 Conda 环境设置

建议使用 Conda 创建虚拟环境：

conda create -n handlm python=3.10 -y
conda activate handlm
pip install jupyter
python -m ipykernel install --user --name=handlm

重启 Jupyter 并选择 handlm 内核。

(可选) 使用全局环境： 如不使用 Conda，可直接在全局 Python 环境中安装依赖。

1.2 安装依赖包

使用 pip 安装必要的库：

pip install langchain-ollama langchain langchain-community Pillow faiss-cpu

2. 模型下载与初始化

2.1 下载 llama3.1 模型

1. 下载并安装 Ollama (https://ollama.com/download).
2. 查看可用模型 (https://ollama.ai/library).
3. 使用 ollama pull llama3.1 下载 llama3.1 模型。

模型存储路径：

• macOS: ~/.ollama/models/
• Linux/WSL: /usr/share/ollama/.ollama/models
• Windows: C:\Users\Administrator\.ollama\models

3. 核心功能示例

3.1 基于 ChatPromptTemplate 的对话

使用 ChatPromptTemplate 创建可重用的对话模板：

from langchain.prompts import ChatPromptTemplate
from langchain_ollama import ChatOllama

template = """
你是一个乐于助人的AI助手，擅长回答各种问题。
问题：{question}
"""
prompt = ChatPromptTemplate.from_template(template)
model = ChatOllama(model="llama3.1", temperature=0.7)
chain = prompt | model
chain.invoke({"question": "你比 GPT-4 强大吗？"})

3.2 流式输出

使用 model.stream() 实现流式输出，提升用户体验：

model = ChatOllama(model="llama3.1", temperature=0.7)
messages = [("human", "你好呀")]
for chunk in model.stream(messages):
    print(chunk.content, end="", flush=True)

3.3 工具调用

通过 bind_tools 将自定义函数与模型集成：

def simple_calculator(operation: str, x: float, y: float) -> float:
    # ... 计算逻辑 ...
    pass

llm = ChatOllama(model="llama3.1", temperature=0).bind_tools([simple_calculator])
result = llm.invoke("你知道一千万乘以二等于多少吗？")

3.4 多模态模型 (以 llava 为例)

下载多模态模型 (ollama pull llava)，并使用图像和文本输入：

from langchain_ollama import ChatOllama
# ... (图像预处理代码) ...
llm = ChatOllama(model="llava", temperature=0)
# ... (多模态提示函数和链式处理代码) ...

4. 进阶用法

4.1 ConversationChain 用于多轮对话

使用 ConversationChain 管理多轮对话上下文：

from langchain.memory import ConversationBufferMemory
from langchain.chains import ConversationChain

memory = ConversationBufferMemory()
conversation = ConversationChain(llm=model, memory=memory, verbose=True)
# ... (多轮对话代码) ...

4.2 自定义提示模板

创建更复杂的提示模板以满足特定需求：

# ... (自定义提示模板代码) ...

4.3 构建简单的 RAG 问答系统

下载 embedding 模型 (ollama pull nomic-embed-text)，构建 RAG 系统：

# ... (RAG 系统代码，包含文本分割、向量化、检索和问答链构建) ...

5. 总结

本文档展示了如何利用 Ollama 和 LangChain 构建各种 AI 应用。 通过选择合适的模型和组件，您可以构建满足特定需求的 AI 系统。 希望本指南能帮助您开始 AI 开发之旅。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Ollama与LangChain结合，Python集成攻略》文章吧，也可关注golang学习网公众号了解相关技术文章。