Ollama模型本地部署接入Dify教程

本文提供Ollama模型本地部署并接入Dify平台的详细教程。通过下载运行Ollama，配置其API服务地址（例如：http://localhost:11434或局域网IP地址），并在Dify平台“设置>模型供应商>Ollama”页面填写相关信息，包括模型名称、基础URL、模型类型及上下文长度等参数，即可实现Ollama模型与Dify的集成。文章还针对Docker部署下的连接错误及不同操作系统环境变量设置等常见问题提供了相应的解决方案，帮助用户快速、高效地完成Ollama模型的本地部署和Dify接入。

Dify 支持集成 Ollama 部署的大型语言模型 (LLM) 推理和嵌入能力。

快速集成指南

1. 下载并运行 Ollama: 请参考 Ollama 官方文档进行本地部署和配置。运行 Ollama 并启动 Llama 模型，例如：ollama run llama3.1。成功启动后，Ollama 会在本地 11434 端口启动 API 服务，访问地址为 http://localhost:11434。更多模型信息请访问 https://ollama.ai/library。

2. 在 Dify 中配置 Ollama: 在 Dify 的“设置 > 模型供应商 > Ollama”页面填写以下信息：

   

   • 模型名称: llama3.1 (或您选择的模型名称)
   • 基础 URL: 根据您的部署环境填写可访问的 Ollama 服务地址。
     • Docker 部署: 建议使用局域网 IP 地址 (例如 http://192.168.1.100:11434) 或 Docker 宿主机 IP 地址 (例如 http://172.17.0.1:11434)。 您可以使用 ip addr show (Linux/macOS) 或 ipconfig (Windows) 命令查找您的 IP 地址。
     • 本地源码部署: 使用 http://localhost:11434。
   • 模型类型: 对话 (或 文本嵌入，取决于您使用的模型)
   • 模型上下文长度: 4096 (或模型支持的最大上下文长度)
   • 最大 token 上限: 4096 (或模型支持的最大 token 数量)
   • 是否支持 Vision: 是 (如果模型支持图像理解)

   保存配置后，Dify 将验证连接。

3. 使用 Ollama 模型: 在 Dify 应用的提示词编排页面选择 Ollama 供应商下的 llama3.1 模型，设置参数后即可使用。

常见问题解答 (FAQ)

⚠️ Docker 部署下的连接错误:

如果您使用 Docker 部署 Dify 和 Ollama，可能会遇到连接错误，例如 Connection refused。这是因为 Docker 容器无法访问 Ollama 服务。 解决方法是将 Ollama 服务暴露给网络，并使用正确的 Ollama 服务地址 (例如 Docker 宿主机 IP 地址) 在 Dify 中进行配置。

不同操作系统下的环境变量设置:

• macOS: 使用 launchctl setenv OLLAMA_HOST "0.0.0.0" 设置环境变量，重启 Ollama 应用。 如果无效，尝试使用 host.docker.internal 替换 localhost。
• Linux: 使用 systemctl edit ollama.service 编辑 systemd 服务文件，添加 Environment="OLLAMA_HOST=0.0.0.0"，然后 systemctl daemon-reload 和 systemctl restart ollama。
• Windows: 关闭 Ollama，修改系统环境变量 OLLAMA_HOST，然后重新启动 Ollama。

如何暴露 Ollama 服务:

Ollama 默认绑定到 127.0.0.1:11434。 您可以通过设置 OLLAMA_HOST 环境变量将其绑定到 0.0.0.0，使其在网络上可见。 请注意网络安全，并仅在受信任的网络环境中这样做。

今天带大家了解了的相关知识，希望对你有所帮助；关于科技周边的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~