HermesAgent对接Ollama方法详解

本文深入解析了Hermes Agent与本地Ollama服务高效对接的完整实践路径，涵盖服务验证、CLI配置、YAML手动编辑、Ollama一键部署及多维度连通性测试五大核心步骤，直击端点未声明、模型未就绪、响应格式不兼容等常见故障根源，为开发者提供开箱即用、稳定可靠的本地大模型代理集成方案——无论你是零配置新手还是深度定制用户，都能从中找到适配版本与场景的精准解法。

如果您已部署Ollama并希望Hermes Agent通过本地API与其联动，但配置后仍无法通信或返回格式错误，则问题通常源于端点地址未显式声明、模型未加载就绪或响应结构不兼容。以下是实现稳定本地API对接的多种可行方法：

一、验证Ollama服务与模型状态

该步骤确保Ollama后台进程正在监听标准HTTP端口，且目标模型已载入内存并可响应推理请求，是所有后续配置生效的前提条件。

1、在终端执行 ollama list，确认目标模型（如 qwen2.5:7b 或 llama3.1:8b）状态列为 loaded。

2、执行 ollama serve 启动服务；若已运行，跳过此步。

3、观察终端输出是否包含 Listening on 127.0.0.1:11434 字样。

4、执行 curl http://localhost:11434，返回非空JSON（如 {"models":[]}）即表示服务可达。

二、CLI交互式配置Custom Endpoint

该方式通过命令行向导直接写入基础URL、模型名与占位密钥，避免YAML语法错误，适用于v0.2.5及以上版本，且无需编辑文件。

1、在终端中运行 hermes model 启动配置流程。

2、当提示选择 LLM Provider 时，输入 custom（不可填 ollama 或 openai）。

3、当提示输入 Base URL 时，填写 http://localhost:11434/v1。

4、当提示输入 Model Name 时，填写已拉取的完整标识，例如 qwen2.5:7b。

5、当提示输入 API Key 时，填入任意非空字符串，如 ollama（Ollama实际忽略该值，但部分Hermes版本强制校验字段存在性）。

三、手动编辑config.yaml启用Ollama兼容模式

该方式支持精确控制字段、缩进与高级选项，适用于批量部署或需启用 ollama_compatible: true 的场景，尤其适配v0.3.0+版本。

1、进入Hermes Agent配置目录，通常为 ~/.hermes/，确认存在 config.yaml 文件；若无则新建。

2、用文本编辑器打开该文件，在 llm: 节点下填入以下内容（注意：缩进必须为两个空格，禁用Tab）：

model: "qwen2.5:7b"
provider: "custom"
base_url: "http://localhost:11434/v1"
api_key: "ollama"
ollama_compatible: true

3、保存文件后执行 hermes restart 加载新配置。

四、使用Ollama内置命令一键部署

该方式由Ollama v0.21+原生集成，自动完成Hermes安装、模型选择、端点配置与网关初始化，全程无需人工干预，适合零配置需求用户。

1、确保已安装 Ollama 0.21 或更高版本，执行 ollama --version 验证。

2、在终端中执行 ollama launch hermes。

3、等待进度条显示 [1/4] Checking Hermes installation；若未安装，自动下载并配置。

4、当出现模型选择界面时，使用方向键选定已拉取的本地模型（如 llama3.1:8b），回车确认。

5、Ollama将自动设置 base_url 为 http://127.0.0.1:11434/v1 并跳过API密钥输入环节。

五、测试本地API连通性与响应格式

该步骤用于验证Hermes是否能成功发起HTTP请求、接收有效响应，并正确解析Ollama返回的message.content字段，排除JSON结构不匹配问题。

1、执行 hermes chat 进入交互式会话。

2、输入测试指令：请以JSON格式返回当前时间，并包含字段"timestamp"。

3、观察输出是否为合法JSON且含 "timestamp" 字段；若返回原始文本或报错，则需检查 ollama_compatible 是否启用。

4、在另一终端执行 curl -X POST http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"hello"}]}'，确认原始API可通。

以上就是《HermesAgent对接Ollama方法详解》的详细内容，更多关于的资料请关注golang学习网公众号！