HermesAgent连接Ollama：配置CustomEndpoint离线运行指南

本文详细介绍了如何让HermesAgent通过CustomEndpoint功能无缝对接本地运行的Ollama服务，实现完全离线、隐私可控的大模型调用——只需正确配置HTTP端点（http://localhost:11434/v1）、指定已加载的本地模型（如llama3:8b）、设置占位API Key，并启用ollama_compatible兼容模式（v0.3.0+推荐），即可绕过云端依赖，享受低延迟、高自主性的AI体验；无论你偏好交互式CLI向导还是精细的YAML手动配置，本文都提供了清晰、可复现的五步实操指南，助你快速打通本地大模型的最后一公里。

如果您已安装Ollama并拉取了本地模型，但HermesAgent仍无法调用，可能是由于默认未启用自定义API端点配置。Ollama默认提供符合OpenAI兼容规范的REST接口（http://localhost:11434/v1），需通过CustomEndpoint显式声明该地址才能完成离线对接。以下是实现该配置的具体步骤：

一、验证Ollama服务状态与模型加载

此步骤确保Ollama后台服务正在监听标准端口，并且目标模型已成功载入内存，这是CustomEndpoint能正常通信的前提。

1、在终端中执行 ollama list，确认目标模型（如 llama3:8b、qwen2:7b）状态列为 “loaded”。

2、执行 ollama serve 启动服务；若已运行，可跳过此步。

3、观察终端输出是否包含 Listening on 127.0.0.1:11434 字样。

4、在浏览器或使用 curl 访问 http://localhost:11434，返回非空JSON（如 {"models":[...]}）即表示服务可达。

二、CLI方式配置CustomEndpoint（推荐）

该方法通过交互式命令向导直接写入配置，避免手动编辑文件出错，适用于所有支持hermes model子命令的版本（v0.2.5+）。

1、执行 hermes model 启动配置向导。

2、当提示选择 LLM Provider 时，输入 custom（而非 ollama 或 openai）。

3、当提示输入 Base URL 时，填写 http://localhost:11434/v1。

4、当提示输入 Model Name 时，填写已拉取的模型标识，例如 llama3:8b。

5、当提示输入 API Key 时，任意非空字符串均可（如 ollama），Ollama实际忽略该值但部分Hermes版本校验其存在性。

三、手动修改config.yaml配置CustomEndpoint

该方式适用于需要批量部署、脚本化配置或CLI不可用的环境，直接编辑YAML文件确保字段精确可控。

1、进入HermesAgent项目根目录，定位或新建 config.yaml 文件。

2、在 llm: 配置节下，完整填入以下字段：

model: "llama3:8b"

base_url: "http://localhost:11434/v1"

api_key: "ollama"

3、确认缩进为两个空格，且无制表符混用，否则YAML解析将失败。

4、保存文件后，执行 hermes restart 使配置生效。

四、启用Ollama响应兼容模式

早期Ollama版本返回的JSON结构与OpenAI标准不一致（如使用 message.content 而非 choices[0].message.content），启用兼容模式可自动适配此类差异。

1、检查当前HermesAgent版本是否支持 ollama_compatible: true 配置项（v0.3.0+ 默认支持）。

2、在 config.yaml 的 llm 节点下，新增一行：ollama_compatible: true。

3、若版本不支持该字段，则需改用中间代理（如 LiteLLM）或升级HermesAgent至最新稳定版。

五、测试CustomEndpoint连通性

该步骤通过实际请求验证CustomEndpoint是否被正确识别并触发Ollama推理，是配置闭环的关键验证环节。

1、启动HermesAgent服务：hermes start。

2、在另一终端执行测试命令：hermes chat "你好，请用一句话介绍你自己"。

3、观察终端输出是否返回模型生成文本，且无 Connection refused 或 Invalid response format 类错误。

4、若首次响应延迟较长，属正常现象——Ollama需加载模型至显存/内存，后续请求将显著提速。

今天关于《HermesAgent连接Ollama：配置CustomEndpoint离线运行指南》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！