Golang调用Ollama本地模型教程

本文手把手教你如何用纯 Go 语言直连本地 Ollama 大模型，无需 SDK 或 OpenAI 兼容层，仅靠标准 HTTP 请求即可实现非流式问答与高响应流式对话；文章直击实战痛点——从环境变量配置（OLLAMA_HOST）、模型加载验证、请求体结构设计，到流式 SSE 数据的 data: 前缀剥离、分块解码、flush 控制及高频报错排查（如连接拒绝、JSON 解析失败、空响应、中文乱码），全部给出可立即复用的代码逻辑和避坑指南，让 Golang 开发者真正零依赖、低门槛地把本地大模型能力嵌入自己的应用中。

Go 直接调用本地 Ollama 模型，核心就一条：发 HTTP 请求到 http://localhost:11434/api/chat，不用 SDK、不依赖 OpenAI 兼容层也能跑通。关键在于请求体结构、流式处理逻辑和错误兜底是否到位。

确认 Ollama 服务监听地址和模型已就绪

Ollama 默认只监听 127.0.0.1:11434，跨进程（比如 Go 程序在 Docker 外）或远程调用会失败。必须显式配置为监听所有接口：

• Linux/macOS：启动前设置环境变量 OLLAMA_HOST=0.0.0.0:11434
• Windows：在系统环境变量中添加 OLLAMA_HOST 值为 0.0.0.0:11434
• 运行 ollama list 确认目标模型（如 qwen2:0.5b）状态为 loaded，不是 not loaded
• 手动 curl 测试连通性：curl http://localhost:11434 应返回 Ollama is running

非流式调用：适合简单问答、命令行工具

用 http.Post 发一次请求，等完整响应回来再解析。好处是逻辑直白，但用户得干等模型吐完全部内容。

• Stream 字段必须设为 false（默认是 true，不显式关掉会返回空响应）
• 响应体是 JSON，直接 json.Unmarshal 到 ChatResponse 结构体即可，注意 Done 字段为 true 才表示结束
• 别忽略 resp.StatusCode 检查：404 表示模型名错，400 表示请求体格式非法，500 表示模型崩溃或显存不足
• 示例关键字段：

type ChatRequest struct {
	Model   string    `json:"model"`
	Messages  []Message `json:"messages"`
	Stream  bool      `json:"stream"` // ← 必须 false
}

type ChatResponse struct {
	Message Message `json:"message"`
	Done    bool    `json:"done"`
}

流式调用：SSE 方案需手动处理 event-stream 分块

Ollama 的 /api/chat?stream=true 返回的是标准 SSE 格式，不是裸 JSON 流。Go 的 bufio.Scanner 默认按行切分，但每条数据前有 data: 前缀，直接 json.Unmarshal 会失败。

• 必须先截掉 data: 和可能的空格，再解码；否则 json: cannot unmarshal string into Go value
• 响应头里要设 Content-Type: text/event-stream，否则前端用 EventSource 会静默失败
• 务必调用 flusher.Flush()，否则浏览器收不到分块——这是最常被忽略的卡点
• 不要用 ioutil.ReadAll 读整个 body，它会阻塞直到流关闭，而 Ollama 流可能长时间不结束（比如思考中）

常见报错与绕过方式

实际调试时高频出问题的地方很集中：

• Post "http://localhost:11434/api/chat": dial tcp 127.0.0.1:11434: connect: connection refused → Ollama 没运行，或 OLLAMA_HOST 没生效，检查 ps aux | grep ollama
• invalid character 'd' looking for beginning of value → 把流式响应当非流式解析了，或没去掉 data: 前缀
• 返回空内容但状态码 200 → Stream: true 却用了非流式解码逻辑，或者模型名拼错导致 Ollama 静默返回空事件
• 中文乱码 → Go 默认用 UTF-8，但某些终端或 IDE 显示异常，加 w.Header().Set("Charset", "utf-8") 无实质作用，重点检查前端接收时编码声明

流式响应的分块边界和 data: 剥离逻辑，比看上去更脆弱——多一个空格、少一个换行都可能导致解析中断，建议把这部分抽成独立函数反复验证。

本篇关于《Golang调用Ollama本地模型教程》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于Golang的相关知识，请关注golang学习网公众号！