Ollama本地运行教程：AI模型一键启动指南

Ollama 是一款专为本地高效运行大语言模型设计的轻量级命令行工具，无需 Docker 或复杂环境配置，支持 macOS、Linux 和 Windows（WSL2），用户只需几步即可完成安装、一键拉取 GGUF 格式模型（如 Llama 3、Phi-3、Qwen2）、开启交互式对话或启动标准 REST API 服务，并可通过 Modelfile 灵活定制系统角色、温度参数与上下文行为——真正让前沿 AI 能力触手可及，既适合快速体验，也满足开发集成需求。

如果您希望在本地计算机上快速启动并运行大型语言模型，Ollama 提供了一种轻量级、命令行驱动的方式。以下是使用 Ollama 在本地运行人工智能大模型的具体操作流程：

一、安装 Ollama 运行环境

Ollama 需要先在系统中部署基础运行时，它不依赖 Docker 或复杂虚拟环境，而是通过原生二进制方式运行，适用于 macOS、Linux 和 Windows（WSL2）。安装后即可直接调用命令行接口启动模型。

1、访问 https://ollama.com/download，根据您的操作系统下载对应安装包。

2、双击安装程序完成默认安装；macOS 用户若使用 Homebrew，可执行：brew install ollama。

3、安装完成后，在终端输入 ollama --version，确认输出版本号表示安装成功。

二、拉取并加载大模型

Ollama 自带模型仓库，支持一键拉取主流开源大模型，所有模型以轻量化 GGUF 格式存储，无需手动转换权重或配置推理引擎。

1、在终端中执行：ollama pull llama3，下载 Meta 官方发布的 Llama 3 8B 模型。

2、如需其他模型，可替换为：ollama pull phi3（Microsoft Phi-3）、ollama pull qwen2（通义千问 Qwen2）等。

3、执行 ollama list 查看已下载模型，确认状态为 loaded 或已缓存。

三、启动交互式大模型会话

通过内置的 REPL（读取-求值-打印循环）界面，用户可直接与模型进行实时对话，无需编写任何 Python 脚本或 API 调用代码。

1、在终端中输入：ollama run llama3，Ollama 将自动加载模型并进入交互模式。

2、出现 >>> 提示符后，即可键入任意问题，例如：“解释量子纠缠”。

3、按回车提交，模型将流式输出响应；输入 /bye 可退出当前会话。

四、运行模型服务并接入外部工具

Ollama 可启动本地 HTTP API 服务，使其他应用（如前端页面、Python 脚本、curl 请求）能通过 REST 接口调用模型能力。

1、在新终端窗口中执行：ollama serve，服务默认监听 http://127.0.0.1:11434。

2、另开终端，使用 curl 发送请求：curl http://localhost:11434/api/generate -d '{"model":"llama3","prompt":"你好，请自我介绍"}'。

3、响应体中包含逐 token 流式 JSON 输出，字段 response 即为模型生成文本内容。

五、自定义模型配置与上下文管理

Ollama 支持通过 Modelfile 构建定制化模型，可设定系统提示、温度参数、最大上下文长度等，避免每次运行重复指定。

1、新建文件命名为 Modelfile，写入内容：FROM llama3\nPARAMETER temperature 0.7\nSYSTEM "你是一位严谨的物理学者"。

2、执行：ollama create my-physics-model -f Modelfile，构建专属模型镜像。

3、启动该模型：ollama run my-physics-model，此时所有交互均基于设定的系统角色与参数生效。

本篇关于《Ollama本地运行教程：AI模型一键启动指南》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！