OpenClawAI能导入Text Generation WebUI模型吗

想让OpenClawAI直接调用Text-Generation-WebUI中已有的本地大模型？本文为你详解三种实用、可落地的接入方案：无需额外工具的原生OpenAI兼容模式启用、灵活支持多后端的LiteLLM协议转换网关，以及适合高级用户的openclaw.json手动配置直连——无论你是刚入门的本地AI爱好者，还是追求稳定部署的技术实践者，都能快速打通两大开源工具链，真正释放本地模型的推理潜力。

如果您希望将Text Generation WebUI（简称TGI或Text-Generation-WebUI）中已有的模型接入OpenClawAI以扩展其本地推理能力，则需注意二者接口协议与模型加载机制存在差异。OpenClawAI原生兼容OpenAI Completion API格式及Anthropic风格的HTTP服务，而Text-Generation-WebUI默认提供的是基于transformers的REST API（如/v1/completions），需通过适配层或代理配置实现协议对齐。以下是具体操作步骤：

一、启用Text-Generation-WebUI的OpenAI兼容端点

Text-Generation-WebUI自v0.9.4起内置OpenAI兼容模式，启用后可直接被OpenClaw识别为标准OpenAI Provider。该方式无需额外代理工具，是最低侵入性方案。

1、启动Text-Generation-WebUI时添加参数：--api --openai-api --api-port 5000。

2、确认服务运行后，在浏览器访问 http://127.0.0.1:5000/docs，检查是否显示OpenAI-style Swagger文档。

3、在OpenClaw设置界面中新增模型提供商，选择API类型为OpenAI Completion，Base URL填写为http://127.0.0.1:5000/v1，API KEY留空或填任意字符串（如“dummy”）。

4、模型名称字段必须与Text-Generation-WebUI加载的模型标识完全一致，例如加载的是TheBloke/Llama-3.2-3B-Instruct-GGUF，则此处填入Llama-3.2-3B-Instruct-GGUF（不含路径和后缀）。

二、使用LiteLLM作为协议转换网关

当Text-Generation-WebUI未启用OpenAI兼容端点，或需复用多个不同后端（如vLLM + TGI）时，LiteLLM可作为统一路由层，将OpenClaw请求动态转发至对应服务，并自动完成请求/响应结构映射。

1、安装LiteLLM：pip install litellm。

2、启动LiteLLM并指向TGI服务：litellm --model tgi:http://127.0.0.1:8080 --port 4000（假设TGI运行在8080端口）。

3、在OpenClaw中新增模型提供商，API类型选OpenAI Completion，Base URL设为http://127.0.0.1:4000/v1，API KEY任意填写。

4、模型名称字段填写LiteLLM命令中指定的模型别名，即tgi（或自定义别名，如启动时加--model tgi:xxx --alias my-tgi，则填my-tgi）。

三、手动修改openclaw.json配置文件直连

绕过WebUI设置界面，通过编辑底层配置文件可实现更精细控制，适用于高级用户或批量部署场景。此方法支持自定义超时、流式开关、模型别名映射等参数。

1、定位OpenClaw配置文件路径：~/.openclaw/openclaw.json（Linux/macOS）或%USERPROFILE%\.openclaw\openclaw.json（Windows）。

2、在providers数组中添加新对象，结构如下：

{"name": "tgi-local", "type": "openai", "base_url": "http://127.0.0.1:8080/v1", "api_key": "sk-no-key", "model": "llama-3b-instruct"}。

3、在agent.primary字段中将值设为该provider的name，例如："primary": "tgi-local"。

4、保存文件后，在终端执行openclaw restart使配置生效，无需重启整个服务进程。

本篇关于《OpenClawAI能导入Text Generation WebUI模型吗》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！