使用开源模型创建您自己的自定义 LLM 代理 (llama)

golang学习网今天将给大家带来《使用开源模型创建您自己的自定义 LLM 代理 (llama)》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到等等知识点，如果你是正在学习文章或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

在本文中，我们将学习如何创建一个使用在我们的 pc 上本地运行的开源 llm (llama3.1) 的自定义代理。我们也会使用ollama和langchain。

大纲

• 安装ollama
• 拉模型
• 服务模特
• 新建一个文件夹，用代码编辑器打开
• 创建并激活虚拟环境
• 安装langchain langchain-ollama
• 使用python中的开源模型构建自定义代理
• 结论

安装奥拉玛

按照 github readme 中基于您操作系统类型的说明安装 ollama：

https://github.com/ollama/ollama

我使用的是基于linux的pc，所以我将在终端中运行以下命令：

curl -fssl https://ollama.com/install.sh | sh

拉模型

通过以下命令获取可用的llm模型：

ollama pull llama3.1

这将下载模型的默认标记版本。通常，默认值指向最新、最小尺寸参数模型。在这种情况下，它将是 llama3.1:8b 模型。

要下载模型的另一个版本，您可以访问：https://ollama.com/library/llama3.1并选择要安装的版本，然后使用模型及其版本运行ollama pull命令数字。示例：llama pull llama3.1:70b

在 mac 上，模型将下载到 ~/.ollama/models

在linux（或wsl）上，模型将存储在/usr/share/ollama/.ollama/models

服务模式

运行以下命令启动ollama，而不运行桌面应用程序。

ollama serve

所有模型都会自动在 localhost:11434 上服务

新建一个文件夹，用代码编辑器打开

在计算机上创建一个新文件夹，然后使用 vs code 等代码编辑器打开它。

创建并激活虚拟环境

打开终端。使用以下命令创建虚拟环境.venv并激活：

python3 -m venv .venv

source .venv/bin/activate

安装 langchain langchain-ollama

运行以下命令安装langchain和langchain-ollama:

pip install -u langchain langchain-ollama

上面的命令将安装或升级python中的langchain和langchain-ollama包。 -u 标志确保安装这些软件包的最新版本，替换可能已经存在的任何旧版本。

在 python 中使用开源模型构建自定义代理

创建一个python文件例如：main.py并添加以下代码：

from langchain_ollama import chatollama
from langchain.agents import tool
from langchain_core.prompts import chatprompttemplate, messagesplaceholder
from langchain.agents.format_scratchpad.openai_tools import (
    format_to_openai_tool_messages,
)
from langchain.agents import agentexecutor
from langchain.agents.output_parsers.openai_tools import openaitoolsagentoutputparser


llm = chatollama(
            model="llama3.1",
            temperature=0,
            verbose=true
        )

@tool
def get_word_length(word: str) -> int:
    """returns the length of a word."""
    return len(word)


tools = [get_word_length]



prompt = chatprompttemplate.from_messages(
            [
                (
                    "system",
                    "you are very powerful assistant",
                ),
                ("user", "{input}"),
                messagesplaceholder(variable_name="agent_scratchpad"),
            ]
        )

llm_with_tools = llm.bind_tools(tools)

agent = (
    {
        "input": lambda x: x["input"],
        "agent_scratchpad": lambda x: format_to_openai_tool_messages(
            x["intermediate_steps"]
        ),
    }
    | prompt
    | llm_with_tools
    | openaitoolsagentoutputparser()
)

# create an agent executor by passing in the agent and tools
agent_executor = agentexecutor(agent=agent, tools=tools, verbose=true)
result = agent_executor.invoke({"input": "how many letters in the word educa"})

if result:
    print(f"[output] --> {result['output']}")
else:
    print('there are no result..')

上面的代码片段使用chatollama模型（llama3.1）设置了一个langchain代理来处理用户输入并利用计算字长的自定义工具。它为代理定义提示模板，将工具绑定到语言模型，并构建处理输入和格式化中间步骤的代理。最后，它创建一个 agentexecutor 以使用特定输入调用代理。我们传递一个简单的问题来询问“educa 这个词有多少个字母”，然后我们打印输出或指示是否未找到结果。

当我们运行时，我们得到以下结果：

> Entering new AgentExecutor chain...

Invoking: `get_word_length` with `{'word': 'educa'}`


5The word "educa" has 5 letters.

> Finished chain.
[Output] --> The word "educa" has 5 letters.

您看到代理使用模型（llama3.1）正确调用工具来获取单词中的字母数。

结论

感谢您的阅读。

在这里查看 ollama 仓库：https://github.com/ollama/ollama

理论要掌握，实操不能落！以上关于《使用开源模型创建您自己的自定义 LLM 代理 (llama)》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！