LangChain.js追踪OpenAIToken与费用教程

还在为LangChain.js追踪OpenAI Token与成本发愁？本文针对LangChain.js用户在使用OpenAI模型时，如何有效追踪Token使用量和成本的问题，提供了一套详细的解决方案。不同于Python版本，LangChain.js没有直接的`get_openai_callback()` API。本文将深入讲解如何通过配置LLM实例的`callbacks`属性，并巧妙运用`handleLLMEnd`回调函数，实时捕获并累计每次模型运行的Token消耗数据。通过本文提供的代码示例和注意事项，开发者可以轻松掌握Token追踪技巧，有效管理和优化LLM应用的成本，提升应用性能。本文重点介绍了模型版本选择、`llmOutput`的可用性、链式调用中的应用，以及成本计算方法，助您玩转LangChain.js，实现精细化运营。

本文旨在解决LangChain.js用户在追踪OpenAI模型Token使用量和成本时遇到的挑战。不同于Python版本提供的`get_openai_callback()`，LangChain.js框架中没有直接对应的API。我们将详细介绍如何通过配置LLM实例的`callbacks`属性，利用`handleLLMEnd`回调函数来实时捕获并累计每次模型运行的Token消耗数据，并提供代码示例及注意事项，帮助开发者有效管理和优化LLM应用成本。

在开发基于大型语言模型（LLM）的应用时，尤其是在使用OpenAI等服务时，精确追踪Token的使用量和相应的成本是至关重要的。这不仅有助于成本控制，还能为模型性能优化提供数据支持。LangChain作为一个强大的LLM应用开发框架，在Python版本中提供了便捷的get_openai_callback()机制来处理这一需求。然而，对于LangChain.js的开发者而言，寻找一个等效且有效的Token追踪方案却是一个常见的困扰。

LangChain.js中Token追踪的挑战

许多从LangChain Python迁移到LangChain.js的开发者会发现，Python版本中方便的get_openai_callback()函数在JavaScript框架中并不存在。尽管尝试通过一些非官方或由聊天机器人生成的代码（例如尝试调用chain.getOpenAICallback()）来解决，但这些方法往往无效，因为相关函数在LangChain.js中并不存在。这使得开发者难以直接获取每次LLM调用后的Token消耗数据。

解决方案：利用handleLLMEnd回调函数

LangChain.js提供了一个灵活的回调系统，允许开发者在LLM生命周期的不同阶段注入自定义逻辑。解决Token追踪问题的关键在于利用handleLLMEnd回调函数，它会在每次LLM调用结束时被触发。通过将此回调函数配置到LLM实例中，我们可以在模型完成响应后，从回调参数中提取Token使用量信息。

核心实现步骤

1. 导入必要的模块：首先，需要从langchain/chat_models/openai中导入ChatOpenAI类。
2. 定义Token计数器：声明全局或模块作用域的变量，用于累积不同类型的Token（例如，totalCompletionTokens、totalPromptTokens、totalExecutionTokens）。
3. 配置ChatOpenAI实例：在初始化ChatOpenAI实例时，通过callbacks属性传入一个包含自定义回调对象的数组。
4. 实现handleLLMEnd回调：在回调对象中，定义handleLLMEnd方法。此方法接收output、runId等参数。output对象中包含了LLM调用的结果和重要的元数据，包括llmOutput?.tokenUsage，其中包含了completionTokens（完成Token）、promptTokens（提示Token）和totalTokens（总Token）。
5. 累积Token数据：在handleLLMEnd函数内部，提取completionTokens、promptTokens和totalTokens，并将其累加到预先定义的计数器中。

示例代码

以下是实现Token追踪的示例代码：

import { ChatOpenAI } from 'langchain/chat_models/openai';
import { BaseMessage } from 'langchain/schema';

// 定义用于累积Token使用量的变量
let totalCompletionTokens = 0; // 模型生成的Token数量
let totalPromptTokens = 0;    // 用户输入的提示Token数量
let totalExecutionTokens = 0; // 总Token数量 (提示Token + 完成Token)

// 初始化ChatOpenAI实例，并配置回调函数
const llm = new ChatOpenAI({
    // 配置callbacks属性，传入一个回调函数数组
    callbacks: [
      {
        // handleLLMEnd 在每次LLM调用结束时触发
        handleLLMEnd: (output, runId, parentRunId?, tags?) => {
          // 从 output.llmOutput?.tokenUsage 中获取Token使用详情
          const { completionTokens, promptTokens, totalTokens } = output.llmOutput?.tokenUsage || {};

          // 累加Token数量，使用 ?? 0 确保在值为 undefined 时默认为 0
          totalCompletionTokens += completionTokens ?? 0;
          totalPromptTokens += promptTokens ?? 0;
          totalExecutionTokens += totalTokens ?? 0;

          console.log(`--- LLM Run ${runId} Ended ---`);
          console.log(`Prompt Tokens: ${promptTokens ?? 0}`);
          console.log(`Completion Tokens: ${completionTokens ?? 0}`);
          console.log(`Total Tokens for this run: ${totalTokens ?? 0}`);
          console.log(`Current Accumulated Total Tokens: ${totalExecutionTokens}`);
        },
      },
    ],
    // 指定模型名称，注意某些模型版本可能对Token统计有特定要求
    modelName: 'gpt-3.5-turbo-0613',
    // 其他配置，例如温度等
    temperature: 0.7,
});

// 示例：执行一次LLM调用
async function runLLMExample() {
    console.log("Starting LLM call...");
    const messages: BaseMessage[] = [
        { role: "user", content: "请用一句话描述什么是人工智能？" }
    ];
    const result = await llm.call(messages);
    console.log("LLM Response:", result.content);

    // 可以在此处或后续需要时打印累积的Token数量
    console.log("\n--- Overall Token Usage ---");
    console.log(`Total Prompt Tokens: ${totalPromptTokens}`);
    console.log(`Total Completion Tokens: ${totalCompletionTokens}`);
    console.log(`Total Execution Tokens: ${totalExecutionTokens}`);
}

// 调用示例函数
runLLMExample().catch(console.error);

// 示例：在链中使用LLM
// 如果你使用的是ConversationalRetrievalQAChain等链，
// 只要该链内部使用了上面配置的llm实例，
// 同样会自动触发handleLLMEnd回调并累积Token。
/*
import { ConversationalRetrievalQAChain } from "langchain/chains";
import { BufferMemory } from "langchain/memory";
import { OpenAIEmbeddings } from "langchain/embeddings/openai";
import { MemoryVectorStore } from "langchain/vectorstores/memory";

async function runChainExample() {
    const vectorStore = await MemoryVectorStore.fromTexts(
        ["LangChain 是一个用于开发由语言模型驱动的应用程序的框架。", "它简化了与大型语言模型的交互。"],
        [{ id: 1 }, { id: 2 }],
        new OpenAIEmbeddings()
    );

    const chain = ConversationalRetrievalQAChain.fromLLM(
        llm, // 使用上面配置了回调的llm实例
        vectorStore.asRetriever(),
        {
            memory: new BufferMemory({
                memoryKey: "chat_history", // 必须与链的 memoryKey 匹配
                inputKey: "question",
                outputKey: "text",
                returnMessages: true,
            }),
            returnSourceDocuments: true,
        }
    );

    console.log("\nStarting Chain call...");
    const res = await chain.call({
        question: "什么是LangChain?",
        chat_history: []
    });
    console.log("Chain Response:", res.text);

    console.log("\n--- Overall Token Usage After Chain ---");
    console.log(`Total Prompt Tokens: ${totalPromptTokens}`);
    console.log(`Total Completion Tokens: ${totalCompletionTokens}`);
    console.log(`Total Execution Tokens: ${totalExecutionTokens}`);
}

// runChainExample().catch(console.error);
*/

注意事项与成本计算

1. 模型版本与类型：根据原始问题和答案，特别提到将模型设置为'gpt-3.5-turbo-0613'时，Token统计功能在ChatOpenAI中表现良好。这可能意味着某些旧版本模型或非ChatOpenAI类的LLM实例在Token统计方面可能存在差异或限制。建议开发者在使用时，根据实际情况测试所选模型和LLM类的Token报告行为。
2. llmOutput的可用性：output.llmOutput对象可能不总是存在或包含tokenUsage属性。在代码中，使用可选链操作符（?.）和空值合并运算符（??）来安全地访问这些属性，并在它们缺失时提供默认值（如0），以避免运行时错误。
3. 链（Chain）中的应用：当您将这个配置了回调函数的llm实例传递给LangChain中的各种链（如ConversationalRetrievalQAChain）时，只要链内部调用了该llm实例，handleLLMEnd回调就会自动触发，从而实现对整个链运行过程中LLM调用的Token追踪。
4. 成本计算：获取到Token使用量后，计算实际成本相对简单。您需要查阅OpenAI的官方定价页面，获取您所使用模型的每千Token价格。例如，如果gpt-3.5-turbo的提示Token价格为$0.0015/1K tokens，完成Token价格为$0.002/1K tokens，那么： 总成本 = (totalPromptTokens / 1000) * 提示Token价格 + (totalCompletionTokens / 1000) * 完成Token价格 请注意，不同模型和版本（如gpt-4系列）的定价策略可能不同，务必参考最新官方文档。
5. 异步操作与并发：如果您的应用涉及多个并发的LLM调用，并且所有调用都共享同一个llm实例，那么全局的totalCompletionTokens等变量将会累积所有调用的Token。如果需要按用户会话或特定任务进行隔离的Token追踪，您可能需要将这些计数器封装在更细粒度的作用域内，例如每个请求或每个用户会话创建一个新的llm实例或一个专门的Token统计对象。

总结

尽管LangChain.js没有像Python版本那样直接的get_openai_callback()函数，但通过利用其灵活的callbacks机制和handleLLMEnd回调，我们依然可以有效地追踪OpenAI模型的Token使用量。这种方法不仅提供了精确的Token数据，也为开发者进行成本分析和性能优化奠定了基础。理解并正确应用这一技术，将帮助您更好地管理和维护基于LangChain.js的LLM应用。

理论要掌握，实操不能落！以上关于《LangChain.js追踪OpenAIToken与费用教程》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！