Golang调用TextGenWebUIAPI教程

最近发现不少小伙伴都对科技周边很感兴趣，所以今天继续给大家介绍科技周边相关的知识，本文《Golang对接TextGen WebUI API教程》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~

要使用Golang对接TextGen WebUI本地大语言模型并实现API化，需按照以下步骤操作：1. 确保已安装Golang环境并部署好TextGen WebUI；2. 启动TextGen WebUI的API模式（使用--api参数）；3. 在Go代码中构建包含prompt和生成参数的JSON请求体；4. 使用net/http或第三方库发送POST请求至API端点；5. 解析返回的JSON响应并提取生成文本。此外，可通过连接池、并发控制、流式响应等手段优化性能，并通过检查HTTP状态码、设置超时、记录日志等方式增强错误处理能力。

Golang对接TextGen WebUI本地大语言模型API化，简单来说，就是用Go语言写代码，让你的程序能调用本地部署的大语言模型，就像使用一个在线API一样方便。

解决方案

1. 环境准备：

   
   • 确保已经安装了Golang环境。
   • 已经成功部署了TextGen WebUI，并且模型可以正常运行。 TextGen WebUI官方文档：https://github.com/oobabooga/text-generation-webui
   • TextGen WebUI 开启 API 模式 ( --api 参数)， 例如：python server.py --api。

2. 安装必要的Go包：

   我们需要使用net/http包来发送HTTP请求，以及encoding/json包来处理JSON数据。 通常情况下这两个包是Go自带的，不需要额外安装。 如果需要更强大的HTTP客户端，可以考虑github.com/go-resty/resty/v2。

   

3. 构建请求体：

   TextGen WebUI的API通常接受JSON格式的请求。你需要构建一个包含你的提示语（prompt）和其他参数的JSON对象。例如：

   {
     "prompt": "请用三句话介绍Golang。",
     "max_new_tokens": 200,
     "do_sample": true,
     "temperature": 0.7,
     "top_p": 0.9
   }

   这些参数控制了生成文本的行为。max_new_tokens限制了生成文本的最大长度，temperature和top_p影响生成文本的随机性。

4. 发送HTTP请求：

   使用net/http包创建一个HTTP客户端，并发送POST请求到TextGen WebUI的API端点（通常是http://127.0.0.1:5000/api/v1/generate）。设置Content-Type为application/json，并将构建好的JSON数据作为请求体发送。

5. 处理响应：

   接收到API的响应后，你需要解析JSON数据，提取生成的文本。通常，API会返回一个包含results字段的JSON对象，其中results是一个包含生成文本的数组。

   {
     "results": [
       {
         "text": "Golang 是一种由 Google 开发的开源编程语言。它以其简洁的语法、高效的性能和强大的并发支持而闻名。Golang 非常适合构建网络服务、云计算和分布式系统。"
       }
     ]
   }

6. 完整代码示例：

   package main
   
   import (
       "bytes"
       "encoding/json"
       "fmt"
       "io/ioutil"
       "net/http"
       "log"
   )
   
   type RequestBody struct {
       Prompt      string  `json:"prompt"`
       MaxNewTokens int     `json:"max_new_tokens"`
       DoSample     bool    `json:"do_sample"`
       Temperature  float64 `json:"temperature"`
       TopP         float64 `json:"top_p"`
   }
   
   type ResponseBody struct {
       Results []struct {
           Text string `json:"text"`
       } `json:"results"`
   }
   
   func main() {
       // 构建请求体
       requestBody := RequestBody{
           Prompt:      "请用三句话介绍Golang。",
           MaxNewTokens: 200,
           DoSample:     true,
           Temperature:  0.7,
           TopP:         0.9,
       }
       requestBodyJson, err := json.Marshal(requestBody)
       if err != nil {
           log.Fatalf("JSON 序列化错误: %v", err)
       }
   
       // 发送HTTP请求
       resp, err := http.Post("http://127.0.0.1:5000/api/v1/generate", "application/json", bytes.NewBuffer(requestBodyJson))
       if err != nil {
           log.Fatalf("HTTP 请求错误: %v", err)
       }
       defer resp.Body.Close()
   
       // 读取响应
       body, err := ioutil.ReadAll(resp.Body)
       if err != nil {
           log.Fatalf("读取响应错误: %v", err)
       }
   
       // 解析JSON响应
       var responseBody ResponseBody
       err = json.Unmarshal(body, &responseBody)
       if err != nil {
           log.Fatalf("JSON 反序列化错误: %v", err)
       }
   
       // 提取生成的文本
       if len(responseBody.Results) > 0 {
           fmt.Println(responseBody.Results[0].Text)
       } else {
           fmt.Println("未生成任何文本。")
       }
   }

   这个例子展示了如何用Go语言向TextGen WebUI发送请求并获取生成的文本。请注意，你需要根据你的TextGen WebUI的配置调整API端点和请求参数。 同时，错误处理部分可以更加完善，例如加入重试机制。

如何优化Golang对接TextGen WebUI的性能？

• 连接池： net/http包默认会为每个请求创建一个新的TCP连接。 在高并发场景下，频繁创建和关闭连接会降低性能。 可以使用http.Client的Transport字段配置连接池，例如：

  client := &http.Client{
      Transport: &http.Transport{
          MaxIdleConns:        100,
          MaxIdleConnsPerHost: 100,
          IdleConnTimeout:     90 * time.Second,
      },
  }

  这样可以复用已经建立的TCP连接，减少连接建立和关闭的开销。

• 并发请求： 如果需要同时处理多个请求，可以使用goroutine和channel来实现并发。 例如，可以创建一个worker pool，将请求分发给worker goroutine处理。

• 流式响应： TextGen WebUI支持流式响应，可以一边生成文本一边返回，而不是等待所有文本生成完毕才返回。 这可以显著降低延迟。 需要在请求头中设置"Accept": "text/event-stream"，并使用bufio.NewReader逐行读取响应。 注意处理SSE (Server-Sent Events) 格式。

• Gzip压缩： 启用Gzip压缩可以减少网络传输的数据量，提高传输速度。 可以在请求头中设置"Accept-Encoding": "gzip"，并在服务器端启用Gzip压缩。

• 缓存： 对于相同的prompt，可以缓存生成的文本，避免重复计算。 可以使用内存缓存或Redis等外部缓存。

• GPU优化： 确保TextGen WebUI充分利用GPU资源。 检查CUDA Toolkit 和 cuDNN 是否正确安装和配置。 适当调整 TextGen WebUI 的启动参数，例如 --threads 和 --n_batch。

TextGen WebUI API 接口有哪些常用参数？

• prompt (string, required): 要生成文本的提示语。
• max_new_tokens (int, optional, default: 250): 生成文本的最大token数。
• temperature (float, optional, default: 1.0): 控制生成文本的随机性。 值越高，文本越随机。
• top_p (float, optional, default: 1.0): 控制生成文本的多样性。 值越高，文本越多样。
• top_k (int, optional, default: 0): 从概率最高的k个token中选择。 如果设置为0，则禁用。
• typical_p (float, optional, default: 1.0): Typical sampling参数。
• repetition_penalty (float, optional, default: 1.18): 重复惩罚参数。 用于防止模型重复生成相同的文本。
• repetition_penalty_range (int, optional, default: 0): 重复惩罚的范围。
• encoder_repetition_penalty (float, optional, default: 1.0): Encoder重复惩罚参数。
• no_repeat_ngram_size (int, optional, default: 0): 禁止重复的ngram的大小。 如果设置为0，则禁用。
• min_length (int, optional, default: 0): 生成文本的最小长度。
• do_sample (bool, optional, default: true): 是否进行采样。 如果设置为false，则使用greedy decoding。
• seed (int, optional, default: -1): 随机种子。 用于控制生成文本的随机性。 如果设置为-1，则使用随机种子。
• stop (list of strings, optional, default: []): 停止生成的字符串列表。 当生成文本包含列表中的任何一个字符串时，生成过程停止。
• stream (bool, optional, default: false): 是否启用流式响应。
• format (string, optional, default: "text"): 返回格式。 可以是 "text" 或 "json"。
• model (string, optional): 指定要使用的模型。 如果未指定，则使用默认模型。

具体参数和默认值可能会因为TextGen WebUI的版本和使用的模型而有所不同。 最好参考TextGen WebUI的官方文档或API文档。

如何处理TextGen WebUI API调用中的错误？

• 检查HTTP状态码： 首先，检查HTTP响应的状态码。 200表示成功，4xx表示客户端错误，5xx表示服务器错误。 例如，400表示请求参数错误，500表示服务器内部错误。
• 读取错误信息： 如果HTTP状态码不是200，尝试读取响应体中的错误信息。 TextGen WebUI通常会在响应体中返回JSON格式的错误信息。
• 重试机制： 对于 transient 的错误（例如，网络连接问题），可以实现重试机制。 使用指数退避算法可以避免在服务器过载时加剧问题。
• 日志记录： 记录API调用的详细信息，包括请求参数、响应状态码、响应体和错误信息。 这有助于诊断问题。
• 超时设置： 设置合理的超时时间，避免程序长时间阻塞。 可以使用http.Client的Timeout字段设置超时时间。
• 错误处理函数： 编写专门的错误处理函数，集中处理API调用中的错误。 这样可以提高代码的可读性和可维护性。
• 熔断机制： 在高并发场景下，可以使用熔断机制来防止 cascading failure。 当API调用失败率超过一定阈值时，熔断器会打开，阻止新的请求发送到API，直到API恢复正常。 可以使用第三方库，例如github.com/sony/gobreaker来实现熔断机制。
• 监控： 监控API调用的性能指标，例如响应时间、错误率和吞吐量。 这可以帮助你及时发现和解决问题。

一个更健壮的错误处理示例：

package main

import (
    "bytes"
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
    "time"
    "log"
)

// ... (RequestBody 和 ResponseBody 定义)

func callAPI(requestBody RequestBody) (string, error) {
    requestBodyJson, err := json.Marshal(requestBody)
    if err != nil {
        return "", fmt.Errorf("JSON 序列化错误: %w", err)
    }

    client := &http.Client{
        Timeout: 10 * time.Second, // 设置超时时间
    }

    resp, err := client.Post("http://127.0.0.1:5000/api/v1/generate", "application/json", bytes.NewBuffer(requestBodyJson))
    if err != nil {
        return "", fmt.Errorf("HTTP 请求错误: %w", err)
    }
    defer resp.Body.Close()

    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return "", fmt.Errorf("读取响应错误: %w", err)
    }

    if resp.StatusCode != http.StatusOK {
        return "", fmt.Errorf("API 返回错误状态码: %d, 响应体: %s", resp.StatusCode, string(body))
    }

    var responseBody ResponseBody
    err = json.Unmarshal(body, &responseBody)
    if err != nil {
        return "", fmt.Errorf("JSON 反序列化错误: %w, 响应体: %s", err, string(body))
    }

    if len(responseBody.Results) > 0 {
        return responseBody.Results[0].Text, nil
    } else {
        return "", fmt.Errorf("未生成任何文本")
    }
}

func main() {
    requestBody := RequestBody{
        Prompt:      "请用三句话介绍Golang。",
        MaxNewTokens: 200,
        DoSample:     true,
        Temperature:  0.7,
        TopP:         0.9,
    }

    result, err := callAPI(requestBody)
    if err != nil {
        log.Printf("API 调用失败: %v", err)
        return
    }

    fmt.Println(result)
}

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于科技周边的相关知识，也可关注golang学习网公众号。