使用 grpc ServerStream 传输分块数据

今天golang学习网给大家带来了《使用 grpc ServerStream 传输分块数据》，其中涉及到的知识点包括等等，无论你是小白还是老手，都适合看一看哦~有好的建议也欢迎大家在评论留言，若是看完有所收获，也希望大家能多多点赞支持呀！一起加油学习~

我定义了这个 rpc

rpc download(downloadrequest) returns (stream google.api.httpbody)

我最终想用它来提供 csv 和二进制数据，但我从 csv 开始。

在我的处理程序中，我正在执行以下操作以重复从存储中获取数据并将其发送到流：

if err := stream.SetHeader(metadata.Pairs("content-disposition", "attachment")); err != nil {
    return err
}
chunkSize := uint64(100) // arbitrary chunk size
for offset := uint64(0); offset < objLen; offset += chunkSize {
    contents, err := getContent(offset, chunkSize)
    if err != nil {
        return err
    }
    err = stream.Send(&httpbody.HttpBody{
        ContentType: "text/csv",
        Data:        contents,
    })
    if err != nil {
        return err
    }
}

此实现的问题是 csv 结果以每个 chunksize 字符换行符结束。如何避免输出中每个块之后的换行符？

我正在使用 grpc-gateway 通过 rest 提供服务，以防万一。

正确答案

当该方法有流响应时，grpc-gateway 通过发出换行符分隔的“块”流来处理该响应。如 docs 中所述。

您可以使用特定内容类型（例如“text/csv”）的自定义封送拆收器来更改分隔符（默认为 []byte('\n')）

package marshaler

import (
    "github.com/grpc-ecosystem/grpc-gateway/v2/runtime"
)

type marshaler struct {
    mime      string
    delimiter []byte
    runtime.marshaler
}

func newmarshaler(mime string, delimiter []byte) runtime.marshaler {
    return &marshaler{mime: mime, delimiter: delimiter}
}

func (m *marshaler) delimiter() []byte {
    return m.delimiter
}

func (m *marshaler) contenttype(v interface{}) string {
    return m.mime
}

然后在新的多路复用器服务器（网关）中

mux := runtime.newservemux(
        ....

        // allow chunked stream responses to work with "content-type: text/csv" requests
        runtime.withmarshaleroption("text/csv", marshaler.newmarshaler("text/csv", nil)),
    )

并使用“content-type：text/csv”发送请求

curl --location 'https://your-api-gateway/download' \
--header 'content-type: text/csv'

与你的rpc服务器无关

csvbyte := getCSV()
chunkSize := 1024 * 1024 * 1 // 1MB
    for i := 0; i < len(csvbyte); i += chunkSize {
        end := i + chunkSize
        if end > len(csvbyte) {
            end = len(csvbyte)
        }
        if err := stream.Send(&httpbody.HttpBody{
            ContentType: "text/csv",
            Data:        csvbyte[i:end],
        }); err != nil {
            return err
        }
    }

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《使用 grpc ServerStream 传输分块数据》文章吧，也可关注golang学习网公众号了解相关技术文章。