使用通道在 Go 例程之间传递字节片的方法

在 Go 例程之间传递字节切片时，可以使用通道进行通信。当通道接收到字节切片时，该切片将按值传递给接收方函数。虽然按值传递可以确保接收方函数获得切片的副本，但如果源函数在接收方函数处理切片期间修改底层数据，可能会出现问题。为了避免这种情况，建议在传递给接收方函数之前复制字节切片，以确保它们具有不同的底层数组。

我有一个函数，可以从 source 读取数据并将其发送到 destination。源和目标可以是任何东西，假设在此示例中源是数据库（任何 mysql、postgresql...），目标是 distributed q（任何... activemq、kafka）。消息以字节存储。

这是主要功能。想法是它将旋转一个新的 go 例程并等待返回消息以供将来处理。

type message []byte

func (p *processorservice) continue(dictid int) {
    level.info(p.logger).log("process", "message", "dictid", dictid)
    retrieved := make(chan message)

    go func() {
        err := p.src.read(retrieved, strconv.itoa(p.dictid))
        if err != nil {
            level.error(p.logger).log("process", "read", "message", "err", err)
        }
    }()

    for r := range retrieved {
        go func(message message) {
            level.info(p.logger).log("message", message)
            if len(message) > 0 {
                if err := p.dst.sendtoq(message); err != nil {
                    level.error(p.logger).log("failed", "during", "persist", "err", err)
                }
            } else {
                level.error(p.logger).log("failed")
            }
        }(r)
    }
}

这是读取函数本身

func (s *storage) read(out chan<- message, opt ...string) error {

    // i just skip some basic database read operations here
    // but idea is simple, read data from the table / file row by row and 
    // 
    for _, value := range datafromdb {
            message, err := value.row 
            if err == nil {
                out <- message
            } else {
                errorf("unable to get data %v", err)
                out <- make([]byte, 0)
            }
        }
    })

    close(out)

    if err != nil {
        return err
    }

    return nil
}

正如您所看到的，通信是通过chan<-消息通道完成的。 我对“继续”功能的关注，特别是在这里

for r := range retrieved { 
   go func(message Message) {
       // basically here message and r are pointing to the same underlying array
   }
}

当接收到数据时 var r 是切片字节的一种类型。然后它传递给 go func(message message) 在 go 中按值传递的所有内容，在这种情况下 var r 将作为副本传递给匿名 func，但是它仍然有一个指向底层切片数据的指针。我很好奇在 p.dst.sendtoq(message); 执行期间是否可能出现问题，同时读取函数将向 out 通道 发送一些内容，导致切片数据结构被新信息覆盖。我是否应该在传递给匿名函数之前将字节切片 r 复制到新的字节切片中，以便底层数组会有所不同？我测试了它，但并不能真正导致这种行为。不确定我是否偏执或必须担心。

解决方案

当您从数据库获取数据时，p.dst.sendToQ(message) 中的 message 与 value.row 是同一个切片。因此，只要每个 value.row 都有不同的底层数组，就应该没问题。因此，我建议您检查源代码并确保它不使用公共字节数组并不断重写它。

本篇关于《使用通道在 Go 例程之间传递字节片的方法》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于Golang的相关知识，请关注golang学习网公众号！