性能瓶颈：Golang 中 Badger DB 的键值存储

最近发现不少小伙伴都对Golang很感兴趣，所以今天继续给大家介绍Golang相关的知识，本文《性能瓶颈：Golang 中 Badger DB 的键值存储》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~

在 badgerdb 中，我们有数十亿个 string 类型的键和 hashvaluelist 类型的值。在我们的用例中，hashvaluelist 的长度可能以百万为单位。在插入 badgerdb 之前，我们必须对 []byte 中的键和值进行编码；我们正在使用 encoding/gob 包。因此，每当我们需要值时，我们就必须再次解码它们。在我们的例子中，这个解码过程会产生开销。

type hashvalue struct {
    row_id  string
    address string
}

type hashvaluelist []hashvalue

为了减轻解码开销，我们将设计更改为前缀迭代。通过前缀迭代，我们将集合中的每个值存储为不同的 badger kv 对，而不是具有大值的单个键。键的前缀将是原始哈希值键。然后，我们需要添加一个后缀，以提供原始集合中值集合的唯一性。 所以在你原来的方案中有这样的东西：

k1 -> [v1, v2, v3, ..., vn]
...
km -> [w1, ..., wm]

现在有类似的东西：

k1@1 -> v1
k1@2 -> v2
k1@3 -> v2
...
k1@n -> vn
...
km@1 -> w1
...
km@m -> wm

为了从数据库中查找值，我们有 n 个 goroutine 读取 keychan 通道并将值写入 valchan。

func Get(db *badger.DB, KeyChan <-chan string, ValChan chan []byte) {
    
    var val []byte

    for key := range KeyChan {
    
        txn := db.NewTransaction(false)

        opts := badger.DefaultIteratorOptions
        opts.Prefix = []byte(key)

        it := txn.NewIterator(opts)
    
        prefix := []byte(key)

        for it.Rewind(); it.ValidForPrefix(prefix); it.Next() {

            item := it.Item()
            val, err := item.ValueCopy(val[:])
            ValChan <- val

            item = nil
            if err != nil {
                fmt.Println(err)
            }
        }
        it.Close()
        txn.Discard()
    }
}

在 prefix 迭代中，get func 一段时间后变得非常慢。我们收集了 5 秒的执行跟踪，结果如下：

这里 github.com/dgraph-io/badger/v3.(*iterator).fill.func1 n=2033535 在内部创建了大量的 goroutine。

花费在调度程序等待上的大量时间。

我们如何提高前缀迭代性能？对于我们的用例有更好的方法吗？

谢谢

正确答案

如果您想快速迭代前缀并收集结果，您应该考虑使用 Badger 中的 Stream 框架。它使用许多 goroutine 来使迭代速度与磁盘允许的速度一样快。

https://pkg.go.dev/github.com/outcaste-io/badger/v3#Stream

此外，一般来说，使用 Go 通道来收集可能数百万个结果的速度会非常慢。最好通过批量处理结果并减少与通道交互的次数来使用通道。

Stream Framework 通过为您提供串行执行的 Stream.Send 函数来处理所有这些问题。您甚至可以保持编码数据不变，并在发送中对其进行解码，或从发送中复制它。

今天关于《性能瓶颈：Golang 中 Badger DB 的键值存储》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！