当前位置：首页 > 文章列表 > Golang > Go问答 > 性能瓶颈：Golang 中 Badger DB 的键值存储

性能瓶颈：Golang 中 Badger DB 的键值存储

来源：stackoverflow 2024-02-23 09:36:26 0浏览收藏

最近发现不少小伙伴都对Golang很感兴趣，所以今天继续给大家介绍Golang相关的知识，本文《性能瓶颈：Golang 中 Badger DB 的键值存储》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~

问题内容

在 badgerdb 中，我们有数十亿个 string 类型的键和 hashvaluelist 类型的值。在我们的用例中，hashvaluelist 的长度可能以百万为单位。在插入 badgerdb 之前，我们必须对 []byte 中的键和值进行编码；我们正在使用 encoding/gob 包。因此，每当我们需要值时，我们就必须再次解码它们。在我们的例子中，这个解码过程会产生开销。

type hashvalue struct {
    row_id  string
    address string
}

type hashvaluelist []hashvalue

为了减轻解码开销，我们将设计更改为前缀迭代。通过前缀迭代，我们将集合中的每个值存储为不同的 badger kv 对，而不是具有大值的单个键。键的前缀将是原始哈希值键。然后，我们需要添加一个后缀，以提供原始集合中值集合的唯一性。所以在你原来的方案中有这样的东西：

k1 -> [v1, v2, v3, ..., vn]
...
km -> [w1, ..., wm]

现在有类似的东西：

k1@1 -> v1
k1@2 -> v2
k1@3 -> v2
...
k1@n -> vn
...
km@1 -> w1
...
km@m -> wm

为了从数据库中查找值，我们有 n 个 goroutine 读取 keychan 通道并将值写入 valchan。

func Get(db *badger.DB, KeyChan <-chan string, ValChan chan []byte) {
    
    var val []byte

    for key := range KeyChan {
    
        txn := db.NewTransaction(false)

        opts := badger.DefaultIteratorOptions
        opts.Prefix = []byte(key)

        it := txn.NewIterator(opts)
    
        prefix := []byte(key)

        for it.Rewind(); it.ValidForPrefix(prefix); it.Next() {

            item := it.Item()
            val, err := item.ValueCopy(val[:])
            ValChan <- val

            item = nil
            if err != nil {
                fmt.Println(err)
            }
        }
        it.Close()
        txn.Discard()
    }
}

在 prefix 迭代中，get func 一段时间后变得非常慢。我们收集了 5 秒的执行跟踪，结果如下：

这里 github.com/dgraph-io/badger/v3.(*iterator).fill.func1 n=2033535 在内部创建了大量的 goroutine。

花费在调度程序等待上的大量时间。

我们如何提高前缀迭代性能？对于我们的用例有更好的方法吗？

谢谢