性能测试：Golang连接MongoDB数据库

小伙伴们对Golang编程感兴趣吗？是否正在学习相关知识点？如果是，那么本文《性能测试：Golang连接MongoDB数据库》，就很适合你，本篇文章讲解的知识点主要包括。在之后的文章中也会多多分享相关知识点，希望对大家的知识积累有所帮助！

我已经编写了一些用于测试 mongodb 的代码。 但它的速度实在是太糟糕了。 有什么问题吗？

func mgoSpeedTest(N int) int64 {
    session, err := mgo.Dial(MongoHost)
    if err != nil {
        panic(err)
    }
    defer session.Close()
    session.SetMode(mgo.Monotonic, true)

    start := time.Now()
    for i := 0; i < N; i++ {
        sessionCopy := session.Copy()
        c := session.DB(MongoDB).C(MongoCol)
        _, err = c.Find(bson.M{"id": 1}).Count()
        if err != nil {
            log.Fatal(err)
        }
        sessionCopy.Close()
    }
    t := time.Now()
    elapsed := t.Sub(start)
    return elapsed.Milliseconds()
}

func main() {
    // speed test
    N := 1000
    ms = mgoSpeedTest(N)
    println(fmt.Sprintf("mgo: %d", ms))
}

应答~~3500ms 我尝试使用 mongo-client 但速度是相同的 ~3700-3800

解决方案

我很好奇，并编写了自己的一个小基准。它通过 docker 使用单实例 mongodb：

$ docker run -d --name mongobench -p 27017:27017 mongo
731e5f57d677718244c2304a992abd44a5a4bbad6f1fd8e5a23e53b3c4f9ada4

根据基准测试，它是双重的：简单插入和批量插入。批量插入是处理大量插入的首选方式。

它测试 mgo 驱动程序和 mongo-go-driver：

package mongobench

// use
//  docker run -d --name mongobench -p 27017:27017 mongo
// to create a suitable test instance and access it via
//  docker exec -it mongobench mongo

import (
    "context"
    "log"
    "testing"

    "github.com/globalsign/mgo"
    "github.com/globalsign/mgo/bson"
    "go.mongodb.org/mongo-driver/mongo"
    "go.mongodb.org/mongo-driver/mongo/options"
)

type data struct {
    id      primitive.objectid `bson:"_id"`
    counter int
}

const defaulthost = "localhost:27017"
const defaultdb = "test"
const defaultcollection = "bench"

var sess *mgo.session
var client *mongo.client

func init() {
    var err error

    sess, err = mgo.dial(defaulthost)
    if err != nil {
        log.fatalf("setting up session: %s", err)
    }

    client, err = mongo.newclient(options.client().applyuri("mongodb://" + defaulthost))
    if err != nil {
        log.fatalf("setting up client: %s", err)
    }

    if err = client.connect(context.background()); err != nil {
        log.fatalf("connecting with client: %s", err)
    }
}
func benchmarkmgoinsert(b *testing.b) {

    c := sess.db(defaultdb).c("simple")
    if _, err := c.removeall(bson.m{}); err != nil {
        b.logf("cleaning collection 'simple': %s", err)
        b.failnow()
    }

    b.resettimer()

    for i := 0; i < b.n; i++ {
        if err := c.insert(&data{id: bson.newobjectid(), counter: i}); err != nil {
            b.logf("error inserting: %s", err)
            b.failnow()
        }
    }
}

func benchmarkmgobulk(b *testing.b) {
    c := sess.db(defaultdb).c("bulk")
    if _, err := c.removeall(bson.m{}); err != nil {
        b.logf("cleaning collection 'simple': %s", err)
        b.failnow()
    }

    b.resettimer()

    bulk := c.bulk()

    for i := 0; i < b.n; i++ {
        bulk.insert(&data{id: bson.newobjectid(), counter: i})
    }

    if _, err := bulk.run(); err != nil {
        b.logf("executing bulk: %s", err)
        b.failnow()
    }
}

func benchmarkmongoinsert(b *testing.b) {
    c := client.database(defaultdb).collection("mongosimple")
    if _, err := c.deletemany(context.background(), bson.m{}); err != nil {
        b.logf("cleaning collection 'mongosimple': %s", err)
        b.failnow()
    }

    b.resettimer()

    for i := 0; i < b.n; i++ {
        c.insertone(context.background(), &data{id: bson.newobjectid(), counter: i})
    }
}

func benchmarkmongobulk(b *testing.b) {

    c := client.database(defaultdb).collection("mongobulk")
    if _, err := c.deletemany(context.background(), bson.m{}); err != nil {
        b.logf("cleaning collection 'mongosimple': %s", err)
        b.failnow()
    }

    d := make([]mongo.writemodel, b.n)

    b.resettimer()

    for i := 0; i < b.n; i++ {
        d[i] = mongo.newinsertonemodel().setdocument(data{id: bson.newobjectid(), counter: i})
    }

    if _, err := c.bulkwrite(context.background(), d); err != nil {
        b.logf("inserting bulk: %s", err)
        b.failnow()
    }

}

goos: darwin
goarch: amd64
pkg: github.com/mwmahlberg/so-mongobench
BenchmarkMgoInsert-4            1164       1100919 ns/op        1501 B/op         44 allocs/op
BenchmarkMgoBulk-4            201560          6512 ns/op         258 B/op          4 allocs/op
BenchmarkMongoInsert-4          1171       1019140 ns/op        3642 B/op         66 allocs/op
BenchmarkMongoBulk-4          181040          7251 ns/op        1151 B/op         15 allocs/op

我们可以看到，两个驱动程序都比您描述的要快几个数量级，因此可以安全地假设不是驱动程序造成了延迟。

好了，本文到此结束，带大家了解了《性能测试：Golang连接MongoDB数据库》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！