BigQuery - 获取 1000000 条记录并使用 goLang 对数据进行一些处理

Golang不知道大家是否熟悉？今天我将给大家介绍《BigQuery - 获取 1000000 条记录并使用 goLang 对数据进行一些处理》，这篇文章主要会讲到等等知识点，如果你在看完本篇文章后，有更好的建议或者发现哪里有问题，希望大家都能积极评论指出，谢谢！希望我们能一起加油进步！

我在 bigquery 中有 1000000 条记录。使用 golang 从数据库获取数据并进行处理的最佳方法是什么？如果无限制地获取所有数据，我会遇到超时问题。我已经将限制增加到 5 分钟，但需要超过 5 分钟。 我想做一些流式调用或分页实现，但我不知道在 golang 中该怎么做。

var FetchCustomerRecords = func(req *http.Request) *bigquery.RowIterator {
    ctx := appengine.NewContext(req)
    ctxWithDeadline, _ := context.WithTimeout(ctx, 5*time.Minute)
    log.Infof(ctx, "Fetch Customer records from BigQuery")
    client, err := bigquery.NewClient(ctxWithDeadline, "ddddd-crm")
    q := client.Query(
        "SELECT * FROM Something")

    q.Location = "US"
    job, err := q.Run(ctx)
    if err != nil {
        log.Infof(ctx, "%v", err)
    }
    status, err := job.Wait(ctx)
    if err != nil {
        log.Infof(ctx, "%v", err)

    }
    if err := status.Err(); err != nil {
        log.Infof(ctx, "%v", err)
    }
    it, err := job.Read(ctx)

    if err != nil {
        log.Infof(ctx, "%v", err)
    }
    return it
}

解决方案

您可以直接读取表内容，而无需发出查询。这不会产生查询费用，并提供与从查询中获得的相同的行迭代器。

对于小的结果来说，这很好。对于大型表，我建议查看新的 storage api 和 samples page 上的代码示例。

对于一个小表或只是读取一小部分行，您可以执行以下操作（从公共数据集表之一读取最多 10k 行）：

func TestTableRead(t *testing.T) {
    ctx := context.Background()
    client, err := bigquery.NewClient(ctx, "my-project-id")
    if err != nil {
        t.Fatal(err)
    }

    table := client.DatasetInProject("bigquery-public-data", "stackoverflow").Table("badges")
    it := table.Read(ctx)

    rowLimit := 10000
    var rowsRead int
    for {
        var row []bigquery.Value
        err := it.Next(&row)
        if err == iterator.Done || rowsRead >= rowLimit {
            break
        }

        if err != nil {
            t.Fatalf("error reading row offset %d: %v", rowsRead, err)
        }
        rowsRead++
        fmt.Println(row)
    }
}

您可以拆分查询以获取 100000 条记录中的 10 倍，并在多个 goroutine 中运行

使用sql查询 select * 从某处 order by id desc limit 100000 offset 0

并在下一个 goroutine select * 从某处 order by id desc limit 100000 offset 100000

终于介绍完啦！小伙伴们，这篇关于《BigQuery - 获取 1000000 条记录并使用 goLang 对数据进行一些处理》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！