无法让 golang 和 bigquery 包加载到大查询

在IT行业这个发展更新速度很快的行业，只有不停止的学习，才不会被行业所淘汰。如果你是Golang学习者，那么本文《无法让 golang 和 bigquery 包加载到大查询》就很适合你！本篇内容主要包括##content_title##，希望对大家的知识积累有所帮助，助力实战开发！

我正在尝试找出如何使用简单的 bq 加载命令来使用 https://godoc.org/cloud.google.com/go/bigquery#table.loaderfrom

手动运行它看起来像这样：

bq load --source_format=avro --ignore_unknown_values --replace=true mydataset.mytable gs://mybucket/table/*

并在我的 golang 中使用 exec.command() 成功运行它，如下所示：

exec.command("bq", "load", "--source_format=avro", "--ignore_unknown_values",
             "--replace=true", "mydataset.mytable",
             "gs://mybucket/table/*")

但是，当尝试加载和 job.wait 成功运行时，我无法让该程序在没有分段错误的情况下运行，它似乎在程序的 job.wait 行处出现了分段冲突

package main

import (
    "context"
        "log"
        "cloud.google.com/go/bigquery"
)

func main(){
    ctx := context.Background()
    client, err := bigquery.NewClient(ctx, "my-project-id")
    if err != nil {
        // TODO: Handle error.
    }
    gcsRef := bigquery.NewGCSReference("gs://mybucket/table/*")
    gcsRef.SourceFormat = "AVRO"
    gcsRef.IgnoreUnknownValues = true
    // TODO: set other options on the GCSReference.
    ds := client.Dataset("mydataset")
    loader := ds.Table("mytable").LoaderFrom(gcsRef)
    // TODO: set other options on the Loader.
    job, err := loader.Run(ctx)
    if err != nil {
        // TODO: Handle error.
    }
    status, err := job.Wait(ctx) //seg faults right here
    if err != nil {
        // TODO: Handle error.
    }
    if status.Err() != nil {
        // TODO: Handle error.
    }
}

解决方案

恐慌可能来自对作业变量的零指针引用。

我建议添加一个 log.Fatal(err)

在所有 err!= nil 块中。

这将帮助您更接近地了解工作分配不正确的原因。

当您在 go log 中编写像这样的一次性脚本时。Fatal 是退出程序并准确打印问题所在的好方法。

使用 go，你总是试图在堆栈中冒泡错误，以确定代码是否应该继续执行，是否可以恢复，或者它是否只是一个致命的事情，你应该结束程序。

有关日志记录包的更多信息，请在此处查看：https://golang.org/pkg/log/

如果您刚刚开始学习，这里有一些很棒的资源，可以帮助您了解如何设计不同类型的程序。

https://github.com/dashpradeep99/https-github.com-miguellgt-books/tree/master/go

最好，

克里斯托弗

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。