从Golang的PubSub到Bigquery：解决数据流中的“无根单位”错误

Golang不知道大家是否熟悉？今天我将给大家介绍《从Golang的PubSub到Bigquery：解决数据流中的“无根单位”错误》，这篇文章主要会讲到等等知识点，如果你在看完本篇文章后，有更好的建议或者发现哪里有问题，希望大家都能积极评论指出，谢谢！希望我们能一起加油进步！

我正在尝试从 pubsub 读取消息，然后写入 dataflow 中的 bigquery 表。但是，我在使用直接运行器时遇到了“无根单位”错误。

这是我的代码；

package main

import (
    "context"
    "encoding/json"
    "flag"
    "fmt"

    "github.com/apache/beam/sdks/v2/go/pkg/beam/io/bigqueryio"
    "github.com/apache/beam/sdks/v2/go/pkg/beam/x/debug"

    "github.com/apache/beam/sdks/v2/go/pkg/beam"
    "github.com/apache/beam/sdks/v2/go/pkg/beam/io/pubsubio"
    "github.com/apache/beam/sdks/v2/go/pkg/beam/log"
    "github.com/apache/beam/sdks/v2/go/pkg/beam/x/beamx"
)


type DummyBody struct {
        TaskId string `json:"id" bigquery:"id"`
    }


func buildPipeline(s beam.Scope) {
    rawDummyBodies := pubsubio.Read(s, "project", "topic", &pubsubio.ReadOptions{Subscription: "sub.ID"})

    dummyBodies := beam.ParDo(s, func(ctx context.Context, data []byte) (DummyBody, error) {
        var body DummyBody
        if err := json.Unmarshal(data, &body); err != nil {
            log.Error(ctx, err)
            fmt.Println("Error")
            return body, err
        }
        fmt.Println("No Error")
        return body, nil
    }, rawDummyBodies)

    debug.Printf(s, "Task : %#v", dummyBodies)

    bigqueryio.Write(s, "project", "table", dummyBodies)
}

func main() {
    flag.Parse()
    beam.Init()

    p, s := beam.NewPipelineWithRoot()
    buildPipeline(s)

    ctx := context.Background()
    if err := beamx.Run(ctx, p); err != nil {
        log.Exitf(ctx, "Failed to execute pipeline: %v", err)
    }
}

管道开始使用直接运行器执行，但由于没有根单元而失败。

2022/11/01 14:29:55 执行管道失败：翻译失败 造成的： 无根单位 退出状态1

正确答案

pubsubio 的当前实现 only works on Dataflow Runner。

正如其他用户提到的使用 dataflow runner 运行它。下面是您可以用来运行程序的命令。

go run main.go --runner=dataflow --project=your-project --region=us-central1 --staging_location=your-gs-path --sdk_container_image=apache/beam_go_sdk:2.49.0 --output=your-gs-path --subnetwork=https://www.googleapis.com/compute/v1/projects/your-project/regions/us-central1/subnetworks/dataflow-subnet-vd

理论要掌握，实操不能落！以上关于《从Golang的PubSub到Bigquery：解决数据流中的“无根单位”错误》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！