当前位置:首页 > 文章列表 > Golang > Go问答 > 将 JSON 流式传输到 Bigquery

将 JSON 流式传输到 Bigquery

来源:stackoverflow 2024-04-26 09:45:34 0浏览 收藏

大家好,我们又见面了啊~本文《将 JSON 流式传输到 Bigquery》的内容中将会涉及到等等。如果你正在学习Golang相关知识,欢迎关注我,以后会给大家带来更多Golang相关文章,希望我们能一起进步!下面就开始本文的正式内容~

问题内容

从 Google Drive API,我收到一组结构类型文件。我的目标是添加一些字段并将数据流式传输到 BigQuery 中。

我的第一个方法是更改​​文件结构并将更新的结构流式传输到 BigQuery。这看起来像是一个死胡同,我正在尝试使用建议的方法,将结构编组为 JSON 并将其流式传输到 BigQuery 中。

我找到了这个示例 bigquery-table-insert-rows,但它实现了 ValueSaver 接口。对我来说,一个简单的 Marshall,然后将 JSON 流式传输到 BigQuery 就足够了。

但是,我找不到任何方法或示例可以做到这一点。所以我想知道是否可以使用 Go 将 JSON 流式传输到 BigQuery 中。一个基本的例子就很好了。


解决方案


您认为仅提供结构就足够了,这是正确的。

也许查看一些简单但完整的代码会有一些帮助:https://github.com/tovare/idporten

我所做的就是放置一个结构体切片,其中的结构体用 bigquery 进行注释。

type metric struct {
    timestamp time.time `bigquery:"timestamp"`
    metode    string    `bigquery:"metode"`
    antall    int       `bigquery:"antall"`
}

...

seriesTableRef := client.Dataset(datasetName).Table(tableName)
    if err := seriesTableRef.Inserter().Put(ctx, metrics); err != nil {
        return err
    }

好了,本文到此结束,带大家了解了《将 JSON 流式传输到 Bigquery》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多Golang知识!

版本声明
本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
使用 golang 生成嵌套 JSON使用 golang 生成嵌套 JSON
上一篇
使用 golang 生成嵌套 JSON
人工智能注释可以增强UI和UX吗?
下一篇
人工智能注释可以增强UI和UX吗?
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    511次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    498次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • MiniWork:智能高效AI工具平台,一站式工作学习效率解决方案
    MiniWork
    MiniWork是一款智能高效的AI工具平台,专为提升工作与学习效率而设计。整合文本处理、图像生成、营销策划及运营管理等多元AI工具,提供精准智能解决方案,让复杂工作简单高效。
    6次使用
  • NoCode (nocode.cn):零代码构建应用、网站、管理系统,降低开发门槛
    NoCode
    NoCode (nocode.cn)是领先的无代码开发平台,通过拖放、AI对话等简单操作,助您快速创建各类应用、网站与管理系统。无需编程知识,轻松实现个人生活、商业经营、企业管理多场景需求,大幅降低开发门槛,高效低成本。
    6次使用
  • 达医智影:阿里巴巴达摩院医疗AI影像早筛平台,CT一扫多筛癌症急慢病
    达医智影
    达医智影,阿里巴巴达摩院医疗AI创新力作。全球率先利用平扫CT实现“一扫多筛”,仅一次CT扫描即可高效识别多种癌症、急症及慢病,为疾病早期发现提供智能、精准的AI影像早筛解决方案。
    7次使用
  • 智慧芽Eureka:更懂技术创新的AI Agent平台,助力研发效率飞跃
    智慧芽Eureka
    智慧芽Eureka,专为技术创新打造的AI Agent平台。深度理解专利、研发、生物医药、材料、科创等复杂场景,通过专家级AI Agent精准执行任务,智能化工作流解放70%生产力,让您专注核心创新。
    6次使用
  • Flowith Agent:AI创作新范式,智能工作空间赋能知识管理与多模态协同
    Flowith Agent
    Flowith Agent是一款创新的AI创作工作空间,融合二维画布、Agent智能体、知识花园及多模态支持,助您高效管理知识、智能创作内容、实现团队协同,解决信息过载与深度思考难题。
    8次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码