当前位置:首页 > 文章列表 > Golang > Go问答 > 使用Go中的Apache Arrow对事件进行时间间隔分区处理

使用Go中的Apache Arrow对事件进行时间间隔分区处理

来源:stackoverflow 2024-02-09 08:18:23 0浏览 收藏

在IT行业这个发展更新速度很快的行业,只有不停止的学习,才不会被行业所淘汰。如果你是Golang学习者,那么本文《使用Go中的Apache Arrow对事件进行时间间隔分区处理》就很适合你!本篇内容主要包括##content_title##,希望对大家的知识积累有所帮助,助力实战开发!

问题内容

我正在尝试根据时间间隔拆分从 kafka 收集的一些事件。基本上,目标是读取 datetime 列中的值,运行一个简单的公式来检查当前事件是否落在当前 interval 内。如果是,则将该事件附加到 recordbuilder,否则将 flush 事件组(segment)附加到 parquet 文件。

这是我到目前为止的代码:

type Segment struct {
    mu             sync.Mutex
    schema         *arrow.Schema
    evtStruct      *arrow.StructType
    builder        *array.RecordBuilder
    writer         *pqarrow.FileWriter
    timestampIndex int
}

func NewSegment(dir string, datetimeFieldName string, schema *arrow.Schema) (*Segment, error) {
        // other inits here
        // ...

    // create a parquet file
    pFile, err := os.Create(fileName)
    if err != nil {
        return nil, err
    }
    w, err := pqarrow.NewFileWriter(schema, pFile, props, pqarrow.DefaultWriterProps())
    if err != nil {
        panic(err)
    }

    // create the new record builder for inserting data to arrow
    mem := memory.NewCheckedAllocator(memory.NewGoAllocator())
    b := array.NewRecordBuilder(mem, schema)

    evtStruct := arrow.StructOf(schema.Fields()...)
    idx, ok := evtStruct.FieldIdx(datetimeFieldName)
    if !ok {
        return nil, fmt.Errorf("couldn't find datetime column")
    }

    return &Segment{
        schema:         schema,
        evtStruct:      evtStruct,
        mu:             sync.Mutex{},
        builder:        b,
        writer:         w,
        timestampIndex: idx,
    }, nil
}

// data comes from Kafka and it represent a single event
func (s *Segment) InsertData(data []byte) error {
    s.mu.Lock()
    defer s.mu.Unlock()

        // TODO: do partition by interval here
        // extract the datetime value --> dtVal (unix epoch)
        // assume for now an interval of 5 minutes
        // dtPartition = math.floor(dtVal, 5*60)
        /* if dtPartition > oldDtPartition {
                return s.Flush()
           }
        */

        // append the data to the current builder
    if err := s.builder.UnmarshalJSON(data); err != nil {
        return err
    }

    return nil
}

// Flush persist the segment on disk
func (s *Segment) Flush() error {
    s.mu.Lock()
    defer s.mu.Unlock()

    rec := s.builder.NewRecord()

    // closable
    defer s.builder.Release()
    defer s.writer.Close()
    defer rec.Release()

    // write parquet file
    if err := s.writer.WriteBuffered(rec); err != nil {
        return err
    }

    return nil
}

问题是我无法对 "unmarshal" data 函数的 insertdata 输入参数进行解组,因为没有可以解组的 "struct" 。我能够创建 arrow.schemaarrow.structtype 因为我正在制作的服务允许用户定义事件的架构。因此,我试图找到一种方法来读取事件中的 datetime 值,并确定 interval 属于哪个。

在函数 insertdata 中,我添加了一些我想要实现的愚蠢的伪代码。也许 apache arrow 有一些功能可以帮助我完成我想做的事情。预先感谢您。


正确答案


如果您可以这样做:s.builder.unmarshaljson(data),则 data 是一个 json 值。您可以使用 fmt.printf("%s", data) 打印 data 来确认。

如果您确定每个事件都包含 datetime 列,那么您可以定义一个这样的结构,以便可以将 data 解组到其中:

type event struct {
    datetime int64 `json:"datetime"`
}

这是一个小演示:

package main

import (
    "encoding/json"
    "fmt"
)

func getDatatime(data []byte) (int64, error) {
    var e struct {
        Datetime int64 `json:"datetime"`
    }
    if err := json.Unmarshal(data, &e); err != nil {
        return 0, err
    }

    return e.Datetime, nil
}

func main() {
    data := []byte(`{"datetime": 1685861011, "region": "NY", "model": "3", "sales": 742.0, "extra": 1234}`)

    fmt.Println(getDatatime(data))
}

到这里,我们也就讲完了《使用Go中的Apache Arrow对事件进行时间间隔分区处理》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于的知识点!

版本声明
本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除
如何在Go程序终止时执行代码?如何在Go程序终止时执行代码?
上一篇
如何在Go程序终止时执行代码?
golang 切片元素的相等性与顺序无关
下一篇
golang 切片元素的相等性与顺序无关
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    511次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    498次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • 千音漫语:智能声音创作助手,AI配音、音视频翻译一站搞定!
    千音漫语
    千音漫语,北京熠声科技倾力打造的智能声音创作助手,提供AI配音、音视频翻译、语音识别、声音克隆等强大功能,助力有声书制作、视频创作、教育培训等领域,官网:https://qianyin123.com
    96次使用
  • MiniWork:智能高效AI工具平台,一站式工作学习效率解决方案
    MiniWork
    MiniWork是一款智能高效的AI工具平台,专为提升工作与学习效率而设计。整合文本处理、图像生成、营销策划及运营管理等多元AI工具,提供精准智能解决方案,让复杂工作简单高效。
    89次使用
  • NoCode (nocode.cn):零代码构建应用、网站、管理系统,降低开发门槛
    NoCode
    NoCode (nocode.cn)是领先的无代码开发平台,通过拖放、AI对话等简单操作,助您快速创建各类应用、网站与管理系统。无需编程知识,轻松实现个人生活、商业经营、企业管理多场景需求,大幅降低开发门槛,高效低成本。
    107次使用
  • 达医智影:阿里巴巴达摩院医疗AI影像早筛平台,CT一扫多筛癌症急慢病
    达医智影
    达医智影,阿里巴巴达摩院医疗AI创新力作。全球率先利用平扫CT实现“一扫多筛”,仅一次CT扫描即可高效识别多种癌症、急症及慢病,为疾病早期发现提供智能、精准的AI影像早筛解决方案。
    98次使用
  • 智慧芽Eureka:更懂技术创新的AI Agent平台,助力研发效率飞跃
    智慧芽Eureka
    智慧芽Eureka,专为技术创新打造的AI Agent平台。深度理解专利、研发、生物医药、材料、科创等复杂场景,通过专家级AI Agent精准执行任务,智能化工作流解放70%生产力,让您专注核心创新。
    98次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码