解析 JSON 数据流：使用 Kinesis Firehose

各位小伙伴们，大家好呀！看看今天我又给各位带来了什么文章？本文标题是《解析 JSON 数据流：使用 Kinesis Firehose》，很明显是关于Golang的文章哈哈哈，其中内容主要会涉及到等等，如果能帮到你，觉得很不错的话，欢迎各位多多点评和分享！

您好，我正在尝试将 kinesis firehose 与 s3 一起使用。我尝试读取那些 s3 文件。我正在使用 go 来阅读它。

但是，我无法解析 json，因为这些值只是附加的，没有任何分隔符。

这是文件的示例（请注意，原始输入是相互附加的，为了格式化目的，我用换行符将它们分开）：

{"ticker_symbol":"PLM","sector":"FINANCIAL","change":-0.16,"price":19.99}
{"ticker_symbol":"AZL","sector":"HEALTHCARE","change":-0.78,"price":16.51}
{"ticker_symbol":"IOP","sector":"TECHNOLOGY","change":-1.98,"price":121.88}
{"ticker_symbol":"VVY","sector":"HEALTHCARE","change":-0.56,"price":47.62}
{"ticker_symbol":"BFH","sector":"RETAIL","change":0.74,"price":16.61}
{"ticker_symbol":"WAS","sector":"RETAIL","change":-0.6,"price":16.72}

我的问题是，如何在 go 中解析它？我能想到的一种解决方案是将它们分割为 }{ 并再次附加它们。但它非常hackish。

或者 kinesis firehose 是否提供分隔符？

------更新------

目前我已经实现了解决方案，将所有 }{ 替换为 },{ ，然后在开头添加 [ ，在末尾添加 ] 。然后解析它。

但是我仍在寻找替代方案，因为此解决方案会限制 json 对象内容中的任何 }{

解决方案

创建一个简单的结构来解组批量传入的 json。因此，每个批次 json 都会被解组到一个 json 对象中。然后创建一个结构体切片，将解析后的 json 附加到该切片中。这会将结果 json 全部附加到结构切片中。

package main

import (
    "encoding/json"
    "fmt"
)

type ticker struct {
    tickersymbol string  `json:"ticker_symbol"`
    sector       string  `json:"sector"`
    change       float64 `json:"change"`
    price        float64 `json:"price"`
}

var jsonbytes = []byte(`{"ticker_symbol":"plm","sector":"financial","change":-0.16,"price":19.99}`)

func main() {
    var singleresult ticker
    var result []ticker
    if err := json.unmarshal(jsonbytes, &singleresult); err != nil {
        fmt.println(err)
    }

    if len(result) == 0 {
        result = append(result, singleresult)
    }
    fmt.printf("%+v", result)
}

已编辑：

如果数据批量传入，其中包含相互附加的 json 对象，则可以使用正则表达式将 } 替换为 },，然后修剪最右边的 , 以生成有效的 json 数组对象为：

package main

import (
    "fmt"
    "regexp"
    "strings"
)

type Ticker struct {
    TickerSymbol string  `json:"ticker_symbol"`
    Sector       string  `json:"sector"`
    Change       float64 `json:"change"`
    Price        float64 `json:"price"`
}

var str = `{"ticker_symbol":"PLM","sector":"FINANCIAL","change":-0.16,"price":19.99}
{"ticker_symbol":"AZL","sector":"HEALTHCARE","change":-0.78,"price":16.51}
{"ticker_symbol":"IOP","sector":"TECHNOLOGY","change":-1.98,"price":121.88}
{"ticker_symbol":"VVY","sector":"HEALTHCARE","change":-0.56,"price":47.62}
{"ticker_symbol":"BFH","sector":"RETAIL","change":0.74,"price":16.61}
{"ticker_symbol":"WAS","sector":"RETAIL","change":-0.6,"price":16.72}`

func main() {

    r := regexp.MustCompile("}")
    output := strings.TrimRight(r.ReplaceAllString(str, "},"), ",")
    output = fmt.Sprintf("[%s]", output)
    fmt.Println(output)
}

使用 r := regexp.mustcompile("}") 将帮助您不必担心 }{ 之间的空格，这会干扰替换字符串。所以只需将 } 替换为 }, 然后向右修剪即可。

另外，我使用 mustcompile 的原因是：

当使用正则表达式创建常量时，您可以使用 mustcompile 是 compile 的变体。普通的编译不起作用 常量，因为它有 2 个返回值。

在 Go playground 上进行 json 解析的完整工作代码

今天关于《解析 JSON 数据流：使用 Kinesis Firehose》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！