将 Parquet 中的 int96 时间戳转换为 Golang

Parquet 中的 int96 时间戳包含 12 个字节，前 8 个字节表示纳秒时间，后 4 个字节表示儒略日数字。然而，与标准时间戳不同，int96 时间戳的字节顺序是相反的，并且时间部分是从午夜开始计算的。本文将指导您如何使用 Golang 将 int96 时间戳转换为标准时间戳。

将这个 12 字节数组 (int96) 设置为时间戳。

[128 76 69 116 64 7 0 0 48 131 37 0]

如何将其转换为时间戳？

我知道前 8 个字节应该转换为 int64 毫秒，表示纪元日期时间。

解决方案

前 8 个字节是以纳秒为单位的时间，而不是毫秒。它们也不是从纪元开始计算的，而是从午夜开始计算的。日期部分单独存储在最后4个字节中，为Julian day number。

这是我之前做的一项实验的结果，可能会有所帮助。我将 '2000-01-01 12:34:56' 存储为 int96 并使用 parquet-tools 转储：

$ parquet-tools dump hdfs://path/to/parquet/file | tail -n 1
value 1: R:0 D:1 V:117253024523396126668760320

由于 117253024523396126668760320 = 0x60fd4b3229000059682500，这 12 个字节是 00 60 fd 4b 32 29 00 00 | 59 68 25 00，哪里 |显示时间和日期部分之间的边界。

00 60 fd 4b 32 29 00 00 是时间部分。我们需要反转字节，因为 int96 时间戳使用相反的字节顺序，因此我们得到 0x000029324bfd6000 = 45296 * 10^9 纳秒 = 45296 秒 = 12 小时 + 34 分钟 + 56 秒。

59 68 25 00 是日期部分，如果我们反转字节，我们会得到 0x00256859 = 2451545 作为儒略日数字，即 corresponds to 2000-01-01。

今天带大家了解了的相关知识，希望对你有所帮助；关于Golang的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~