如何使用 Go 从 MapR 集群读取文件？

哈喽！今天心血来潮给大家带来了《如何使用 Go 从 MapR 集群读取文件？》，想必大家应该对Golang都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习Golang，千万别错过这篇文章~希望能帮助到你！

我有一个在 Kubernetes 集群中运行的 Go 应用程序，它需要从大型 MapR 集群读取文件。这两个集群是独立的，并且 Kubernetes 集群不允许我们使用 CSI 驱动程序。我所能做的就是在 Kubernetes pod 内的 Docker 容器中运行用户空间应用程序，并使用 maprtickets 连接到 MapR 集群。

我可以使用 com.mapr.hadoop maprfs jar 来编写一个 Java 应用程序，该应用程序能够使用 maprticket 连接和读取文件，但我们需要将其集成到 Go 应用程序中，理想情况下，应该不需要 Java sidecar 进程。

正确答案

这是一个很好的问题，因为它强调了某些环境施加限制的方式，这些限制违反了外部软件可能持有的假设。

仅供参考，MapR 已被 HPE 收购，因此 MapR 集群现在是 HPE Ezmeral Data Fabric 集群。我仍在训练自己说这句话。

无论如何，X 语言中的通用程序与 Ezmeral Data Fabric（文件系统以前称为 MapR FS）进行通信的公认方法是挂载文件系统，然后使用文件 API（例如打开/读取/）与其进行通信。写等等。这适用于 Go、Python、C、Julia 等。在 Kubernetes 内部，执行此挂载的正常方法是使用 CSI 驱动程序，该驱动程序具有某种在后台工作的操作员。该运算符并不是特别神奇......它只是做需要的事情。对于数据结构，操作员使用 NFS 或 FUSE 挂载数据结构，然后将其中的 mounts[1] 部分绑定到 pod 的感知中。

但是这个问题很酷，因为它排除了所有这些。如果你不能安装一个操作员，那么其他的东西就只是一纸空文。

三种替代方法可能有效。

1. 在 CSI 插件方法标准化之前，NFS 挂载已作为本机功能包含在 Kubernetes 中。也许仍然可以在非常普通的 Kubernetes 集群上使用它，并且可以提供对数据集群的访问。

2. 可以将容器集成到您的 pod 中，以非特权方式执行必要的 FUSE 安装。这会有点痛苦，因为您必须将 FUSE 驱动程序从 Data Fabric 安装中分离出来并使其正常工作。这会让您看到 Pod 内的数据结构。即使如此，也无法保证 Kubernetes 或操作系统将允许此功能发挥作用。

3. 有一个未发布的 Go 文件系统客户端，可直接使用低级 Data Fabric API。我们还没有单独发布它。有关这方面的更多信息，人们应该直接联系我（我的联系信息无处不在……发送电子邮件至 ted.dunning hpe.com 或 gmail.com 即可）

4. 数据结构允许您通过 S3 访问数据。随着 Ezmeral Data Fabric 7.0 版本的发布，此功能经过大幅改进，可提供巨大的性能，特别是因为您可以基本上无限制地扩展网关数量（我听说过每个与网关的无状态连接 3-5GB/s 之类的数字，但是YMMV）。这将需要最少的麻烦并且应该提供足够的性能。您甚至可以像访问 S3 对象一样访问文件。

[1]https://unix.stackexchange.com/questions/198590/what-is-a-bind-mount#:~:text=A%20bind%20mount%20is%20an,the%20same%20as%20the%20original。

今天关于《如何使用 Go 从 MapR 集群读取文件？》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！