使用Apache Beam执行内存处理

在使用 Apache Beam 处理内存中数据时，需要意识到 Beam 并不是一个数据处理引擎，而是一个允许在不同引擎（如 Spark、Flink、Google Dataflow）上创建和运行统一管道的 SDK。为了在内存中处理消息，需要使用受支持的数据处理引擎或 DirectRunner，后者仅用于测试目的且存在限制。

我正在运行自己的 GRPC 服务器，收集来自各种数据源的事件。服务器是用 Go 开发的，所有事件源都以预定义格式作为 protobuf 消息发送事件。

我想要做的是在内存中使用 Apache Beam 处理所有这些事件。

我浏览了 Apache Beam 的文档，但找不到可以实现我想要的功能的示例。我不会使用 Kafka、Flink 或任何其他流媒体平台，只是在内存中处理消息并输出结果。

有人可以告诉我开始编写简单的流处理应用程序的正确方法吗？

解决方案

好吧，首先，Apache Beam 不是一个数据处理引擎，它是一个 SDK，允许您创建统一的管道并在不同的引擎上运行它，例如 Spark、Flink、Google Dataflow 等。所以，要运行Beam 管道，您需要利用任何受支持的数据处理引擎或使用 DirectRunner，它将在本地运行您的管道，但（！）它有很多限制，并且主要是为了测试目的而开发的。

正如 Beam 中的每个管道一样，都必须有一个源转换（有界或无界），它将从数据源读取数据。我可以猜测，在您的情况下，您的 GRPC 服务器应该重新传输收集到的事件。因此，对于源转换，您可以使用已实现的 Beam IO transforms（IO 连接器）或创建您自己的，因为 Beam 中目前没有 GrpcIO 或类似的东西。

关于内存中数据的处理，我不确定我是否完全理解你的意思。它主要取决于所使用的数据处理引擎，因为最终，您的 Beam 管道将在实际运行之前转换为 Spark 或 Flink 管道（如果您相应地使用 SparkRunner 或 FlinkRunner ），然后数据处理引擎将管理管道工作流程。大多数现代引擎尽最大努力将所有已处理的数据保留在内存中，并仅在最后手段下将其刷新到磁盘上。

以上就是《使用Apache Beam执行内存处理》的详细内容，更多关于的资料请关注golang学习网公众号！