NATS Jetstream 的性能

本篇文章向大家介绍《NATS Jetstream 的性能》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。

我正在尝试了解 NATS Jetstream 如何扩展并有几个问题。

1. 按主题订阅历史消息的效率如何？例如，假设有一个流 foo，其中包含 1 亿条主题为 foo.bar 的消息，然后是一条主题为 foo.baz 的消息。如果我从流的开头订阅 foo.baz，服务器上的某些内容必须对 foo 中的所有消息执行线性扫描，或者能够立即查找 foo.baz 消息。

2. 系统的水平扩展能力如何？我问这个问题是因为我在让 Jetstream 扩展到每秒几千条消息以上时遇到问题，无论我向它投入多少台机器。测试参数如下：

   • Nats Server 2.6.3 在 4 核 8GB 节点上运行
   • 单个流复制 3 次（磁盘或内存中似乎没有区别）
   • 500 字节消息负载
   • n 发布者每秒发布 1k 条消息 瓶颈似乎出现在发布方面，因为我检索消息的速度至少与发布消息的速度一样快。

正确答案

在 NATS JetStream 中发布与在 Core NATS 中发布略有不同。 是的，您可以将 Core NATS 消息发布到由流记录的主题，并且该消息确实会在流中捕获，但在 Core NATS 发布的情况下，发布应用程序并不期望从流中返回确认。 nats-server，而在 JetStream 发布调用的情况下，有一个确认从 nats-server 发送回客户端，表明消息确实已成功持久化和复制（或未成功）。

因此，当您执行 js.Publish() 时，您实际上是在进行同步相对较高延迟的请求-回复（特别是如果您的复制为 3 或 5，如果您的流持久保存到文件，并且取决于网络，则更是如此）客户端应用程序和 nats 服务器之间的延迟），这意味着如果您只是连续执行这些同步发布调用，那么您的吞吐量将受到限制。

如果您希望将消息发布到流的吞吐量，您应该使用 JetStream 发布调用的异步版本（即您应该使用返回 PubAckFuture 的 js.AsyncPublish()）。

但是，在这种情况下，您还必须记住通过限制您希望在任何给定时间拥有的“运行中”异步发布应用程序的数量来引入一定程度的流量控制（这是因为您始终可以异步发布比 nats-server 复制和保存消息的速度更快。

如果您要尽可能快地持续异步发布（例如，当发布某种批处理过程的结果时），那么您最终会压垮您的服务器，这是您真正想要避免的事情。

您有两个选项来控制 JetStream 异步发布的流量：

• 在获取 JetStream 上下文时指定最大数量的正在进行的异步发布请求作为选项：即 js = nc.JetStream(nats.PublishAsyncMaxPending(100))
• 使用一个简单的批处理机制来检查每个异步发布的发布的 PubAcks，如 nats bench 所做的那样：https://github.com/nats-io/natscli/blob/e6b2b478dbc432a639fbf92c5c89570438c31ee7/cli/bench_command.go#L476

关于预期性能：使用异步发布可以让您真正获得 NATS 和 JetStream 能够达到的吞吐量。验证或测量性能的一个简单方法是使用 nats CLI 工具 (https://github.com/nats-io/natscli) 运行基准测试。

例如，您可以从一个简单的测试开始： nats bench foo --js --pub 4 --msgs 1000000 --replicas 3 （在内存流中，有 3 个副本 4 个 go 例程，每个副本都有自己的连接发布 128 字节消息批量为 100 条），您每秒应该会收到很多超过数千条消息。

有关如何使用 nats bench 命令的更多信息和示例，您可以观看此视频：https://youtu.be/HwwvFeUHAyo

对于 R3 文件存储，您预计每秒会收到约 250k 小消息。如果您使用同步发布，则从应用程序到系统、从流领导者到最近的追随者将由 RTT 主导。您可以使用窗口智能异步发布来获得更好的性能。

您可以通过内存存储获得更高的数字，但整个系统将再次由 RTT 主导。

如果您让我了解您的消息有多大，我们可以向您展示 nats 基准测试针对演示服务器 (R1) 和 NGS（R1 和 R3）的一些结果。

对于有关过滤消费者的原始问题，>= 2.8.x 不会执行线性扫描来检索foo.baz。如果有帮助的话，我们也可以展示一个这样的例子。

欢迎加入 Slack 频道 (slack.nats.io)，这是一个非常活跃的社区。甚至可以直接给我发私信，很乐意提供帮助。

本篇关于《NATS Jetstream 的性能》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于Golang的相关知识，请关注golang学习网公众号！