如何在Kafka中实现单个消息的快速写入？

对于 Kafka 初学者，在 Golang 中使用 segmentio kafka-go 库时，单条消息的写入速度很慢。原因在于，默认情况下，库会在批量达到最大大小（100 条消息）或等待 1 秒后才写入消息。

我是Golang和Kafka的新手，我正在使用segmentio kafka-go通过Golang连接到Kafka服务器。截至目前，我想推送 Kafka 中用户的每个事件，所以我想推送单个消息（而不是批量），但由于该库提供的写入操作对于批量或单个消息需要相同的时间，因此需要很多时间。有没有什么方法可以快速编写单条消息，以便我可以在更短的时间内在 kafka 中推送数百万个事件？

我已经对单条消息和批量消息进行了测试，它花费相同的时间（最短为10毫秒）。

解决方案

我认为你的问题只是 writerconfig。

例如，如果您的配置类似于segmentio/kafka-go 文档上的示例：

w := kafka.newwriter(kafka.writerconfig{
    brokers:      []string{"localhost:9092"},
    topic:        "topic-a",
    balancer:     &kafka.leastbytes{},
})

您可以尝试设置批量大小和批量超时：

w := kafka.NewWriter(kafka.WriterConfig{
    Brokers:      []string{"localhost:9092"},
    Topic:        "topic-A",
    Balancer:     &kafka.LeastBytes{},
    BatchSize:    1,
    BatchTimeout: 10 * time.Millisecond,
})

发生这种情况是因为 kafka-go 默认等待 1 秒，直到批量达到最大大小，默认情况下为 100 条消息，正如我们在 code 中看到的那样。

希望对您有帮助。

更新：请注意，逐条发送消息会减慢进程。 例如：批量发送100条消息在我的电脑上花费了0.0107s。一条一条发送相同的 100 条消息花费了 0.0244 秒。

我对golang了解不多。但以下使用 Writer.WriteMessages 的函数具有同步发送选项。

写入速度快（使用同步发送）实际上取决于您的网络往返时间，即将消息发送到 kafka 所需的时间加上从 kafka 获取确认所需的时间。

如果您使用同步发送，那么您的发送将被阻塞，直到收到确认为止。 因此，为了加快速度，一种方法是减少确认。最好将其设置为 1（这意味着领导者已将消息写入其日志，但不会复制到追随者）。但是如果领导者宕机并且消息没有被复制，这可能会导致损失。

因此，您可以将其设置为 acks=all 并更改主题上的 min.insync.replicas=2 。值越小，send() 返回的速度越快，并且将下一条消息推送到 kafka 的速度也越快。

理论要掌握，实操不能落！以上关于《如何在Kafka中实现单个消息的快速写入？》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！