Kafka生产者未使用分区发布消息

“纵有疾风来，人生不言弃”，这句话送给正在学习Golang的朋友们，也希望在阅读本文《Kafka生产者未使用分区发布消息》后，能够真的帮助到大家。我也会在后续的文章中，陆续更新Golang相关的技术文章，有好的建议欢迎大家在评论留言，非常感谢！

我正在创建 kafka 主题，如下所示：

kafka-topics --create --zookeeper xx.xxx.xx:2181 --replication-factor 2 --partitions 200 --topic test6 --config retention.ms=900000

然后我使用以下库通过 golang 生成消息：

"gopkg.in/confluentinc/confluent-kafka-go.v1/kafka"

生产者配置如下所示：

for _, message := range bigslice {

    topic := "test6"
        p.Produce(&kafka.Message{
            TopicPartition: kafka.TopicPartition{Topic: &topic},
            Value:          []byte(message),
        }, nil)

        }

问题是我发送了超过 200k 条消息，但它们都落在分区 0 中。

在这种情况下可能出现什么问题？

解决方案

具有相同密钥的消息将被添加到同一分区。如果不是这种情况，则尝试包含 partition：kafka.partitionany：

for _, message := range bigslice {

    topic := "test6"
        p.Produce(&kafka.Message{
            TopicPartition: kafka.TopicPartition{Topic: &topic, Partition: kafka.PartitionAny},
            Value: []byte(message),
        }, nil)

    }

生成时没有提供密钥，因此它会转到同一分区。我建议你至少读一下这篇https://medium.com/event-driven-utopia/understanding-kafka-topic-partitions-ae40f80552e8

终于介绍完啦！小伙伴们，这篇关于《Kafka生产者未使用分区发布消息》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！