单元测试 Sarama Kafka 库中消费者组的 session.MarkMessage() 方法
在IT行业这个发展更新速度很快的行业,只有不停止的学习,才不会被行业所淘汰。如果你是Golang学习者,那么本文《单元测试 Sarama Kafka 库中消费者组的 session.MarkMessage() 方法》就很适合你!本篇内容主要包括##content_title##,希望对大家的知识积累有所帮助,助力实战开发!
我正在尝试调整 github.com/shopify/sarama 的消费者组示例中的代码,并且正在努力添加一个单元测试来测试 session.markmessage() 中 consumeclaim 方法的功能(https: //github.com/shopify/sarama/blob/5466b37850a38f4ed6d04b94c6f058bd75032c2a/examples/consumergroup/main.go#l160)。
这是我使用 consume() 函数改编的代码:
package main
import (
"context"
"fmt"
"log"
"os"
"os/signal"
"sync"
"syscall"
"github.com/shopify/sarama"
)
var (
addrs = []string{"localhost:9092"}
topic = "my-topic"
)
func main() {
ctx, cancel := context.withcancel(context.background())
defer cancel()
var wg sync.waitgroup
defer wg.wait()
consumer := &consumer{ready: make(chan bool)}
close := consume(ctx, &wg, consumer)
defer close()
<-consumer.ready
log.println("sarama consumer up and running!")
sigterm := make(chan os.signal, 1)
signal.notify(sigterm, syscall.sigint, syscall.sigterm)
select {
case <-ctx.done():
log.println("terminating: context cancelled")
case <-sigterm:
log.println("terminating: via signal")
}
}
func consume(ctx context.context, wg *sync.waitgroup, consumer *consumer) (close func()) {
config := sarama.newconfig()
config.version = sarama.v0_11_0_2 // the version has to be at least v0_10_2_0 to support consumer groups
config.consumer.offsets.initial = sarama.offsetoldest
consumergroup, err := sarama.newconsumergroup(addrs, "my-group", config)
if err != nil {
log.fatalf("newconsumergroup: %v", err)
}
wg.add(1)
go func() {
defer wg.done()
for {
if err := consumergroup.consume(ctx, []string{topic}, consumer); err != nil {
log.panicf("consume: %v", err)
}
if ctx.err() != nil {
return
}
consumer.ready = make(chan bool)
}
}()
close = func() {
if err := consumergroup.close(); err != nil {
log.panicf("close: %v", err)
}
}
return
}
// consumer represents a sarama consumer group consumer
type consumer struct {
ready chan bool
handle func([]byte) error
}
// setup is run at the beginning of a new session, before consumeclaim
func (consumer *consumer) setup(sarama.consumergroupsession) error {
// mark the consumer as ready
close(consumer.ready)
return nil
}
// cleanup is run at the end of a session, once all consumeclaim goroutines have exited
func (consumer *consumer) cleanup(sarama.consumergroupsession) error {
return nil
}
// consumeclaim must start a consumer loop of consumergroupclaim's messages().
func (consumer *consumer) consumeclaim(session sarama.consumergroupsession, claim sarama.consumergroupclaim) error {
for message := range claim.messages() {
log.printf("message claimed: value = %s, timestamp = %v, topic = %s", message.value, message.timestamp, message.topic)
if consumer.handle != nil {
if err := consumer.handle(message.value); err != nil {
return fmt.errorf("handle message %s: %v", message.value, err)
}
}
session.markmessage(message, "")
}
return nil
}
以下是我为其编写的几个单元测试:
package main
import (
"context"
"fmt"
"log"
"sync"
"testing"
"time"
"github.com/shopify/sarama"
"github.com/stretchr/testify/require"
"gotest.tools/assert"
)
func testconsume(t *testing.t) {
config := sarama.newconfig()
config.producer.return.successes = true
producer, err := sarama.newsyncproducer(addrs, config)
require.noerror(t, err)
partition, offset, err := producer.sendmessage(&sarama.producermessage{
topic: topic,
value: sarama.byteencoder([]byte("foobar")),
})
require.noerror(t, err)
t.logf("sent message to partition %d with offset %d", partition, offset)
ctx, cancel := context.withcancel(context.background())
var wg sync.waitgroup
consumer := &consumer{ready: make(chan bool)}
close := consume(ctx, &wg, consumer)
<-consumer.ready
log.println("sarama consumer up and running!")
time.sleep(1 * time.second)
cancel()
wg.wait()
close()
}
func testconsumetwice(t *testing.t) {
config := sarama.newconfig()
config.producer.return.successes = true
producer, err := sarama.newsyncproducer(addrs, config)
require.noerror(t, err)
data1, data2 := "foobar1", "foobar2"
for _, data := range []string{data1, data2} {
partition, offset, err := producer.sendmessage(&sarama.producermessage{
topic: topic,
key: sarama.stringencoder("foobar"),
value: sarama.stringencoder(data),
})
require.noerror(t, err)
t.logf("sent message to partition %d with offset %d", partition, offset)
}
ctx, cancel := context.withcancel(context.background())
var wg sync.waitgroup
messagereceived := make(chan []byte)
consumer := &consumer{
ready: make(chan bool),
handle: func(data []byte) error {
messagereceived <- data
fmt.printf("received message: %s\n", data)
return nil
},
}
close := consume(ctx, &wg, consumer)
<-consumer.ready
log.println("sarama consumer up and running!")
for i := 0; i < 2; i++ {
data := <-messagereceived
switch i {
case 0:
assert.equal(t, data1, string(data))
case 1:
assert.equal(t, data2, string(data))
}
}
cancel()
wg.wait()
close()
}
可以在 docker 容器(例如 johnnypark/kafka-zookeeper)中运行 kafka 和 zookeeper 后运行测试,如下所示:
docker run -p 2181:2181 -p 9092:9092 -e advertised_host=127.0.0.1 -e num_partitions=10 johnnypark/kafka-zookeeper
我正在努力解决以下问题:如果我注释掉该行
session.MarkMessage(message, "")
测试仍然通过。根据 https://godoc.org/github.com/shopify/sarama#consumergroupsession,markmessage 将消息标记为已使用,但我如何在单元测试中测试它?
解决方案
sarama.ConsumerGroupSession.MarkMessage 调用 sarama.PartitionOffsetManager.MarkOffset,并在方法注释中说:“注意:出于效率原因,调用 MarkOffset 不一定会立即将偏移量提交到后端存储,并且可能永远不会提交,如果您的应用程序崩溃了。这意味着您最终可能会处理同一消息两次。”
因此,在单元测试中,MarkMessage 提交偏移量的速度不够快。我遇到了同样的问题,谷歌把我带到了这里。在测试函数结束时休眠一秒钟可能是一种解决方法。
以上就是《单元测试 Sarama Kafka 库中消费者组的 session.MarkMessage() 方法》的详细内容,更多关于的资料请关注golang学习网公众号!
解析包含姓名的完整电子邮件地址
- 上一篇
- 解析包含姓名的完整电子邮件地址
- 下一篇
- Golang:革新传统,实现技术突破
-
- Golang · Go问答 | 11小时前 | 标准库 · Go问答 · Go RGBA image/draw image.Image color.Model Paletted draw.Draw Gray
- Go image/draw.Draw 怎样处理不同颜色模型的绘制
- 374浏览 收藏
-
- Golang · Go问答 | 11小时前 | 标准库 · 事务 · database/sql · Go问答 · Go 事务 isolation database/sql readonly TxOptions BeginTx
- Go database/sql TxOptions 的 ReadOnly 和 Isolation 怎么配合
- 443浏览 收藏
-
- Golang · Go问答 | 11小时前 | 标准库 · 连接池 · database/sql · Go问答 · Go 连接池 database/sql 连接生命周期 sql.Conn Conn.Close ErrConnDone
- Go database/sql.Conn.Close 后连接怎样回到连接池
- 426浏览 收藏
-
- Golang · Go问答 | 11小时前 | 标准库 · HTTP · Go问答 · Go 重复请求头 MIMEHeader.Values 首个值 textproto.MIMEHeader.Get 请求头大小写
- Go textproto.MIMEHeader.Get 为什么只返回一个请求头值
- 300浏览 收藏
-
- Golang · Go问答 | 12小时前 | 结构体 · 标准库 · 错误处理 · Go问答 · Go io.ErrUnexpectedEOF encoding/binary.Read 结构体空白字段 协议填充 binary.Size
- Go encoding/binary.Read 怎样处理结构体中的空白字段
- 330浏览 收藏
-
- Golang · Go问答 | 12小时前 | go · Go math/big big.Int Float.IsInt Float.Int64
- Go math/big.Float.IsInt 为什么不能用来判断能否转成 int64
- 358浏览 收藏
-
- Golang · Go问答 | 12小时前 | 标准库 · Go问答 · Go 位运算 位图 math/bits bits.Len64
- Go math/bits.Len64 为什么适合计算位图宽度
- 235浏览 收藏
-
- Golang · Go问答 | 12小时前 | go · math/big.Rat.Scan fmt.Scanner Go有理数
- Go math/big.Rat.Scan 的 %f 与 %v 为什么采用相同读取规则
- 270浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1128次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1112次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1287次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1227次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1078次使用
-
- 用Nginx反向代理部署go写的网站。
- 2023-01-17 502浏览
-
- GoLand调式动态执行代码
- 2023-01-13 502浏览
-
- Go index/suffixarray.Index.Bytes 怎样取得索引引用的原始数据
- 2026-11-18 501浏览
-
- Go gosym.Sym.BaseName 怎样去掉符号的包名与接收者
- 2026-11-17 501浏览
-
- 正则命名捕获组取不到值怎么办
- 2026-11-15 501浏览

