跳过 SQS 消息时使用队列操作

“纵有疾风来，人生不言弃”，这句话送给正在学习Golang的朋友们，也希望在阅读本文《跳过 SQS 消息时使用队列操作》后，能够真的帮助到大家。我也会在后续的文章中，陆续更新Golang相关的技术文章，有好的建议欢迎大家在评论留言，非常感谢！

我有一个消息生产者，将 {"user_id": 1, "message": "ciao"} 之类的消息发送到 sqs 队列。

我有三个 websocket api 实例，它们的名称是 a、b 和 c。

假设有 5 个用户连接到该 api，他们的 id 分别为 1、2、3、4 和 5。

每个用户都连接到 api，我的平衡器（粘性 ofc）使客户端以这种方式连接到 api：

A: 1, 3
B: 5
C: 2, 4

现在，websocket api 就是上面提到的 sqs 队列的消费者。

当我为用户 1 排队一条消息时，任何消费者都可以先将其出队，假设 c 可以。

实例 c 无法对 user_id 1 的消息执行任何操作。a 确实保留与该用户的实际连接。

在我看来，这会像这样工作：任何消息都会被所有三个 api 实例接收。

• c 将读取它，并将其留在队列中
• b 将读取它，并将其留在队列中
• a 将读取它、处理它并将其从队列中删除

我的问题是：

上述工作流程是否可以通过 sqs 实施？

是否可以从队列中读取消息并将其留在那里？或者如果当前消费者无法处理，我是否必须将其出队并重新入队？

正确答案

仅使用 sqs 是可行的（但需要在消费者中定制代码）。

示例： sqs 根据消费者发送的确认删除消息。如果消费者发送确认，sqs 将删除该条目。因此，一种设计方法是：

a) 消费消息 b) 检查是否是所需的消息 c) 如果是，则向sqs发送ack，sqs将删除该条目 d) 如果消息不是所需的消息，则不发送并确认，sqs 将保留记录

其他方法：

您可以将sqs与sns结合起来来实现。

您可以为 3 个 websocket api 设置 3 个单独的队列，例如sqs_a、sqs_b、sqs_c。您可以创建一个 sns 主题，例如 mytopic。然后，您可以根据订阅过滤使队列订阅sns主题。

示例，

1. 如果事件过滤器中包含 user_id 1 和 3，则 sqs_a 将订阅 sns 主题。
2. 如果事件过滤器中包含 user_id 5，则 sqs_b 将订阅 sns 主题。
3. 如果事件过滤器中包含 user_id 2，则 sqs_c 将订阅 sns 主题。

sqs_a 的事件过滤如下所示：

{
  "eventtype": [
    1,
    3"
  ]
}

所以...现在，当发布者发布消息时，它会将消息连同事件类型一起发布到 sns 主题。

示例：

sns.PublishInput{
        Message:  msg,
        TopicArn: topic,
        MessageAttributes: {
            EventType: {
                DataType: "String",
                StringValue: <listOfUserId>
            }
        }
}

现在，sns 只会将此消息发送到 sqs_a，而不是 sqs 的其余部分。因此，只有 websocket a 才会消费该消息。

更多：https://docs.aws.amazon.com/sns/latest/dg/sns-subscription-filter-policies.html

注意：这不是一个健壮、易于扩展、可伸缩的设计

这是发布者-订阅者架构的一个用例。要在 aws 基础设施上实现此功能，首先假设 sqs 作为订阅者。在使用订阅的消息时不应进行消息过滤。这是 publisher 的一部分。 aws 提供可以充当发布者的 sns。

假设以下设置。使用sns作为发布者。在此，您可以进行消息过滤（https://docs.aws.amazon.com/sns/latest/dg/sns-message-filtering.html）。这允许 sns 有选择地发送消息。

在您的用例中，
[用户 1/3 的消息] -> sns -> sqs for a -> websocket a 只获取用户 1/3> 的消息
[用户5的消息] -> sns -> sqs for b -> websocket a仅获取用户5的消息

请注意，两种情况下的 sns 主题保持不变。但是订阅者会过滤消息，并且您将拥有多个 sqs 队列。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。