当前位置：首页 > 文章列表 > 科技周边 > 人工智能 > 向量检索怎样按文档语言过滤召回结果

向量检索怎样按文档语言过滤召回结果

来源：17golang原创 2026-10-21 01:08:59 0浏览收藏

向量检索默认按 embedding 的相似度排序，但“相似”不等于“符合语言要求”。如果知识库同时包含中文、英文和多语言版本，直接扩大 topK 再在应用层筛选，常见结果是候选被过滤掉后数量不足，甚至让不同语言的版本互相竞争。更稳妥的做法是把语言当作规范化元数据，在向量检索时作为硬约束，再让相似度在约束范围内排序。

官方地址：https://qdrant.tech/

下面用 Qdrant 说明这种架构，重点不在某个数据库的 API 记忆，而在“字段怎么定义、过滤放在哪里、结果不足怎么办”这三个决策。

为什么不能只把语言写进查询文本

“请用中文回答”适合约束生成模型，“只检索中文文档”却是检索集合的约束。把 中文 追加到用户问题中，embedding 可能仍然把语义相近但语言不同的文档排在前面，因为语言信息未必在向量空间里形成可靠的硬边界。

应用层后过滤也有一个容易忽略的损失：假设系统先取 5 条，再丢掉其中 3 条英文文档，最终只剩 2 条中文结果。把 topK 调大可以缓解，但它不是保证；当目标语言占比很低、文档分布不均或相似度阈值较紧时，仍可能没有足够候选。

文档分块、语言元数据、向量和 payload 索引之间的静态关系说明图 — 图1：语言字段与向量分开承担职责，属于静态结构图，不是运行截图或执行证据。

因此要先回答一个架构问题：语言是“希望结果尽量满足的偏好”，还是“结果必须满足的业务条件”。多语言客服知识库、合规文档和按地区发布的说明，通常属于后者；这时语言字段应该进入过滤条件，而不是只进入提示词。

入库时把语言设计成稳定的元数据

过滤能否可靠，首先取决于入库数据是否一致。建议每个文档分块至少保存 language、document_id 和 chunk_id，其中语言值采用有限且明确的编码，例如 zh-CN、zh-TW、en，不要一部分记录写“中文”、另一部分写“简体中文”。

{
  "document_id": "manual-042",
  "chunk_id": "manual-042-07",
  "language": "zh-CN",
  "text": "向量检索会先根据过滤条件缩小可参与排序的文档集合。"
}

上面的 JSON 是数据形状示例，保持严格 JSON 格式，不在其中插入注释。真正入库时要把同一套规范应用到所有分块：语言识别失败时不要悄悄写成默认语言，可以保存 und 或进入待处理队列；否则“未知”会被误当成“中文”，造成难以解释的召回偏差。

语言字段适合做精确匹配，而不是全文检索。Qdrant 文档将这类字段放在 payload 中，并建议为参与过滤的字段创建对应索引；对于语言代码这类离散字符串，使用 keyword 类型比把它当作普通文本拆词更符合意图。

用 keyword 索引在检索阶段过滤

先创建语言字段的 payload index，再在查询中把它放进过滤条件。索引最好在批量写入前建立；如果数据已经写入，新增索引可能还需要重建向量图，才能获得完整的过滤优化。

{
  "field_name": "language",
  "field_schema": "keyword"
}

查询时使用精确值：

{
  "query": [0.12, -0.08, 0.44, 0.31],
  "filter": {
    "must": [
      {"key": "language", "match": {"value": "zh-CN"}}
    ]
  },
  "limit": 8,
  "with_payload": true
}

这里的关键不是把 limit 写成 8，而是让过滤条件在向量搜索范围内生效。这样返回的每个候选都先满足语言约束，再按照向量相似度竞争；如果还要加租户、产品线或时间范围，就把它们作为额外的结构化条件组合，而不是把这些值拼进自然语言查询。

如果应用使用 Go，可以把请求边界收敛在一个函数中，避免不同调用方自行拼写语言值：

package search

import (
    "context"
    "fmt"

    "github.com/qdrant/go-client/qdrant"
)

func LanguageCondition(language string) (*qdrant.Filter, error) {
    // 只允许已登记的语言代码，避免把用户输入直接变成过滤字段。
    switch language {
    case "zh-CN", "zh-TW", "en":
        return &qdrant.Filter{
            Must: []*qdrant.Condition{qdrant.NewMatch("language", language)},
        }, nil
    default:
        return nil, fmt.Errorf("unsupported document language: %s", language)
    }
}

func BuildRequest(ctx context.Context, language string) (*qdrant.Filter, error) {
    // 统一入口让上层在空结果时可以识别是过滤条件导致的限制。
    if err := ctx.Err(); err != nil {
        return nil, err
    }
    return LanguageCondition(language)
}

示例只负责构造过滤对象，没有在本地连接 Qdrant，也没有假设某个查询结果。生产代码还应把语言代码作为内部枚举或配置值传入，并在请求取消时及时停止后续调用。