AI 嵌入模型怎样处理多语言文档混合检索

多语言文档混合检索最容易踩的坑，不是“模型会不会中文”，而是文档向量和查询向量是否真的在同一个空间里。我的经验是：先固定一种支持多语言的模型，再统一查询模板、文档切分、向量归一化和相似度计算，最后才讨论向量库参数。否则中文查询召回英文文档时，问题可能被误判成“模型效果不好”。

官方地址：https://huggingface.co/docs/inference-providers/

本文只讨论语言混合、向量空间和查询归一化，不展开具体向量数据库的索引调参。配图是静态结构说明图，不是运行截图或实验结果。

先判断到底是哪一层出了问题

多语言检索出现“中文问题找不到英文资料”时，我会先把症状拆成三类：

• 跨语言召回为空：中文查询与英文文档的相似度整体偏低，通常先查模型是否支持目标语言，以及两侧是否误用了不同模型。
• 同语言正常、混合语言排序漂移：中文对中文、英文对英文都能召回，但跨语言结果掉出前几名，常见原因是查询模板或归一化处理不一致。
• 长文档只有前半段有效：模型的最大输入长度不同，超出部分可能被截断；这时不是“多语言”本身的问题，而是切分和长度没有跟模型约束对齐。

先保存一组最小对照集：中文查询、英文等义查询、包含中英术语的混合查询，再各放一条中文、一条英文和一条混合文档。每次只改变一个变量，观察候选的相对顺序，不要把某个模型的绝对分数当成跨模型通用阈值。

把文档和查询放进同一个向量空间

以 Hugging Face 模型卡中的两个常见方向为例，BAAI/bge-m3 面向多语言和长文本，模型卡列出的向量维度为 1024、序列长度为 8192，并支持 dense、sparse 和 multi-vector 三种检索表示。它的检索说明明确指出，使用嵌入检索时不需要给查询额外添加指令。

intfloat/multilingual-e5-large-instruct 则要求查询带一条描述任务的指令，文档侧不加指令；模型卡同时说明长文本最多截断到 512 token。两者都可以用于多语言语义检索，但查询格式不能混用。

下面的封装把“文档编码”和“查询编码”明确分开。示例使用 E5 instruct 的规则；如果切换到 BGE-M3，应删除查询指令，而不是保留旧模板。

from sentence_transformers import SentenceTransformer

MODEL_NAME = "intfloat/multilingual-e5-large-instruct"
TASK = "Given a search query, retrieve passages that answer the query"

model = SentenceTransformer(MODEL_NAME)

def encode_documents(documents: list[str]):
    # 文档侧不添加 instruct，保持文档向量的输入格式一致。
    return model.encode(documents, normalize_embeddings=True)

def encode_query(query: str):
    # 查询侧使用一条任务说明，再接原始查询文本。
    instructed = f"Instruct: {TASK}\nQuery: {query}"
    return model.encode([instructed], normalize_embeddings=True)[0]

documents = [
    "The service retries a request after a temporary network failure.",
    "服务会在临时网络故障后重试请求。",
]
query_vector = encode_query("临时网络故障时如何重试请求？")
document_vectors = encode_documents(documents)

# 归一化后可以直接使用点积近似余弦相似度。
scores = document_vectors @ query_vector
print(scores.tolist())

这段代码的关键不是调用哪个库，而是把规则固化在边界上：同一索引中的文档必须由同一个模型、同一版本和同一输入约定编码；查询也必须走与模型匹配的模板。若历史文档已经用另一模型生成，应该重建索引或分开存储，不能只替换查询侧。

查询归一化要统一“格式”和“向量”两件事

很多团队说“查询归一化”，其实混在了一起。第一层是文本格式归一化：语言标签、指令前缀、空白、大小写和截断规则；第二层是向量归一化：是否做 L2 normalization，以及相似度采用点积还是余弦。两层只要有一层不一致，排序就可能变化。

对 E5 instruct，查询需要任务指令，文档不需要；对 BGE-M3，官方说明是不再给查询添加指令。不要为了“统一代码”强行给所有模型加同一个前缀。更稳妥的做法是把模型的输入协议作为配置项，并在索引元数据里记录模型名、版本、维度和归一化方式。

from dataclasses import dataclass
import numpy as np

@dataclass(frozen=True)
class EmbeddingContract:
    # 这些字段必须和建库时的记录完全一致。
    model_name: str
    dimension: int
    normalize: bool
    query_template: str

def normalize_vector(vector: np.ndarray, contract: EmbeddingContract) -> np.ndarray:
    # 只在契约要求时归一化；零向量直接拒绝，避免产生无意义的分数。
    if not contract.normalize:
        return vector
    norm = np.linalg.norm(vector)
    if norm == 0:
        raise ValueError("embedding 不能是零向量")
    return vector / norm

contract = EmbeddingContract(
    model_name="intfloat/multilingual-e5-large-instruct",
    dimension=1024,
    normalize=True,
    query_template="Instruct: {task}\\nQuery: {query}",
)
query_vector = normalize_vector(query_vector, contract)
print(contract.model_name, contract.dimension, query_vector.shape)

这里的 dimension 不是为了计算分数，而是为了尽早发现“查询模型已经切换、索引却没重建”的问题。生产日志至少记录语言、文本长度、模型契约版本、候选数量和最高分；不要记录原文中的敏感内容。

用跨语言对照样本定位排序漂移

我的排查顺序通常是固定的。先用同一语义的中英文查询分别检索同一批文档，再看它们的候选交集；然后把查询改成中英混合术语，观察技术名词是否被保留。如果同义查询的候选交集很小，优先查输入模板和文档侧模型；如果交集稳定但排序不稳定，再查归一化和切分。

可以为每条测试样本保存一个人工确认的“应该命中的语言”和主题标签，而不是只保存一个分数阈值。因为 E5 模型卡也提醒，相似度的绝对数值受训练温度影响，检索更应关注相对排序。比较不同模型时，必须重新建立自己的对照集。

一份可以落地的检查清单

1. 确认文档和查询使用同一个多语言模型、同一个版本和同一个向量维度。
2. 确认查询模板符合模型卡要求：E5 instruct 加任务说明，BGE-M3 不额外加查询指令。
3. 确认文档侧没有误加 query 模板，也没有把历史文档和新模型向量混在同一个索引里。
4. 确认输入长度不超过模型限制，并且中英文切分策略不会把关键术语拆散。
5. 确认建库和查询都使用相同的归一化策略，点积、余弦和距离度量没有混搭。
6. 确认日志能按语言、模型契约、候选交集和相对排序回放，不依赖单一绝对分数。

如果只记住一个结论：多语言检索的稳定性来自“同一向量空间里的对称输入协议”。先让文档和查询遵守同一份契约，再调召回数量、重排和向量库索引，排障会快很多。

相关问题

多语言模型一定比单语言模型好吗？不一定。多语言模型的价值是让跨语言语义进入同一空间，但在单语言、术语非常窄的领域，专门模型可能更适合；应以自己的对照样本决定。

只做向量归一化就能解决跨语言召回吗？不能。归一化只能统一向量尺度，不能修复模型不支持目标语言、查询指令错误或文档已经用另一模型编码的问题。