Sentence Transformers 向量归一化何时影响相似度

我第一次给 Sentence Transformers 的向量库切换 normalize_embeddings=True 时，最意外的不是余弦分数，而是原始点积排序变了。原因很简单：L2 归一化把每个向量长度变成 1，余弦本来就只看方向，因此基本不受影响；点积原本同时包含方向和长度，归一化后会退化为余弦相似度。

官方文档：https://www.sbert.net/docs/sentence_transformer/usage/semantic_textual_similarity.html

先判断归一化是否会改分数

对向量 x 做 L2 归一化，就是计算 x / ||x||₂。方向保持不变，长度固定为 1。是否影响相似度，取决于当前度量是否使用向量长度。

建立最小对照实验

最稳妥的做法，是让同一个模型对同一批文本分别输出原始向量和单位向量，再比较度量。下面的代码不依赖预设输出值，只核对公式关系。

from sentence_transformers import SentenceTransformer, util
import torch

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")
sentences = ["Go 适合写网络服务", "Golang 常用于后端开发"]

# 保留原始向量长度，用于观察未经归一化的点积分数。
raw = model.encode(sentences, convert_to_tensor=True, normalize_embeddings=False)
# 直接生成单位向量，离线入库与在线查询应使用相同设置。
unit = model.encode(sentences, convert_to_tensor=True, normalize_embeddings=True)

cos_raw = util.cos_sim(raw[0], raw[1]).item()
cos_unit = util.cos_sim(unit[0], unit[1]).item()
dot_raw = util.dot_score(raw[0], raw[1]).item()
dot_unit = util.dot_score(unit[0], unit[1]).item()

# 只展示本次计算值，不把某个固定数字当成跨模型结论。
print({"cos_raw": cos_raw, "cos_unit": cos_unit})
print({"dot_raw": dot_raw, "dot_unit": dot_unit})
print("unit_norms:", torch.linalg.vector_norm(unit, dim=1))

检查时应看到单位向量的范数接近 1，cos_raw 与 cos_unit 接近，而 dot_unit 与余弦接近。dot_raw 是否明显不同，则由模型输出的向量长度决定。

理解余弦与归一化点积的等价关系

余弦相似度公式是 (x·y) / (||x|| ||y||)。当两个向量的 L2 范数都为 1 时，分母就是 1，所以点积等于余弦。Sentence Transformers 官方文档也建议：如果模型末尾已经有 Normalize 模块，选择 dot 比 cosine 更合理，因为 cosine 会再次归一化，而 dot 可以直接计算。

这带来一个很实用的优化：确认入库向量与查询向量都已归一化后，向量库可以选择内积索引来实现余弦排序。但前提是两端策略完全一致，不能只归一化查询向量而保留历史库中的原始向量。

识别排序真正会变化的场景

我会先看模型说明里推荐的是 cosine 还是 dot。部分检索模型就是按点积目标训练，向量长度可能携带模型学到的置信或强度信息；无条件归一化会删除这部分信号。相反，名称或配置明确面向 cosine 的模型，经常已经输出或适合输出单位向量。

另一个变化来自阈值。即使单位向量上的欧氏距离与余弦 Top-K 顺序一致，分数范围也不同：余弦越大越相似，而 Sentence Transformers 的 euclidean 相似度使用负距离。旧的 score > 0.7 不能直接搬到负欧氏距离。

from sentence_transformers import SimilarityFunction

# 单位向量场景可把模型相似度函数设为点积，避免重复归一化。
model.similarity_fn_name = SimilarityFunction.DOT_PRODUCT
scores = model.similarity(unit, unit)

# 阈值必须在真实验证集上重新标定，不能沿用余弦阈值。
print("score_matrix_shape:", scores.shape)

把归一化与向量库配置对齐

真正上线时，我会把以下四项当成一个不可拆分的配置版本：

• 模型：精确到模型仓库和版本，不只记录类名。
• 编码：明确 normalize_embeddings、维度截断和精度参数。
• 索引：记录 cosine、inner product、L2 或其他度量。
• 判断：保存 Top-K、业务阈值和校准数据集版本。

离线重建索引和在线查询必须读取同一份配置。若从原始向量切换到单位向量，应该整体重算库向量，而不是混合新旧数据；否则同一查询会面对不同分数空间。

上线检查清单

1. 阅读模型卡或官方说明，确认训练和推荐度量是 cosine 还是 dot。
2. 在固定验证集上对比原始向量与单位向量的 Top-K 重合率。
3. 确认入库和查询端使用相同的 normalize_embeddings 设置。
4. 核对向量库索引度量与应用侧相似度函数一致。
5. 迁移后重新标定阈值，不复用不同分数空间的旧阈值。
6. 同时测量召回质量、编码耗时、索引查询耗时和存储格式。

相关问题

normalize_embeddings 默认开启吗？

不是。当前 SentenceTransformer.encode 的 normalize_embeddings 默认值为 false，需要显式开启。

归一化后 cosine 和 dot 一定完全相同吗？

数学上等价，实际浮点计算可能存在极小数值误差，不应使用逐位相等判断。

只归一化查询向量可以吗？

通常不应这样混用。若库向量保持原始长度，点积仍会受到库向量范数影响，分数空间与“两边都归一化”不同。