语音转写带说话人分离时如何处理重叠发言

语音转写同时做说话人分离时，重叠发言不要简单地“后一段覆盖前一段”，也不要把所有重叠片段删掉。更稳妥的做法是保留模型的重叠标注，再用词级时间戳计算每个词和候选说话人的交集；只有一个候选明显占优时才归属，否则输出 ambiguous，交给复核或保留双人标记。

官方地址：https://github.com/pyannote/pyannote-audio

先保留重叠，再决定转写视图

说话人分离和语音识别解决的不是同一个问题。分离结果描述某一时刻哪些说话人处于活动状态；转写结果通常是一串带起止时间的词或片段。两者直接拼接时，重叠区会出现两个说话人都覆盖同一时间段的情况。

以 pyannote 的输出为例，speaker_diarization 用来保留原始说话人活动，exclusive_speaker_diarization 则是没有重叠片段的单说话人视图，后者更方便和粒度较粗的转写时间戳对齐。不要把 exclusive 结果当成“真实世界只有一个人说话”，它只是为下游文本分配准备的表示。

from pyannote.audio import Pipeline

# 该示例保留普通结果和 exclusive 结果，避免过早丢失重叠信息。
pipeline = Pipeline.from_pretrained(
    "pyannote/speaker-diarization-community-1",
    token="HUGGINGFACE_ACCESS_TOKEN",
)
output = pipeline("meeting.wav")

# 普通结果可包含重叠；exclusive 结果用于单说话人转写对齐。
for turn, speaker in output.speaker_diarization:
    print(turn.start, turn.end, speaker)
for turn, speaker in output.exclusive_speaker_diarization:
    print(turn.start, turn.end, speaker)

词级归属要看时间交集

假设识别器给出词区间 [word_start, word_end)，分离器给出候选区间 [turn_start, turn_end)。两者的交集长度是 max(0, min(word_end, turn_end) - max(word_start, turn_start))。把交集长度除以词时长，就能得到每个说话人的覆盖比例。

下面的函数只负责分配，不修改原始分离结果。它先汇总每个候选的覆盖比例：第一名足够高且明显领先时才归属；否则留下候选列表，避免把两个人同时说出的词硬塞给第一段。

def assign_speaker(word, turns, min_ratio=0.55, margin=0.15):
    """按词与说话人区间的交集分配，无法判断时返回 ambiguous。"""
    start, end = word["start"], word["end"]
    duration = max(end - start, 1e-9)
    coverage = {}

    for turn_start, turn_end, speaker in turns:
        # 半开区间计算重叠长度，避免相邻片段重复计入边界。
        overlap = max(0.0, min(end, turn_end) - max(start, turn_start))
        if overlap:
            coverage[speaker] = coverage.get(speaker, 0.0) + overlap / duration

    ranked = sorted(coverage.items(), key=lambda item: item[1], reverse=True)
    if not ranked:
        return {**word, "speaker": None, "status": "unassigned"}

    best = ranked[0]
    second = ranked[1][1] if len(ranked) > 1 else 0.0
    # 覆盖不足或领先幅度太小，交给复核，不伪造确定归属。
    if best[1] 

重叠发言的三个处理分支

如果业务必须生成无重叠稿，可以只在导出阶段做裁决：短暂的确认词可以按覆盖比例归属，主要发言则保留较长区间；但阈值应在带人工标注的样本上调，不要照搬某个固定秒数。涉及多人同时讲话时，还要分别检查麦克风串音、回声和识别器是否把两个人合成了一条文本。

常见问题

为什么不能按分离片段的先后顺序分配词？

因为重叠区的两个片段可能同时覆盖同一个词。按顺序会让先出现的说话人抢走后者的词，结果看似完整，实际错配。

exclusive 结果是不是删除了真实发言？

它是为下游单说话人对齐提供的视图，重叠事实仍应从普通 diarization 保存。需要分析插话时不要只保留 exclusive。

没有词级时间戳怎么办？

先使用片段级归属并标记低置信区间；如果输出要用于正式会议记录，优先换用能返回词级时间戳的识别链路。