Whisper进阶教程：生成带时间戳SRT字幕

文章不知道大家是否熟悉？今天我将给大家介绍《Whisper进阶：生成带时间戳SRT字幕与说话人分离》，这篇文章主要会讲到等等知识点，如果你在看完本篇文章后，有更好的建议或者发现哪里有问题，希望大家都能积极评论指出，谢谢！希望我们能一起加油进步！

本教程将指导您如何利用Whisper模型从音视频文件中提取转录文本，并将其输出为标准的SRT字幕格式，包含精确的时间戳。我们还将探讨如何进一步结合说话人分离技术（如PyAnnote）来为SRT字幕添加说话人标签，从而提升字幕的可用性和信息量。通过本文，您将掌握从基础字幕生成到高级说话人识别的完整流程。

一、理解SRT字幕格式

SRT（SubRip Subtitle）是一种常见的字幕文件格式，它以纯文本形式存储，易于阅读和编辑。一个典型的SRT条目由以下四部分组成：

1. 序号： 字幕块的顺序编号。
2. 时间戳： 表示该字幕块在视频中显示和消失的时间，格式为 小时:分钟:秒,毫秒 --> 小时:分钟:秒,毫秒。
3. 字幕文本： 实际的对话或旁白内容。
4. 空行： 用于分隔不同的字幕块。

例如：

1
00:00:01,500 --> 00:00:04,250
这是一段示例字幕。

2
00:00:05,000 --> 00:00:07,800
它展示了SRT的结构。

二、使用Whisper生成基础SRT字幕

Whisper模型在执行转录任务时，除了提供完整的文本内容，还会返回每个语音片段（segment）的起始和结束时间戳。这些信息是生成SRT字幕的关键。

2.1 核心原理

Whisper的transcribe方法返回的结果对象中包含一个segments列表。列表中的每个元素都是一个字典，通常包含'start'（起始时间，秒）、'end'（结束时间，秒）和'text'（对应片段的文本）。我们只需遍历这个列表，将每个片段的信息按照SRT的格式进行组织和写入文件即可。

2.2 代码实现

以下是在您原有代码基础上，修改为输出SRT文件的示例：

import os
import whisper
from tqdm import tqdm

# 辅助函数：将秒数转换为SRT所需的时间戳格式
def format_timestamp(seconds):
    milliseconds = int((seconds - int(seconds)) * 1000)
    seconds = int(seconds)
    minutes = seconds // 60
    hours = minutes // 60
    seconds %= 60
    minutes %= 60
    return f"{hours:02d}:{minutes:02d}:{seconds:02d},{milliseconds:03d}"

# 定义存放mp4文件的根目录
# 注意：Windows路径建议使用原始字符串（r"C:\Video"）或双反斜杠（"C:\\Video"）
root_folder = r"C:\Video" 

# 初始化Whisper模型
print("正在加载Whisper模型...")
model = whisper.load_model("base") # 可以根据需求选择更大的模型，如"small", "medium", "large"
print("Whisper模型加载完成。")

# 统计待处理的mp4文件数量
print("正在统计待转录文件数量...")
num_files = sum(1 for dirpath, dirnames, filenames in os.walk(root_folder) for filename in filenames if filename.endswith(".mp4"))
print(f"待处理文件数量: {num_files}")

# 遍历文件并转录，同时显示进度条
with tqdm(total=num_files, desc="文件转录中") as pbar:
    for dirpath, dirnames, filenames in os.walk(root_folder):
        for filename in filenames:
            if filename.endswith(".mp4"):
                filepath = os.path.join(dirpath, filename)
                print(f"正在转录: {filepath}...")

                # 执行转录，verbose=False避免Whisper的详细输出干扰进度条
                # fp16=False确保在CPU或不支持FP16的GPU上运行，或需要更高精度时使用
                result = model.transcribe(filepath, fp16=False, verbose=False)

                # 构建SRT文件路径
                filename_no_ext = os.path.splitext(filename)[0]
                srt_filepath = os.path.join(dirpath, filename_no_ext + '.srt')

                # 将转录结果写入SRT文件
                with open(srt_filepath, 'w', encoding='utf-8') as f:
                    for i, segment in enumerate(result['segments']):
                        start_time = format_timestamp(segment['start'])
                        end_time = format_timestamp(segment['end'])
                        text = segment['text'].strip() # 清理文本两端的空白符

                        f.write(f"{i + 1}\n") # 写入序号
                        f.write(f"{start_time} --> {end_time}\n") # 写入时间戳
                        f.write(f"{text}\n\n") # 写入文本内容，并留一个空行分隔

                print(f"SRT文件已保存至: {srt_filepath}")
                pbar.update(1) # 更新进度条

2.3 注意事项

• 模型选择： whisper.load_model("base") 是一个较小的模型，处理速度快但准确性相对较低。对于生产环境或对准确性要求高的场景，建议使用 small, medium, 甚至 large 模型以获得更好的效果。
• fp16参数： fp16=False 表示禁用半精度浮点计算。如果您的GPU支持FP16且希望提高计算速度，可以设置为True。在CPU上运行时，此参数通常没有影响。
• verbose参数： 在批量处理时，将verbose设置为False可以避免Whisper在控制台输出大量的转录详情，使进度条的显示更加清晰。
• 编码： 写入SRT文件时，请务必指定encoding='utf-8'，以确保正确处理各种语言字符。

三、进阶：结合说话人分离（Speaker Diarization）生成更丰富的SRT

在某些场景下，仅仅有带时间戳的字幕是不够的，我们可能还需要区分出不同的说话人。这就是说话人分离（Speaker Diarization）的任务，它旨在识别出音频中不同说话人的语音片段。

3.1 什么是说话人分离？

好了，本文到此结束，带大家了解了《Whisper进阶教程：生成带时间戳SRT字幕》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！