当前位置:首页 > 文章列表 > 科技周边 > 人工智能 > Transformers Trainer 怎样从 checkpoint 继续训练

Transformers Trainer 怎样从 checkpoint 继续训练

来源:17golang原创 2026-11-19 12:57:15 0浏览 收藏

Transformers 的 Trainer 继续训练,关键不是只把模型权重重新读进来,而是把一次完整的 checkpoint 交给 trainer.train(resume_from_checkpoint=...)。这样 Trainer 才有机会恢复模型、优化器、学习率调度器以及训练进度;如果检查点只有权重文件,就更适合推理或重新初始化训练。

官方地址:https://huggingface.co/docs/transformers/main_classes/trainer

最稳妥的做法是:训练时不要启用 save_only_model=True,让 output_dir 生成完整的 checkpoint-步数 目录;中断后显式传入最近目录,而不是把“加载模型”和“接着训练”混为一件事。

先分清:加载模型不等于继续训练

Trainer.train 的 resume_from_checkpoint 参数有三种常见状态:不传值表示从当前 Trainer 初始化状态开始;传入字符串表示使用指定的本地检查点;传入 True 表示在 TrainingArguments.output_dir 中寻找最后一个检查点。

继续训练时,模型参数只是其中一部分。优化器里的动量、学习率调度器的当前位置和 Trainer 保存的全局步数,都会影响下一次更新。如果只用 AutoModel.from_pretrained(checkpoint_dir) 读权重,再调用普通的 train(),模型能启动,但它不是从原来的训练状态接上。

Trainer 检查点中模型、优化器、调度器和训练进度的静态关系说明图
图1:结构说明图,展示完整 checkpoint 与继续训练入口之间的静态关系,不是运行截图。

保存时要留下可恢复的状态

训练配置可以先把保存策略固定下来。下面的示例按更新步数保存,并限制旧检查点数量;save_only_model=False 保持默认的完整状态保存语义。

from transformers import TrainingArguments

# 让 output_dir 下按更新步数保留可恢复的训练状态
args = TrainingArguments(
    output_dir="./runs/text-classifier",
    save_strategy="steps",
    save_steps=500,
    save_total_limit=3,
    save_only_model=False,
    # 继续训练时默认跳过已经看过的数据,保持接续位置
    ignore_data_skip=False,
)

当 save_only_model=True 时,文档明确说明只保存模型权重,不保存优化器、调度器和随机数状态,因此不能把它当作中断恢复包。这个选项适合只做推理交付的轻量产物,不适合需要接着优化的训练任务。

中断后显式指定 checkpoint 目录

假设保存目录下有 checkpoint-1500,并且它是在同一套训练参数下生成的完整检查点,可以这样恢复:

from transformers import Trainer

# trainer 的 model、数据集和 TrainingArguments 仍按原训练脚本构造
trainer = Trainer(
    model=model,
    args=args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    processing_class=tokenizer,
)

# 传入目录,恢复模型、优化器、调度器和 Trainer 的进度状态
checkpoint_dir = "./runs/text-classifier/checkpoint-1500"
train_output = trainer.train(resume_from_checkpoint=checkpoint_dir)

# 继续保存最终模型,便于后续用 from_pretrained 做推理
trainer.save_model("./runs/text-classifier/final")

这里的 checkpoint-1500 是恢复入口,不是一个普通的“预训练模型目录”。目录名里的数字只是人类可读的步数提示,真正的恢复依据仍是目录内保存的训练状态。

Trainer 显式路径恢复与最近检查点选择的静态决策关系图
图2:结构说明图,展示显式 checkpoint 路径、output_dir 最近检查点和数据跳过设置的关系,不是运行截图。

想接最近一次保存时,可以用 True

如果脚本只维护一个稳定的 output_dir,可以把参数写成 resume_from_checkpoint=True,让 Trainer 在该目录中寻找最后的检查点:

# 让 Trainer 在 args.output_dir 中选择最后一个 checkpoint
trainer.train(resume_from_checkpoint=True)

自动选择方便,但排查问题时不如显式路径清楚。若目录里存在多个实验、复制不完整的目录,或者你想从较早的检查点做分支实验,直接传入字符串路径更安全。没有可用检查点时,布尔值方式会失败;这不是“从头训练”的隐式开关。

步数不连续时,优先检查这三件事

  1. 检查点是否只剩权重。如果训练时使用了 save_only_model=True,就不能期待优化器和调度器被恢复。
  2. 是否误用了普通加载流程。from_pretrained 只解决模型加载;接续训练要把目录交给 train(resume_from_checkpoint=...)。
  3. 是否改变了数据跳过策略。ignore_data_skip=False 会尝试跳过已经处理的数据以接近中断前位置;设为 True 会更快开始,但数据顺序不再表示精确接续。

可以把恢复策略压缩成下面这张表:

目标做法结果
接着原训练train(resume_from_checkpoint=".../checkpoint-1500")读取完整训练状态
自动找最近一次train(resume_from_checkpoint=True)在 output_dir 中选择最后检查点
只做推理from_pretrained(model_dir)只加载模型,不接续优化器

常见问题

为什么传入 checkpoint 目录后 global_step 还是不对?

先确认传入的是完整检查点目录,而不是只导出的最终模型目录;再确认训练参数和数据加载方式没有把接续逻辑改成从头开始。

可以把多个 checkpoint 合并成一个吗?

不建议手动拼接。选择一个明确的完整检查点作为恢复源,保留其模型、优化器、调度器和 Trainer 状态,让 Trainer 自己完成加载。

总结

要让 Transformers Trainer 真正接着训练,保存阶段要保留完整状态,恢复阶段要调用 train(resume_from_checkpoint=路径)。显式路径适合可审计和分支实验,True 适合由单一 output_dir 管理的自动任务;而只保存模型权重的包,只能解决模型交付,不能代替训练恢复。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Hugging Face Accelerate PartialState 怎样获取当前进程和设备Hugging Face Accelerate PartialState 怎样获取当前进程和设备
上一篇
Hugging Face Accelerate PartialState 怎样获取当前进程和设备
Transformers BatchEncoding 怎样读取溢出序列映射
下一篇
Transformers BatchEncoding 怎样读取溢出序列映射
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1115次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1104次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1277次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1219次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1066次使用