Transformers Trainer 怎样从 checkpoint 继续训练
Transformers 的 Trainer 继续训练,关键不是只把模型权重重新读进来,而是把一次完整的 checkpoint 交给 trainer.train(resume_from_checkpoint=...)。这样 Trainer 才有机会恢复模型、优化器、学习率调度器以及训练进度;如果检查点只有权重文件,就更适合推理或重新初始化训练。
官方地址:https://huggingface.co/docs/transformers/main_classes/trainer
最稳妥的做法是:训练时不要启用save_only_model=True,让output_dir生成完整的checkpoint-步数目录;中断后显式传入最近目录,而不是把“加载模型”和“接着训练”混为一件事。
先分清:加载模型不等于继续训练
Trainer.train 的 resume_from_checkpoint 参数有三种常见状态:不传值表示从当前 Trainer 初始化状态开始;传入字符串表示使用指定的本地检查点;传入 True 表示在 TrainingArguments.output_dir 中寻找最后一个检查点。
继续训练时,模型参数只是其中一部分。优化器里的动量、学习率调度器的当前位置和 Trainer 保存的全局步数,都会影响下一次更新。如果只用 AutoModel.from_pretrained(checkpoint_dir) 读权重,再调用普通的 train(),模型能启动,但它不是从原来的训练状态接上。

保存时要留下可恢复的状态
训练配置可以先把保存策略固定下来。下面的示例按更新步数保存,并限制旧检查点数量;save_only_model=False 保持默认的完整状态保存语义。
from transformers import TrainingArguments
# 让 output_dir 下按更新步数保留可恢复的训练状态
args = TrainingArguments(
output_dir="./runs/text-classifier",
save_strategy="steps",
save_steps=500,
save_total_limit=3,
save_only_model=False,
# 继续训练时默认跳过已经看过的数据,保持接续位置
ignore_data_skip=False,
)
当 save_only_model=True 时,文档明确说明只保存模型权重,不保存优化器、调度器和随机数状态,因此不能把它当作中断恢复包。这个选项适合只做推理交付的轻量产物,不适合需要接着优化的训练任务。
中断后显式指定 checkpoint 目录
假设保存目录下有 checkpoint-1500,并且它是在同一套训练参数下生成的完整检查点,可以这样恢复:
from transformers import Trainer
# trainer 的 model、数据集和 TrainingArguments 仍按原训练脚本构造
trainer = Trainer(
model=model,
args=args,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
processing_class=tokenizer,
)
# 传入目录,恢复模型、优化器、调度器和 Trainer 的进度状态
checkpoint_dir = "./runs/text-classifier/checkpoint-1500"
train_output = trainer.train(resume_from_checkpoint=checkpoint_dir)
# 继续保存最终模型,便于后续用 from_pretrained 做推理
trainer.save_model("./runs/text-classifier/final")
这里的 checkpoint-1500 是恢复入口,不是一个普通的“预训练模型目录”。目录名里的数字只是人类可读的步数提示,真正的恢复依据仍是目录内保存的训练状态。

想接最近一次保存时,可以用 True
如果脚本只维护一个稳定的 output_dir,可以把参数写成 resume_from_checkpoint=True,让 Trainer 在该目录中寻找最后的检查点:
# 让 Trainer 在 args.output_dir 中选择最后一个 checkpoint trainer.train(resume_from_checkpoint=True)
自动选择方便,但排查问题时不如显式路径清楚。若目录里存在多个实验、复制不完整的目录,或者你想从较早的检查点做分支实验,直接传入字符串路径更安全。没有可用检查点时,布尔值方式会失败;这不是“从头训练”的隐式开关。
步数不连续时,优先检查这三件事
- 检查点是否只剩权重。如果训练时使用了
save_only_model=True,就不能期待优化器和调度器被恢复。 - 是否误用了普通加载流程。
from_pretrained只解决模型加载;接续训练要把目录交给train(resume_from_checkpoint=...)。 - 是否改变了数据跳过策略。
ignore_data_skip=False会尝试跳过已经处理的数据以接近中断前位置;设为True会更快开始,但数据顺序不再表示精确接续。
可以把恢复策略压缩成下面这张表:
| 目标 | 做法 | 结果 |
|---|---|---|
| 接着原训练 | train(resume_from_checkpoint=".../checkpoint-1500") | 读取完整训练状态 |
| 自动找最近一次 | train(resume_from_checkpoint=True) | 在 output_dir 中选择最后检查点 |
| 只做推理 | from_pretrained(model_dir) | 只加载模型,不接续优化器 |
常见问题
为什么传入 checkpoint 目录后 global_step 还是不对?
先确认传入的是完整检查点目录,而不是只导出的最终模型目录;再确认训练参数和数据加载方式没有把接续逻辑改成从头开始。
可以把多个 checkpoint 合并成一个吗?
不建议手动拼接。选择一个明确的完整检查点作为恢复源,保留其模型、优化器、调度器和 Trainer 状态,让 Trainer 自己完成加载。
总结
要让 Transformers Trainer 真正接着训练,保存阶段要保留完整状态,恢复阶段要调用 train(resume_from_checkpoint=路径)。显式路径适合可审计和分支实验,True 适合由单一 output_dir 管理的自动任务;而只保存模型权重的包,只能解决模型交付,不能代替训练恢复。
Hugging Face Accelerate PartialState 怎样获取当前进程和设备
- 上一篇
- Hugging Face Accelerate PartialState 怎样获取当前进程和设备
- 下一篇
- Transformers BatchEncoding 怎样读取溢出序列映射
-
- 科技周边 · 人工智能 | 19分钟前 | 人工智能 · Transformers AutoConfig from_pretrained 模型配置 不加载权重
- Transformers AutoConfig 怎样在加载模型前查看配置
- 132浏览 收藏
-
- 科技周边 · 人工智能 | 22分钟前 | 人工智能 · 文本生成 Transformers generate no_repeat_ngram_size n-gram
- Transformers generate 怎样限制重复 n-gram
- 202浏览 收藏
-
- 科技周边 · 人工智能 | 24分钟前 |
- Transformers BatchEncoding 怎样读取溢出序列映射
- 309浏览 收藏
-
- 科技周边 · 人工智能 | 27分钟前 | Hugging Face device 分布式训练 Accelerate PartialState process_index
- Hugging Face Accelerate PartialState 怎样获取当前进程和设备
- 389浏览 收藏
-
- 科技周边 · 人工智能 | 18小时前 | 人工智能 · PyTorch autograd torch.is_grad_enabled 梯度模式
- PyTorch torch.is_grad_enabled 怎样读取当前线程的梯度开关状态
- 346浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 | 人工智能 · PyTorch Tensor.storage_offset storage_offset Tensor View 张量布局
- PyTorch Tensor.storage_offset 怎样读取张量视图的存储起始偏移
- 316浏览 收藏
-
- 科技周边 · 人工智能 | 20小时前 |
- Transformers BaseModelOutput.hidden_states 怎样区分各层隐藏状态与最后一层输出
- 429浏览 收藏
-
- 科技周边 · 人工智能 | 20小时前 | python · 人工智能 · Transformers tokenizer BatchEncoding sequence_ids 双句编码 词元来源
- Transformers BatchEncoding.sequence_ids 怎样区分双句编码中的词元来源
- 283浏览 收藏
-
- 科技周边 · 人工智能 | 21小时前 | 人工智能 · Hugging Face Datasets ClassLabel str2int 标签编码
- Hugging Face ClassLabel.str2int 怎样把类别名称映射为标签编号
- 222浏览 收藏
-
- 科技周边 · 人工智能 | 23小时前 | 人工智能 · PyTorch Tensor.is_contiguous memory_format
- PyTorch Tensor.is_contiguous 怎样检查张量在指定内存格式下是否连续
- 170浏览 收藏
-
- 科技周边 · 人工智能 | 23小时前 | python · 人工智能 · Transformers ModelOutput to_tuple 模型输出
- Transformers ModelOutput.to_tuple 怎样把非空模型输出字段转换为元组
- 192浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1115次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1104次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1277次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1219次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1066次使用
-
- CodeGeeX for Jetbrains IDEs正式上线!
- 2023-01-17 284浏览
-
- 技术阿里云实现ocr批量图片和pdf文件表格图片转换excel文档/支持票据图片提取/普通图片文字提取处理
- 2023-01-18 387浏览
-
- 直播预告|FeatureStore Meetup V2
- 2023-01-10 328浏览
-
- 深入浅出特征工程 – 基于 OpenMLDB 的实践指南(上)
- 2023-02-25 426浏览
-
- 开源机器学习数据库OpenMLDB v0.4.0产品介绍
- 2023-01-10 147浏览
