Hugging Face Hub HfApi.list_repo_tree 怎样列出模型仓库中的文件
想知道模型仓库里究竟有哪些配置、权重和目录,不必先把整个仓库下载到本地。HfApi.list_repo_tree 会返回文件与目录对象组成的可迭代结果,先读取这棵树,再按路径筛选即可。
官方地址:https://huggingface.co/
官方 API 文档:https://huggingface.co/docs/huggingface_hub/package_reference/hf_api
最实用的做法是:先用path_in_repo缩小目录范围,再根据RepoFile与RepoFolder区分对象,最后只输出需要的相对路径。这样检查清单和下载文件是两件事,不会因为查看目录而加载权重。
先弄清 list_repo_tree 的输入和返回值
HfApi.list_repo_tree 至少需要一个仓库标识 repo_id,例如 org/model-name。revision 默认指向 main,repo_type 默认是模型,也可以明确写成 dataset 或 space。path_in_repo 为空时查看根目录,填写相对路径时只查看某个子树。
返回值是惰性的 Iterable:元素可能是 RepoFile,也可能是 RepoFolder。文件对象通常包含 path、size、blob_id 等字段;目录对象则表达树中的文件夹。文档还特别说明,返回顺序不保证,所以不要把“第一个元素”当成固定文件。

用一个小脚本列出模型仓库文件
把迭代器转换为列表后,处理逻辑会更直观。下面的示例递归读取一个模型仓库,并把目录与文件分开打印;它只读取元数据,不下载模型权重。
from huggingface_hub import HfApi, RepoFile, RepoFolder
api = HfApi()
# recursive=True 让清单覆盖子目录;revision 固定本次查看的分支或标签。
entries = api.list_repo_tree(
repo_id="openai-community/gpt2",
path_in_repo=None,
recursive=True,
revision="main",
repo_type="model",
)
files = []
folders = []
for entry in entries:
# 用对象类型区分目录和文件,避免把目录路径误当成可下载文件。
if isinstance(entry, RepoFile):
files.append(entry)
elif isinstance(entry, RepoFolder):
folders.append(entry)
# 返回顺序不保证,展示前按相对路径排序,输出更适合保存或比较。
for folder in sorted(folders, key=lambda item: item.path):
print(f"[目录] {folder.path}")
for file in sorted(files, key=lambda item: item.path):
print(f"[文件] {file.path}")
这里的关键不是打印本身,而是保留了对象边界:目录只用于描述结构,文件才进入后续的后缀筛选。若只想看一个子目录,可以把 path_in_repo 换成例如 "tokenizer",不必每次遍历整个仓库。
按路径筛选配置和权重文件
模型仓库通常同时包含说明文档、配置文件、词表和权重。得到 RepoFile 后,可以依据相对路径的后缀或目录前缀构造自己的清单。筛选时不要假定每个模型都拥有同名文件,尤其是权重可能是单文件、分片文件或不同格式。
from huggingface_hub import HfApi, RepoFile
api = HfApi()
entries = api.list_repo_tree(
repo_id="openai-community/gpt2",
recursive=True,
expand=False,
)
# 只收集文件对象;配置与权重按常见后缀分组,名称不存在时自然得到空列表。
config_suffixes = (".json", ".yaml", ".yml")
weight_suffixes = (".safetensors", ".bin", ".msgpack")
config_files = []
weight_files = []
for entry in entries:
# RepoFolder 没有文件后缀,不应进入文件清单。
if not isinstance(entry, RepoFile):
continue
if entry.path.endswith(config_suffixes):
config_files.append(entry.path)
if entry.path.endswith(weight_suffixes):
weight_files.append(entry.path)
# 排序只服务于本地展示,不代表 Hub 返回了这个顺序。
print("配置文件:", sorted(config_files))
print("权重文件:", sorted(weight_files))

expand、分页和异常边界怎么处理
expand=False 适合先做轻量清单;如果需要最后一次提交或安全扫描等更详细的元数据,再考虑 expand=True。官方文档说明,展开信息会增加服务端成本,并将每页结果数从 1000 降到 50,但库会把分页细节封装在迭代接口里。
异常也要按资源层级区分:
RepositoryNotFoundError通常对应错误的repo_id、repo_type,或私有仓库缺少认证。RevisionNotFoundError表示分支、标签或提交修订不存在。RemoteEntryNotFoundError表示path_in_repo指向的目录不存在。
工程上建议把 repo_id、revision 和 path_in_repo 一起记录到清单文件名或日志中,这样同一个模型的不同分支不会被误认为是同一份目录。若需要严格比较两个清单,还应在本地对路径排序,因为官方不保证返回顺序。
最后记住这三个判断
- 查看仓库结构用
list_repo_tree,它返回元数据,不等同于下载文件。 - 目录和文件要按
RepoFolder、RepoFile分开处理,筛选时以entry.path为准。 - 需要更详细提交信息时再开启
expand,结果比较前自行排序,并对仓库、修订和子目录异常分别处理。
常见问题
list_repo_tree 会把模型权重下载到本地吗?
不会。这个调用返回仓库树中的文件和目录信息;只有后续显式调用下载接口时,才会进入文件内容传输流程。
为什么返回的文件顺序每次不能直接依赖?
官方接口没有保证文件和目录的返回顺序。要生成稳定清单,应使用 path 作为排序键,并把仓库修订一起记录。
GitHub Actions cache restore-keys 怎样设计分层缓存
- 上一篇
- GitHub Actions cache restore-keys 怎样设计分层缓存
- 下一篇
- Transformers StopStringCriteria 怎样按结束字符串停止生成
-
- 科技周边 · 人工智能 | 18小时前 | 人工智能 · PyTorch safetensors contiguous save_file transpose
- Safetensors 保存转置张量时怎样处理连续内存
- 165浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 |
- Safetensors 怎样只读取张量元数据而不加载全部权重
- 240浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 | 人工智能 · LoRa PEFT target_modules modules_to_save LoraConfig exclude_modules
- PEFT LoraConfig 怎样只训练指定模块
- 289浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 |
- Accelerate Accelerator.prepare 怎样统一设备与优化器
- 382浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 | python · 数据处理 · 人工智能 · 数据集 dataset Hugging Face Datasets set_transform 模型输入
- Hugging Face Datasets set_transform 怎样按需生成样本字段
- 258浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 | 人工智能 · Transformers AutoConfig from_pretrained 模型配置 不加载权重
- Transformers AutoConfig 怎样在加载模型前查看配置
- 132浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 | 人工智能 · 文本生成 Transformers generate no_repeat_ngram_size n-gram
- Transformers generate 怎样限制重复 n-gram
- 202浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 |
- Transformers BatchEncoding 怎样读取溢出序列映射
- 309浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 | 人工智能 · Transformers checkpoint Trainer resume_from_checkpoint 继续训练 优化器状态
- Transformers Trainer 怎样从 checkpoint 继续训练
- 258浏览 收藏
-
- 科技周边 · 人工智能 | 19小时前 | Hugging Face device 分布式训练 Accelerate PartialState process_index
- Hugging Face Accelerate PartialState 怎样获取当前进程和设备
- 389浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · PyTorch autograd torch.is_grad_enabled 梯度模式
- PyTorch torch.is_grad_enabled 怎样读取当前线程的梯度开关状态
- 346浏览 收藏
-
- 科技周边 · 人工智能 | 1天前 | 人工智能 · PyTorch Tensor.storage_offset storage_offset Tensor View 张量布局
- PyTorch Tensor.storage_offset 怎样读取张量视图的存储起始偏移
- 316浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1139次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1123次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1299次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1237次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1090次使用
-
- CodeGeeX for Jetbrains IDEs正式上线!
- 2023-01-17 284浏览
-
- 技术阿里云实现ocr批量图片和pdf文件表格图片转换excel文档/支持票据图片提取/普通图片文字提取处理
- 2023-01-18 387浏览
-
- 直播预告|FeatureStore Meetup V2
- 2023-01-10 328浏览
-
- 深入浅出特征工程 – 基于 OpenMLDB 的实践指南(上)
- 2023-02-25 426浏览
-
- 开源机器学习数据库OpenMLDB v0.4.0产品介绍
- 2023-01-10 147浏览

