Python fileinput.input 怎样连续处理多个输入文件
如果脚本要按顺序处理一组文本文件,又希望循环内部始终面对同一个“逐行输入流”,可以使用 fileinput.input(files=...)。它会按 files 的顺序打开文件,逐行返回内容;循环中还能通过 fileinput.filename()、fileinput.filelineno() 和 fileinput.lineno() 知道当前行来自哪里。
官方文档:https://docs.python.org/3/library/fileinput.html
最稳妥的写法是把fileinput.input()放进with,显式传入文件列表和文本编码,再在循环里处理每一行。需要区分“当前文件第几行”和“所有文件累计第几行”时,分别使用filelineno()与lineno()。
统一读取多个文件:把 files 变成一条输入流
fileinput.input() 的第一个参数可以接收文件名序列。它不会把所有文件一次性读入内存,而是打开一个文件、逐行迭代,读完后再切换到下一个文件。这样适合日志归档、配置片段或批量文本清洗等顺序处理任务。

示例中直接传入元组,能避免脚本因为外部 sys.argv 意外变化而读取到不相关的文件。encoding 和 errors 让文本解码策略落在输入层,循环内部只处理已经解码的字符串。
import fileinput
files = ("part-01.txt", "part-02.txt", "part-03.txt")
# 用 with 管理整组输入文件,按元组顺序逐行读取。
with fileinput.input(files=files, encoding="utf-8", errors="strict") as stream:
for line in stream:
# 保留原始换行,只对业务内容做最小处理。
text = line.rstrip("\n")
if text:
print(text)
行尾通常会保留在返回的字符串中,最后一行即使没有换行符也会正常返回。文件不存在、无法打开或读取失败时,调用方应让 OSError 暴露出来,或者在业务边界统一记录失败文件。
用上下文管理器关闭整个输入序列
fileinput.input() 返回的对象可以作为上下文管理器。退出 with 后,当前文件和输入序列都会被关闭,即使循环内部抛出异常也能执行清理。与依赖全局状态的 fileinput.close() 相比,局部变量更容易测试和复用。
如果只是单文件读取,普通的 open() 更直观;只有当多个文件需要共享一个循环、统一的编码配置或同一套文件级状态时,才适合使用 fileinput。
定位当前文件:filename、行号与 nextfile
读取过程中有三组容易混淆的位置信息:
fileinput.filename():当前正在读取的文件名。fileinput.filelineno():当前文件内的行号,每切换文件会重新从 1 开始。fileinput.lineno():所有输入文件合计的累计行号。
在循环中判断 fileinput.isfirstline(),可以在每个文件的第一行做一次标题处理;如果某个文件已经不需要继续读,调用 fileinput.nextfile() 会关闭当前文件并跳到下一个文件,尚未读出的行不计入累计行号。

import fileinput
files = ("access-a.log", "access-b.log")
# 同时展示当前文件行号与跨文件累计行号。
with fileinput.input(files=files, encoding="utf-8") as stream:
for line in stream:
if fileinput.isfirstline():
# 每个文件的首行可以单独识别,例如跳过重复表头。
print(f"--- {fileinput.filename()} ---")
print(
f"{fileinput.filename()}:{fileinput.filelineno()} "
f"total={fileinput.lineno()} {line.rstrip()}"
)
if line.startswith("# STOP-FILE"):
# 当前文件后面的内容不再需要,直接切换到下一个文件。
fileinput.nextfile()
注意,文件名在真正读到下一个文件的第一行后才会更新;因此不要在调用 nextfile() 后立刻读取文件名来推断已经切换完成。
标准输入、编码和压缩文件怎么处理
当 files 为空或省略时,fileinput 默认使用命令行参数中的文件名;如果命令行没有文件名,则从标准输入读取。文件列表里放入 "-" 也表示把这一项替换成标准输入。需要把管道输入和普通文件混排时,可以显式写出这个占位符。
文本场景优先传入 encoding="utf-8",遇到脏数据再根据业务选择 errors="replace" 或 errors="surrogateescape",不要让系统默认编码悄悄改变结果。对于 gzip 或 bzip2 文件,可以把官方提供的 fileinput.hook_compressed 作为 openhook,它会依据 .gz 和 .bz2 后缀选择解压读取。
import fileinput
# 文件名为 '-' 时从标准输入读取;压缩后缀由官方 hook 选择解码器。
files = ("daily.txt.gz", "-", "weekly.txt.bz2")
with fileinput.input(
files=files,
openhook=fileinput.hook_compressed,
encoding="utf-8",
errors="replace",
) as stream:
for line in stream:
# replace 让单个坏字节不阻断整组文件的顺序处理。
print(line, end="")
什么时候不用 fileinput
| 需求 | 更合适的选择 | 原因 |
|---|---|---|
| 只读一个文件 | open() | 资源边界和异常路径更直接 |
| 需要当前文件与累计行号 | fileinput.input() | 状态 API 已经提供定位信息 |
| 需要随机访问或并行分片 | 按文件独立打开 | FileInput 是严格顺序迭代模型 |
| 需要 gzip/bz2 顺序输入 | openhook=fileinput.hook_compressed | 可沿用统一循环和文件级状态 |
最终可以把判断收敛成一句话:多个文本来源要共用一个顺序循环,并且需要文件级定位时,用 fileinput.input();只处理一个文件、需要随机访问或要并行消费时,直接使用独立的 open() 更清晰。
常见问题
fileinput.input() 会把所有文件一次性读进内存吗?
不会。它按顺序打开并迭代文件,循环变量每次得到一行;但业务代码如果主动把结果转成列表,仍会产生额外内存占用。
filelineno() 和 lineno() 为什么不一样?
filelineno() 是当前文件内的行号,切换文件后重新计数;lineno() 是整个输入序列的累计行号。
什么时候应该用 FileInput 而不是 fileinput.input?
当需要把输入对象作为参数传递、避免模块级全局状态,或希望明确控制上下文管理器生命周期时,直接实例化 FileInput 更合适;两者共享同一套顺序迭代语义。
Python tarfile.TarFile.extractfile 怎样读取归档内文件
- 上一篇
- Python tarfile.TarFile.extractfile 怎样读取归档内文件
- 下一篇
- Python zoneinfo.ZoneInfo 怎样给 datetime 设置时区
-
- 文章 · python教程 | 25分钟前 | python · Python unicode unicodedata decomposition
- Python unicodedata.decomposition 怎样读取字符分解映射与兼容标签
- 474浏览 收藏
-
- 文章 · python教程 | 1天前 | python · Python decimal compare_total 全序比较
- Python Decimal.compare_total 怎样区分数值相等的不同表示
- 331浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python AST 怎样提取节点对应的原始源码片段
- 261浏览 收藏
-
- 文章 · python教程 | 1天前 | python · 类型系统 · Python types.resolve_bases __mro_entries__
- Python types.resolve_bases 怎样展开动态基类占位对象
- 108浏览 收藏
-
- 文章 · python教程 | 1天前 | Python SQLite sqlite3 getlimit Connection.setlimit
- Python sqlite3.Connection.setlimit 怎样限制单个连接的资源上限
- 247浏览 收藏
-
- 文章 · python教程 | 1天前 | SQLite · Python教程 · Python SQLite sqlite3 complete_statement 多语句脚本 CREATE TRIGGER
- Python sqlite3.complete_statement 判断多语句输入完整性的处理方案
- 140浏览 收藏
-
- 文章 · python教程 | 1天前 | python · pathlib · Python pathlib walk_up relative_to
- Python pathlib.relative_to 怎样避免无关路径抛错
- 256浏览 收藏
-
- 文章 · python教程 | 1天前 | python · Python Property 描述符 inspect.getattr_static 静态属性读取
- Python 怎样读取属性定义而不触发 property
- 299浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1087次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1086次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1250次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1196次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1039次使用
-
- GScript 编写标准库示例详解
- 2022-12-30 369浏览
-
- 关于Golang标准库flag的全面讲解
- 2023-02-25 344浏览
-
- Golang标准库unsafe源码解读
- 2022-12-29 464浏览
-
- 快速掌握Go语言HTTP标准库的实现方法
- 2022-12-30 327浏览
-
- 解析golang 标准库template的代码生成方法
- 2022-12-24 349浏览

