当前位置:首页 > 文章列表 > 文章 > python教程 > Python fileinput.input 怎样连续处理多个输入文件

Python fileinput.input 怎样连续处理多个输入文件

来源:17golang原创 2026-11-18 05:00:53 0浏览 收藏

如果脚本要按顺序处理一组文本文件,又希望循环内部始终面对同一个“逐行输入流”,可以使用 fileinput.input(files=...)。它会按 files 的顺序打开文件,逐行返回内容;循环中还能通过 fileinput.filename()、fileinput.filelineno() 和 fileinput.lineno() 知道当前行来自哪里。

官方文档:https://docs.python.org/3/library/fileinput.html

最稳妥的写法是把 fileinput.input() 放进 with,显式传入文件列表和文本编码,再在循环里处理每一行。需要区分“当前文件第几行”和“所有文件累计第几行”时,分别使用 filelineno() 与 lineno()。

统一读取多个文件:把 files 变成一条输入流

fileinput.input() 的第一个参数可以接收文件名序列。它不会把所有文件一次性读入内存,而是打开一个文件、逐行迭代,读完后再切换到下一个文件。这样适合日志归档、配置片段或批量文本清洗等顺序处理任务。

多个文本文件通过 FileInput 状态对象汇入统一逐行输入流的结构说明图
图1:fileinput.input 把多个文件接成统一逐行输入流的结构示意图,不是截图或运行证据。

示例中直接传入元组,能避免脚本因为外部 sys.argv 意外变化而读取到不相关的文件。encoding 和 errors 让文本解码策略落在输入层,循环内部只处理已经解码的字符串。

import fileinput

files = ("part-01.txt", "part-02.txt", "part-03.txt")

# 用 with 管理整组输入文件,按元组顺序逐行读取。
with fileinput.input(files=files, encoding="utf-8", errors="strict") as stream:
    for line in stream:
        # 保留原始换行,只对业务内容做最小处理。
        text = line.rstrip("\n")
        if text:
            print(text)

行尾通常会保留在返回的字符串中,最后一行即使没有换行符也会正常返回。文件不存在、无法打开或读取失败时,调用方应让 OSError 暴露出来,或者在业务边界统一记录失败文件。

用上下文管理器关闭整个输入序列

fileinput.input() 返回的对象可以作为上下文管理器。退出 with 后,当前文件和输入序列都会被关闭,即使循环内部抛出异常也能执行清理。与依赖全局状态的 fileinput.close() 相比,局部变量更容易测试和复用。

如果只是单文件读取,普通的 open() 更直观;只有当多个文件需要共享一个循环、统一的编码配置或同一套文件级状态时,才适合使用 fileinput。

定位当前文件:filename、行号与 nextfile

读取过程中有三组容易混淆的位置信息:

  • fileinput.filename():当前正在读取的文件名。
  • fileinput.filelineno():当前文件内的行号,每切换文件会重新从 1 开始。
  • fileinput.lineno():所有输入文件合计的累计行号。

在循环中判断 fileinput.isfirstline(),可以在每个文件的第一行做一次标题处理;如果某个文件已经不需要继续读,调用 fileinput.nextfile() 会关闭当前文件并跳到下一个文件,尚未读出的行不计入累计行号。

当前文件周围连接文件名、当前文件行号、累计行号和 nextfile 的结构说明图
图2:fileinput 文件级定位方法与切换边界的关系示意图,不是截图或运行证据。
import fileinput

files = ("access-a.log", "access-b.log")

# 同时展示当前文件行号与跨文件累计行号。
with fileinput.input(files=files, encoding="utf-8") as stream:
    for line in stream:
        if fileinput.isfirstline():
            # 每个文件的首行可以单独识别,例如跳过重复表头。
            print(f"--- {fileinput.filename()} ---")

        print(
            f"{fileinput.filename()}:{fileinput.filelineno()} "
            f"total={fileinput.lineno()} {line.rstrip()}"
        )

        if line.startswith("# STOP-FILE"):
            # 当前文件后面的内容不再需要,直接切换到下一个文件。
            fileinput.nextfile()

注意,文件名在真正读到下一个文件的第一行后才会更新;因此不要在调用 nextfile() 后立刻读取文件名来推断已经切换完成。

标准输入、编码和压缩文件怎么处理

当 files 为空或省略时,fileinput 默认使用命令行参数中的文件名;如果命令行没有文件名,则从标准输入读取。文件列表里放入 "-" 也表示把这一项替换成标准输入。需要把管道输入和普通文件混排时,可以显式写出这个占位符。

文本场景优先传入 encoding="utf-8",遇到脏数据再根据业务选择 errors="replace" 或 errors="surrogateescape",不要让系统默认编码悄悄改变结果。对于 gzip 或 bzip2 文件,可以把官方提供的 fileinput.hook_compressed 作为 openhook,它会依据 .gz 和 .bz2 后缀选择解压读取。

import fileinput

# 文件名为 '-' 时从标准输入读取;压缩后缀由官方 hook 选择解码器。
files = ("daily.txt.gz", "-", "weekly.txt.bz2")

with fileinput.input(
    files=files,
    openhook=fileinput.hook_compressed,
    encoding="utf-8",
    errors="replace",
) as stream:
    for line in stream:
        # replace 让单个坏字节不阻断整组文件的顺序处理。
        print(line, end="")

什么时候不用 fileinput

需求更合适的选择原因
只读一个文件open()资源边界和异常路径更直接
需要当前文件与累计行号fileinput.input()状态 API 已经提供定位信息
需要随机访问或并行分片按文件独立打开FileInput 是严格顺序迭代模型
需要 gzip/bz2 顺序输入openhook=fileinput.hook_compressed可沿用统一循环和文件级状态

最终可以把判断收敛成一句话:多个文本来源要共用一个顺序循环,并且需要文件级定位时,用 fileinput.input();只处理一个文件、需要随机访问或要并行消费时,直接使用独立的 open() 更清晰。

常见问题

fileinput.input() 会把所有文件一次性读进内存吗?

不会。它按顺序打开并迭代文件,循环变量每次得到一行;但业务代码如果主动把结果转成列表,仍会产生额外内存占用。

filelineno() 和 lineno() 为什么不一样?

filelineno() 是当前文件内的行号,切换文件后重新计数;lineno() 是整个输入序列的累计行号。

什么时候应该用 FileInput 而不是 fileinput.input?

当需要把输入对象作为参数传递、避免模块级全局状态,或希望明确控制上下文管理器生命周期时,直接实例化 FileInput 更合适;两者共享同一套顺序迭代语义。

版本声明
本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
Python tarfile.TarFile.extractfile 怎样读取归档内文件Python tarfile.TarFile.extractfile 怎样读取归档内文件
上一篇
Python tarfile.TarFile.extractfile 怎样读取归档内文件
Python zoneinfo.ZoneInfo 怎样给 datetime 设置时区
下一篇
Python zoneinfo.ZoneInfo 怎样给 datetime 设置时区
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    543次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    516次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    500次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    485次学习
查看更多
AI推荐
  • PubMedQA数据集详解:生物医学问答基准、功能与应用指南
    PubMedQA
    深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
    1087次使用
  • H2O EvalGPT:开源LLM大模型评估与排行榜工具
    H2O EvalGPT
    H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
    1086次使用
  • LMArena是什么?伯克利AI模型评估平台使用指南与功能解析
    LMArena
    LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
    1250次使用
  • 斯坦福HELM:大语言模型Holistic Evaluation整体评估框架详解
    HELM
    深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
    1196次使用
  • MMBench详解:多模态大模型基准测试、功能特点与使用指南
    MMBench
    MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
    1039次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议 和 隐私政策
返回登录
  • 重置密码