当前位置:首页 > 文章列表 > 文章 > python教程 > Pandas合并Excel文件并自动添加文件名列

Pandas合并Excel文件并自动添加文件名列

2025-07-10 21:18:33 0浏览 收藏

亲爱的编程学习爱好者,如果你点开了这篇文章,说明你对《Pandas合并Excel文件并自动添加文件名列》很感兴趣。本篇文章就来给大家详细解析一下,主要介绍一下,希望所有认真读完的童鞋们,都有实质性的提高。

使用Pandas合并多个Excel文件并自动添加文件名列

本教程详细介绍了如何使用Python的Pandas库高效合并多个Excel文件。文章将指导读者通过遍历文件、读取数据,并在合并过程中为每条记录自动添加一个包含其来源文件名的列。这对于数据溯源和管理批量导入的数据至关重要,帮助用户轻松整合分散的数据并保持其来源信息。

在日常数据处理中,我们经常会遇到需要将多个结构相似的Excel文件合并成一个统一数据集的场景。更进一步的需求是,在合并后的数据中,能够清晰地识别每条记录来源于哪个原始文件。本文将详细阐述如何利用Pandas库实现这一目标,为合并后的数据添加一个“文件名”列,从而增强数据溯源能力。

准备工作

在开始之前,请确保你的Python环境中已经安装了pandas库。如果尚未安装,可以通过以下命令进行安装:

pip install pandas openpyxl

openpyxl是Pandas读取和写入.xlsx格式Excel文件所需的引擎。

我们还需要glob库来查找指定目录下的所有Excel文件,以及os库来处理文件路径。

import glob
import pandas as pd
import os

假设所有待合并的Excel文件都位于一个特定目录下,例如../content/。

核心实现:合并文件与添加文件名

实现此功能的关键在于遍历每个文件,在读取数据后,立即为其添加一个表示来源文件名的列,然后将处理后的数据追加到总的DataFrame中。

以下是实现此功能的详细步骤和代码:

  1. 查找所有目标文件: 使用glob.glob()函数根据文件模式查找所有匹配的文件路径。
  2. 初始化合并后的DataFrame: 创建一个空的Pandas DataFrame,用于存储所有文件的合并数据。
  3. 遍历并处理每个文件:
    • 在循环中,逐一读取每个Excel文件。
    • 在读取数据时,可以指定跳过的行数(例如skiprows=1,跳过标题行)和需要使用的列(usecols)。
    • 关键步骤: 为当前文件读取到的DataFrame添加一个名为filename的新列,其值设置为当前文件的基本名称(不包含路径)。
    • 将处理后的当前文件DataFrame追加到之前初始化的总DataFrame中。
  4. 保存合并结果: 将最终合并的DataFrame保存为一个新的Excel文件。
import glob
import pandas as pd
import os

# 定义待处理Excel文件的目录和文件模式
# 假设所有Excel文件都以.xlsx结尾,并位于 '../content/' 目录下
file_pattern = '../content/*.xlsx'
files = glob.glob(file_pattern)

# 初始化一个空的DataFrame,用于存储所有合并后的数据
combined_df = pd.DataFrame()

# 定义我们感兴趣的列名,这些列将从每个Excel文件中读取
# 请根据实际Excel文件的列名进行调整
target_columns = ['Уровень', 'Код WBS', 'Код', 'Тип', 'Название']

print(f"发现 {len(files)} 个Excel文件待处理。")

# 遍历每个文件
for file_path in files:
    try:
        # 1. 读取Excel文件
        # skiprows=1 表示跳过第一行(通常是标题或不必要的信息)
        # usecols 指定只读取我们需要的列,提高效率并确保数据一致性
        df = pd.read_excel(file_path,
                           skiprows=1,
                           usecols=target_columns)

        # 2. 确保DataFrame只包含目标列,并按照指定顺序排列
        # 这一步在usecols已经指定的情况下,主要是为了明确列的顺序
        df = df[target_columns]

        # 3. 添加文件名列
        # os.path.basename(file_path) 用于提取文件名,不包含路径
        df['filename'] = os.path.basename(file_path)

        # 4. 将当前文件的数据追加到合并后的DataFrame
        # ignore_index=True 会重置索引,避免不同文件数据索引重复
        combined_df = pd.concat([combined_df, df], ignore_index=True)
        print(f"已成功处理文件: {os.path.basename(file_path)}")

    except FileNotFoundError:
        print(f"错误:文件未找到 - {file_path}")
    except KeyError as e:
        print(f"错误:文件 {os.path.basename(file_path)} 中缺少必要的列:{e}")
    except Exception as e:
        print(f"处理文件 {os.path.basename(file_path)} 时发生未知错误: {e}")
        # 可以选择跳过当前文件并继续处理下一个
        continue

# 定义输出文件的路径
output_file = "../content/multiplesheet.xlsx"

# 将合并后的数据保存到新的Excel文件
try:
    # index=False 避免将DataFrame的索引作为一列写入Excel文件
    combined_df.to_excel(output_file, sheet_name='Sheet', index=False)
    print(f"\n所有文件已成功合并并保存到: {output_file}")
except Exception as e:
    print(f"\n保存合并文件 {output_file} 时发生错误: {e}")

注意事项

  1. 文件路径与模式: glob.glob()支持通配符,如*.xlsx表示所有.xlsx文件,**/*.xlsx表示递归查找子目录中的所有.xlsx文件(需设置recursive=True)。请根据你的文件组织结构调整file_pattern。
  2. 列选择与跳过行:
    • skiprows参数非常有用,可以跳过Excel文件开头的非数据行,确保只读取到有效数据。
    • usecols参数可以指定需要读取的列名或列索引。这不仅可以减少内存消耗,还能避免读取不必要的列,并且在某些列不存在时,Pandas会抛出KeyError,有助于发现数据结构问题。
    • 代码中df = df[target_columns]这一行,在usecols已经指定列的情况下,主要作用是确保列的顺序与target_columns列表中的顺序一致。如果usecols已经保证了顺序且没有其他不需要的列,这一行可以省略。
  3. 文件名处理: 使用os.path.basename(file_path)可以只获取文件名部分,而不是完整的路径,这使得filename列的数据更加简洁和易读。如果需要完整的路径,可以直接使用file_path。
  4. 性能优化: 对于处理大量Excel文件(例如成百上千个)或单个文件非常大的情况,pd.concat在循环中频繁调用可能会导致性能问题。更优化的方法是先将每个文件读取到的DataFrame存储在一个列表中,然后在循环结束后一次性调用pd.concat:
    all_dfs = []
    for file_path in files:
        # ... 读取df,添加filename列 ...
        all_dfs.append(df)
    combined_df = pd.concat(all_dfs, ignore_index=True)
  5. 错误处理: 在实际应用中,文件可能不存在、文件格式不正确或缺少预期的列。使用try-except块可以捕获这些异常,防止程序崩溃,并提供有用的错误信息。
  6. 索引重置: pd.concat函数中的ignore_index=True参数至关重要。它会在合并后为新的DataFrame生成一个连续的默认整数索引,避免了原始DataFrame索引的重复或混乱。
  7. 输出文件: to_excel()函数中的index=False参数用于防止将DataFrame的内部索引作为一列写入到输出的Excel文件中。

总结

通过本教程,我们学习了如何利用Python的Pandas库高效地合并多个Excel文件,并为合并后的数据自动添加一个表示其来源文件名的列。这一方法不仅简化了数据整合过程,更重要的是,它为数据分析和溯源提供了极大的便利。掌握这一技巧,将使你在处理批量Excel数据时更加得心应手。

终于介绍完啦!小伙伴们,这篇关于《Pandas合并Excel文件并自动添加文件名列》的介绍应该让你收获多多了吧!欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识,快来关注吧!

Snowflake算法解析:Java分布式ID生成全攻略Snowflake算法解析:Java分布式ID生成全攻略
上一篇
Snowflake算法解析:Java分布式ID生成全攻略
Golang多语言支持,go-i18n使用详解
下一篇
Golang多语言支持,go-i18n使用详解
查看更多
最新文章
查看更多
课程推荐
  • 前端进阶之JavaScript设计模式
    前端进阶之JavaScript设计模式
    设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
    542次学习
  • GO语言核心编程课程
    GO语言核心编程课程
    本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
    509次学习
  • 简单聊聊mysql8与网络通信
    简单聊聊mysql8与网络通信
    如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
    497次学习
  • JavaScript正则表达式基础与实战
    JavaScript正则表达式基础与实战
    在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
    487次学习
  • 从零制作响应式网站—Grid布局
    从零制作响应式网站—Grid布局
    本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
    484次学习
查看更多
AI推荐
  • AI边界平台:智能对话、写作、画图,一站式解决方案
    边界AI平台
    探索AI边界平台,领先的智能AI对话、写作与画图生成工具。高效便捷,满足多样化需求。立即体验!
    388次使用
  • 讯飞AI大学堂免费AI认证证书:大模型工程师认证,提升您的职场竞争力
    免费AI认证证书
    科大讯飞AI大学堂推出免费大模型工程师认证,助力您掌握AI技能,提升职场竞争力。体系化学习,实战项目,权威认证,助您成为企业级大模型应用人才。
    405次使用
  • 茅茅虫AIGC检测:精准识别AI生成内容,保障学术诚信
    茅茅虫AIGC检测
    茅茅虫AIGC检测,湖南茅茅虫科技有限公司倾力打造,运用NLP技术精准识别AI生成文本,提供论文、专著等学术文本的AIGC检测服务。支持多种格式,生成可视化报告,保障您的学术诚信和内容质量。
    540次使用
  • 赛林匹克平台:科技赛事聚合,赋能AI、算力、量子计算创新
    赛林匹克平台(Challympics)
    探索赛林匹克平台Challympics,一个聚焦人工智能、算力算法、量子计算等前沿技术的赛事聚合平台。连接产学研用,助力科技创新与产业升级。
    636次使用
  • SEO  笔格AIPPT:AI智能PPT制作,免费生成,高效演示
    笔格AIPPT
    SEO 笔格AIPPT是135编辑器推出的AI智能PPT制作平台,依托DeepSeek大模型,实现智能大纲生成、一键PPT生成、AI文字优化、图像生成等功能。免费试用,提升PPT制作效率,适用于商务演示、教育培训等多种场景。
    545次使用
微信登录更方便
  • 密码登录
  • 注册账号
登录即同意 用户协议隐私政策
返回登录
  • 重置密码