Pandas快速合并多文件提取关键数据
2025-10-16 18:00:38
0浏览
收藏
还在为处理海量数据而烦恼？本文将深入讲解如何利用Python的Pandas库，**高效合并多文件数据，提取关键信息**。面对需要从多个文本文件中提取关联数据的需求，例如IP地址、MAC地址和端口信息的匹配，传统方法效率低下且代码复杂。本文提供了一种**基于Pandas DataFrame的解决方案**，通过merge操作，将多个文件的数据进行整合，实现IP地址到MAC地址再到端口的精确匹配，并最终以结构化的形式输出结果。告别繁琐的文件操作，**掌握Pandas高效数据处理技巧**，让你的数据分析事半功倍！文章包含完整代码示例，助你轻松上手。
场景需求：多文件数据关联与信息提取
在日常的数据处理任务中，我们经常会遇到需要从多个关联文件中提取和整合信息的情况。例如，给定三个文件：
- file1.txt 包含一系列待查询的 IP 地址。
- file2.txt 包含 IP 地址到 MAC 地址的映射关系。
- file3.txt 包含 MAC 地址到端口的映射关系。
我们的目标是，对于 file1.txt 中的每个 IP 地址，首先在 file2.txt 中找到对应的 MAC 地址，然后利用这个 MAC 地址在 file3.txt 中找到对应的端口，最终以 "IP 地址 MAC 地址 端口" 的格式输出所有匹配的结果。
传统的文件处理方法，如逐行读取、嵌套循环和字符串匹配，在处理这类关联数据时往往效率低下且代码复杂，尤其当文件较大时，性能问题会更加突出。
Pandas 解决方案概览
Python 的 Pandas 库提供了一套强大的数据结构（DataFrame）和数据分析工具，特别适用于处理表格型数据。利用 Pandas，我们可以将每个文件视为一个 DataFrame，然后通过类似于 SQL 的 merge（合并）操作，高效地将这些 DataFrame 关联起来，从而轻松实现数据的整合和查询。这种方法不仅代码简洁，而且在处理大量数据时具有显著的性能优势。
数据准备：加载文件至 DataFrame
首先，我们需要将每个文本文件的内容加载到 Pandas DataFrame 中。在实际应用中，通常使用 pd.read_csv() 或 pd.read_table() 等函数从文件中读取数据。对于本教程的示例，我们将直接通过 Python 字典创建 DataFrame，以确保代码的自包含性和可运行性。
假设我们的原始文件内容如下：
file1.txt (IP地址列表):
1.1.1.1 1.1.1.2 1.1.1.3 1.1.1.6 1.1.1.11
file2.txt (IP到MAC的映射):
Protocol Address Age (min) Addr Type Interface Internet 1.1.1.1 5 6026.aa11.1111 A Ethernet1/49 Internet 1.1.1.2 - 0006.f2d2.2d2f A Vlan1 Internet 1.1.1.3 - 6026.aa33.3333 A Vlan1 Internet 1.1.1.4 0 Incomplete A Internet 1.1.1.5 0 Incomplete A Internet 1.1.1.6 64 fa16.6edb.6666 A Vlan1 Internet 1.1.1.11 23 fa16.7e7d.7777 A Vlan1
file3.txt (MAC到端口的映射):
Unicast Entries vlan mac address type protocols port ---------+---------------+--------+---------------------+------------------------- 1 6026.aa11.1111 static ip,ipx,assigned,other Switch 1 0006.f2d2.2d2f dynamic ip,ipx,assigned,other Ethernet1/24 1 6026.aa33.3333 dynamic ip,ipx,assigned,other Ethernet1/12 1 fa16.6edb.6666 dynamic ip,ipx,assigned,other Ethernet1/8 1 fa16.7e7d.7777 dynamic ip,ipx,assigned,other Ethernet1/10
对应的 DataFrame 创建代码如下：
import pandas as pd
# 假设 file1.txt 只有一列IP地址，无表头
# 实际读取文件示例: df1 = pd.read_csv('file1.txt', header=None, names=['ipv4'])
df1 = pd.DataFrame({"ipv4":{"0":"1.1.1.1","1":"1.1.1.2","2":"1.1.1.3","3":"1.1.1.6","4":"1.1.1.11"}})
# 假设 file2.txt 有表头，并且是空格分隔
# 实际读取文件示例: df2 = pd.read_csv('file2.txt', delim_whitespace=True)
df2 = pd.DataFrame({
"Protocol":{ "0":"Internet", "1":"Internet", "2":"Internet", "3":"Internet", "4":"Internet", "5":"Internet", "6":"Internet" },
"Address":{ "0":"1.1.1.1", "1":"1.1.1.2", "2":"1.1.1.3", "3":"1.1.1.4", "4":"1.1.1.5", "5":"1.1.1.6", "6":"1.1.1.11" },
"Age (min)":{ "0":"5", "1":"-", "2":"-", "3":"0", "4":"0", "5":"64", "6":"23" },
"Addr":{ "0":"6026.aa11.1111", "1":"0006.f2d2.2d2f", "2":"6026.aa33.3333", "3":"Incomplete", "4":"Incomplete", "5":"fa16.6edb.6666", "6":"fa16.7e7d.7777" },
"Type":{ "0":"A", "1":"A", "2":"A", "3":"A", "4":"A", "5":"A", "6":"A" },
"Interface":{ "0":"Ethernet1\/49", "1":"Vlan1", "2":"Vlan1", "3":None, "4":None, "5":"Vlan1", "6":"Vlan1" }
})
# 假设 file3.txt 有表头，并且是空格分隔
# 实际读取文件示例: df3 = pd.read_csv('file3.txt', delim_whitespace=True, skiprows=[1]) # skiprows跳过分隔线
df3 = pd.DataFrame({
"vlan":{"0":1,"1":1,"2":1,"3":1,"4":1},
"mac address":{"0":"6026.aa11.1111","1":"0006.f2d2.2d2f","2":"6026.aa33.3333","3":"fa16.6edb.6666","4":"fa16.7e7d.7777"},
"type":{"0":"static","1":"dynamic","2":"dynamic","3":"dynamic","4":"dynamic"},
"protocols":{"0":"ip,ipx,assigned,other","1":"ip,ipx,assigned,other","2":"ip,ipx,assigned,other","3":"ip,ipx,assigned,other","4":"ip,ipx,assigned,other"},
"port":{"0":"Switch","1":" Ethernet1\\/24","2":" Ethernet1\\/12","3":" Ethernet1\\/8","4":" Ethernet1\\/10"}})核心操作：使用 merge 函数整合数据
Pandas 的 merge 函数是实现 DataFrame 之间关联的核心工具。它类似于 SQL 中的 JOIN 操作，可以根据一个或多个共同的列将两个 DataFrame 合并。
在本例中，我们需要进行两次合并：
- 第一次合并：将 df1（包含IP地址）与 df2（包含IP到MAC的映射）合并。
- df1 中的 ipv4 列与 df2 中的 Address 列是共同的关联键。
- 我们使用 how="inner" 来确保只有在两个 DataFrame 中都存在的 IP 地址才会被保留。
- 第二次合并：将第一次合并的结果与 df3（包含MAC到端口的映射）合并。
- 第一次合并结果中的 Addr 列（即MAC地址）与 df3 中的 mac address 列是共同的关联键。
合并操作如下：
# 第一次合并：根据IP地址关联 df1 和 df2 # left_on="ipv4" 指 df1 的关联列，right_on="Address" 指 df2 的关联列 merged_df_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address") # 第二次合并：根据MAC地址关联第一次合并的结果和 df3 # left_on="Addr" 指 merged_df_ip_mac 的关联列，right_on="mac address" 指 df3 的关联列 maindf = merged_df_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")
通过这两次 inner 合并，maindf 中将只包含那些在所有三个文件中都能找到对应关系的 IP、MAC 和端口信息。
结果输出：提取并格式化所需信息
合并完成后，maindf 包含了所有我们需要的关联数据。现在，我们只需要从 maindf 中选择我们关心的列 (ipv4, Addr, port)，并按照指定格式输出。
# 提取所需的列
result_df = maindf[["ipv4", "Addr", "port"]]
# 按照指定格式打印结果
print("期望输出:")
for index, row in result_df.iterrows():
print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port']}")这将产生以下输出：
ip 1.1.1.1 addr 6026.aa11.1111 port Switch ip 1.1.1.2 addr 0006.f2d2.2d2f port Ethernet1/24 ip 1.1.1.3 addr 6026.aa33.3333 port Ethernet1/12 ip 1.1.1.6 addr fa16.6edb.6666 port Ethernet1/8 ip 1.1.1.11 addr fa16.7e7d.7777 port Ethernet1/10
完整示例代码
以下是整合了所有步骤的完整 Python 代码：
import pandas as pd
# 1. 数据准备：加载文件至 DataFrame (此处为演示目的，直接创建DataFrame)
# 实际文件读取示例:
# df1 = pd.read_csv('file1.txt', header=None, names=['ipv4'])
# df2 = pd.read_csv('file2.txt', delim_whitespace=True)
# df3 = pd.read_csv('file3.txt', delim_whitespace=True, skiprows=[1]) # 假设需要跳过第二行分隔线
df1 = pd.DataFrame({"ipv4":{"0":"1.1.1.1","1":"1.1.1.2","2":"1.1.1.3","3":"1.1.1.6","4":"1.1.1.11"}})
df2 = pd.DataFrame({
"Protocol":{ "0":"Internet", "1":"Internet", "2":"Internet", "3":"Internet", "4":"Internet", "5":"Internet", "6":"Internet" },
"Address":{ "0":"1.1.1.1", "1":"1.1.1.2", "2":"1.1.1.3", "3":"1.1.1.4", "4":"1.1.1.5", "5":"1.1.1.6", "6":"1.1.1.11" },
"Age (min)":{ "0":"5", "1":"-", "2":"-", "3":"0", "4":"0", "5":"64", "6":"23" },
"Addr":{ "0":"6026.aa11.1111", "1":"0006.f2d2.2d2f", "2":"6026.aa33.3333", "3":"Incomplete", "4":"Incomplete", "5":"fa16.6edb.6666", "6":"fa16.7e7d.7777" },
"Type":{ "0":"A", "1":"A", "2":"A", "3":"A", "4":"A", "5":"A", "6":"A" },
"Interface":{ "0":"Ethernet1\/49", "1":"Vlan1", "2":"Vlan1", "3":None, "4":None, "5":"Vlan1", "6":"Vlan1" }
})
df3 = pd.DataFrame({
"vlan":{"0":1,"1":1,"2":1,"3":1,"4":1},
"mac address":{"0":"6026.aa11.1111","1":"0006.f2d2.2d2f","2":"6026.aa33.3333","3":"fa16.6edb.6666","4":"fa16.7e7d.7777"},
"type":{"0":"static","1":"dynamic","2":"dynamic","3":"dynamic","4":"dynamic"},
"protocols":{"0":"ip,ipx,assigned,other","1":"ip,ipx,assigned,other","2":"ip,ipx,assigned,other","3":"ip,ipx,assigned,other","4":"ip,ipx,assigned,other"},
"port":{"0":"Switch","1":" Ethernet1\\/24","2":" Ethernet1\\/12","3":" Ethernet1\\/8","4":" Ethernet1\\/10"}})
# 2. 核心操作：使用 merge 函数整合数据
# 第一次合并：df1 (ipv4) -> df2 (Address, Addr)
merged_df_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")
# 第二次合并：merged_df_ip_mac (Addr) -> df3 (mac address, port)
maindf = merged_df_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")
# 3. 结果输出：提取并格式化所需信息
result_df = maindf[["ipv4", "Addr", "port"]]
print("最终匹配结果:")
for index, row in result_df.iterrows():
print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port']}")注意事项
- 文件读取参数：
- pd.read_csv() 是读取 CSV 文件的常用函数，但它也可以处理其他分隔符的文件。对于空格或不规则分隔符的文件，可以使用 sep='\s+' 或 delim_whitespace=True。
- 如果文件没有表头，需要设置 header=None，并可以通过 names 参数手动指定列名。
- 如果文件
到这里，我们也就讲完了《Pandas快速合并多文件提取关键数据》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！
今日头条恢复出厂设置教程详解
- 上一篇
- 今日头条恢复出厂设置教程详解
- 下一篇
- Office主题色设置教程
查看更多
最新文章
-
- 文章 · python教程 | 1小时前 |
- Python ExceptionGroup 派生新组时如何保留异常元数据
- 417浏览 收藏
-
- 文章 · python教程 | 2小时前 | 异常处理 · 并发编程 · Python教程 · asyncio · asyncio 结构化并发 ExceptionGroup except* Python TaskGroup
- Python TaskGroup 如何汇总多个子任务异常
- 208浏览 收藏
-
- 文章 · python教程 | 6小时前 | 并发编程 · 工程实践 · Python教程 · 多进程日志 QueueListener multiprocessing.Queue RotatingFileHandler Python QueueHandler
- Python 日志 QueueHandler 解决多进程写入争用
- 186浏览 收藏
-
- 文章 · python教程 | 8小时前 | 数据校验 · python · Pydantic 部分更新 exclude_unset model_fields_set 显式空值 model_dump
- Pydantic 模型更新时区分未提供字段与显式空值
- 399浏览 收藏
-
- 文章 · python教程 | 10小时前 |
- pytest Fixture 作用域如何影响测试隔离与速度
- 341浏览 收藏
-
- 文章 · python教程 | 13小时前 | Python教程 · pathlib · 路径安全 Python pathlib Path.resolve 目录穿越 relative_to
- Pathlib 安全拼接用户路径：解析后再验证根目录
- 463浏览 收藏
-
- 文章 · python教程 | 15小时前 | 性能优化 · Python教程 · Python 进程间通信 pickle multiprocessing SharedMemory
- multiprocessing 传输大对象为何变慢，如何减少序列化
- 478浏览 收藏
-
- 文章 · python教程 | 1天前 | python · Python import很慢 -X importtime 模块级副作用 延迟导入 Python启动优化
- Python import 很慢怎么分析：模块级副作用与延迟导入
- 292浏览 收藏
-
- 文章 · python教程 | 1天前 | python · 异步编程 · Python asyncio contextvars request_id
- contextvars 在异步请求链中传递追踪信息
- 393浏览 收藏
查看更多
课程推荐
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 485次学习
查看更多
AI推荐
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集，涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用，助力提升NLP模型性能。
- 384次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台，提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能，助您快速选择最适合项目的高性能大语言模型。
- 455次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制，用户可对比不同大模型回答并生成实时排行榜，助力开发者优化模型及用户选择最佳AI工具。
- 469次使用
-
- HELM
- 深入了解斯坦福推出的HELM（Holistic Evaluation of Language Models）大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景，涵盖准确性、公平性、鲁棒性等多维度指标，助力开发者全面优化语言模型性能。
- 409次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台，提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景，助力开发者全面评估多模态模型性能。
- 237次使用
查看更多
相关文章
-
- Python sqlite3 Connection serialize 怎么导出数据库快照：备份窗口、内存占用与恢复校验
- 2026-08-26 501浏览
-
- Python监控网页状态：requests异常处理实战
- 2026-05-29 501浏览
-
- TensorFlow模型部署为API的TF Serving方法
- 2026-05-26 501浏览
-
- Python字符串编码转换：encode与decode详解
- 2026-05-16 501浏览
-
- TensorFlow裁剪无用算子方法详解
- 2026-05-15 501浏览
