Pandas快速合并多文件提取关键数据
2025-10-16 18:00:38
0浏览
收藏
还在为处理海量数据而烦恼？本文将深入讲解如何利用Python的Pandas库，**高效合并多文件数据，提取关键信息**。面对需要从多个文本文件中提取关联数据的需求，例如IP地址、MAC地址和端口信息的匹配，传统方法效率低下且代码复杂。本文提供了一种**基于Pandas DataFrame的解决方案**，通过merge操作，将多个文件的数据进行整合，实现IP地址到MAC地址再到端口的精确匹配，并最终以结构化的形式输出结果。告别繁琐的文件操作，**掌握Pandas高效数据处理技巧**，让你的数据分析事半功倍！文章包含完整代码示例，助你轻松上手。
场景需求：多文件数据关联与信息提取
在日常的数据处理任务中，我们经常会遇到需要从多个关联文件中提取和整合信息的情况。例如，给定三个文件：
- file1.txt 包含一系列待查询的 IP 地址。
- file2.txt 包含 IP 地址到 MAC 地址的映射关系。
- file3.txt 包含 MAC 地址到端口的映射关系。
我们的目标是，对于 file1.txt 中的每个 IP 地址，首先在 file2.txt 中找到对应的 MAC 地址，然后利用这个 MAC 地址在 file3.txt 中找到对应的端口，最终以 "IP 地址 MAC 地址 端口" 的格式输出所有匹配的结果。
传统的文件处理方法，如逐行读取、嵌套循环和字符串匹配，在处理这类关联数据时往往效率低下且代码复杂，尤其当文件较大时，性能问题会更加突出。
Pandas 解决方案概览
Python 的 Pandas 库提供了一套强大的数据结构（DataFrame）和数据分析工具，特别适用于处理表格型数据。利用 Pandas，我们可以将每个文件视为一个 DataFrame，然后通过类似于 SQL 的 merge（合并）操作，高效地将这些 DataFrame 关联起来，从而轻松实现数据的整合和查询。这种方法不仅代码简洁，而且在处理大量数据时具有显著的性能优势。
数据准备：加载文件至 DataFrame
首先，我们需要将每个文本文件的内容加载到 Pandas DataFrame 中。在实际应用中，通常使用 pd.read_csv() 或 pd.read_table() 等函数从文件中读取数据。对于本教程的示例，我们将直接通过 Python 字典创建 DataFrame，以确保代码的自包含性和可运行性。
假设我们的原始文件内容如下：
file1.txt (IP地址列表):
1.1.1.1 1.1.1.2 1.1.1.3 1.1.1.6 1.1.1.11
file2.txt (IP到MAC的映射):
Protocol Address Age (min) Addr Type Interface Internet 1.1.1.1 5 6026.aa11.1111 A Ethernet1/49 Internet 1.1.1.2 - 0006.f2d2.2d2f A Vlan1 Internet 1.1.1.3 - 6026.aa33.3333 A Vlan1 Internet 1.1.1.4 0 Incomplete A Internet 1.1.1.5 0 Incomplete A Internet 1.1.1.6 64 fa16.6edb.6666 A Vlan1 Internet 1.1.1.11 23 fa16.7e7d.7777 A Vlan1
file3.txt (MAC到端口的映射):
Unicast Entries vlan mac address type protocols port ---------+---------------+--------+---------------------+------------------------- 1 6026.aa11.1111 static ip,ipx,assigned,other Switch 1 0006.f2d2.2d2f dynamic ip,ipx,assigned,other Ethernet1/24 1 6026.aa33.3333 dynamic ip,ipx,assigned,other Ethernet1/12 1 fa16.6edb.6666 dynamic ip,ipx,assigned,other Ethernet1/8 1 fa16.7e7d.7777 dynamic ip,ipx,assigned,other Ethernet1/10
对应的 DataFrame 创建代码如下：
import pandas as pd
# 假设 file1.txt 只有一列IP地址，无表头
# 实际读取文件示例: df1 = pd.read_csv('file1.txt', header=None, names=['ipv4'])
df1 = pd.DataFrame({"ipv4":{"0":"1.1.1.1","1":"1.1.1.2","2":"1.1.1.3","3":"1.1.1.6","4":"1.1.1.11"}})
# 假设 file2.txt 有表头，并且是空格分隔
# 实际读取文件示例: df2 = pd.read_csv('file2.txt', delim_whitespace=True)
df2 = pd.DataFrame({
"Protocol":{ "0":"Internet", "1":"Internet", "2":"Internet", "3":"Internet", "4":"Internet", "5":"Internet", "6":"Internet" },
"Address":{ "0":"1.1.1.1", "1":"1.1.1.2", "2":"1.1.1.3", "3":"1.1.1.4", "4":"1.1.1.5", "5":"1.1.1.6", "6":"1.1.1.11" },
"Age (min)":{ "0":"5", "1":"-", "2":"-", "3":"0", "4":"0", "5":"64", "6":"23" },
"Addr":{ "0":"6026.aa11.1111", "1":"0006.f2d2.2d2f", "2":"6026.aa33.3333", "3":"Incomplete", "4":"Incomplete", "5":"fa16.6edb.6666", "6":"fa16.7e7d.7777" },
"Type":{ "0":"A", "1":"A", "2":"A", "3":"A", "4":"A", "5":"A", "6":"A" },
"Interface":{ "0":"Ethernet1\/49", "1":"Vlan1", "2":"Vlan1", "3":None, "4":None, "5":"Vlan1", "6":"Vlan1" }
})
# 假设 file3.txt 有表头，并且是空格分隔
# 实际读取文件示例: df3 = pd.read_csv('file3.txt', delim_whitespace=True, skiprows=[1]) # skiprows跳过分隔线
df3 = pd.DataFrame({
"vlan":{"0":1,"1":1,"2":1,"3":1,"4":1},
"mac address":{"0":"6026.aa11.1111","1":"0006.f2d2.2d2f","2":"6026.aa33.3333","3":"fa16.6edb.6666","4":"fa16.7e7d.7777"},
"type":{"0":"static","1":"dynamic","2":"dynamic","3":"dynamic","4":"dynamic"},
"protocols":{"0":"ip,ipx,assigned,other","1":"ip,ipx,assigned,other","2":"ip,ipx,assigned,other","3":"ip,ipx,assigned,other","4":"ip,ipx,assigned,other"},
"port":{"0":"Switch","1":" Ethernet1\\/24","2":" Ethernet1\\/12","3":" Ethernet1\\/8","4":" Ethernet1\\/10"}})核心操作：使用 merge 函数整合数据
Pandas 的 merge 函数是实现 DataFrame 之间关联的核心工具。它类似于 SQL 中的 JOIN 操作，可以根据一个或多个共同的列将两个 DataFrame 合并。
在本例中，我们需要进行两次合并：
- 第一次合并：将 df1（包含IP地址）与 df2（包含IP到MAC的映射）合并。
- df1 中的 ipv4 列与 df2 中的 Address 列是共同的关联键。
- 我们使用 how="inner" 来确保只有在两个 DataFrame 中都存在的 IP 地址才会被保留。
- 第二次合并：将第一次合并的结果与 df3（包含MAC到端口的映射）合并。
- 第一次合并结果中的 Addr 列（即MAC地址）与 df3 中的 mac address 列是共同的关联键。
合并操作如下：
# 第一次合并：根据IP地址关联 df1 和 df2 # left_on="ipv4" 指 df1 的关联列，right_on="Address" 指 df2 的关联列 merged_df_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address") # 第二次合并：根据MAC地址关联第一次合并的结果和 df3 # left_on="Addr" 指 merged_df_ip_mac 的关联列，right_on="mac address" 指 df3 的关联列 maindf = merged_df_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")
通过这两次 inner 合并，maindf 中将只包含那些在所有三个文件中都能找到对应关系的 IP、MAC 和端口信息。
结果输出：提取并格式化所需信息
合并完成后，maindf 包含了所有我们需要的关联数据。现在，我们只需要从 maindf 中选择我们关心的列 (ipv4, Addr, port)，并按照指定格式输出。
# 提取所需的列
result_df = maindf[["ipv4", "Addr", "port"]]
# 按照指定格式打印结果
print("期望输出:")
for index, row in result_df.iterrows():
print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port']}")这将产生以下输出：
ip 1.1.1.1 addr 6026.aa11.1111 port Switch ip 1.1.1.2 addr 0006.f2d2.2d2f port Ethernet1/24 ip 1.1.1.3 addr 6026.aa33.3333 port Ethernet1/12 ip 1.1.1.6 addr fa16.6edb.6666 port Ethernet1/8 ip 1.1.1.11 addr fa16.7e7d.7777 port Ethernet1/10
完整示例代码
以下是整合了所有步骤的完整 Python 代码：
import pandas as pd
# 1. 数据准备：加载文件至 DataFrame (此处为演示目的，直接创建DataFrame)
# 实际文件读取示例:
# df1 = pd.read_csv('file1.txt', header=None, names=['ipv4'])
# df2 = pd.read_csv('file2.txt', delim_whitespace=True)
# df3 = pd.read_csv('file3.txt', delim_whitespace=True, skiprows=[1]) # 假设需要跳过第二行分隔线
df1 = pd.DataFrame({"ipv4":{"0":"1.1.1.1","1":"1.1.1.2","2":"1.1.1.3","3":"1.1.1.6","4":"1.1.1.11"}})
df2 = pd.DataFrame({
"Protocol":{ "0":"Internet", "1":"Internet", "2":"Internet", "3":"Internet", "4":"Internet", "5":"Internet", "6":"Internet" },
"Address":{ "0":"1.1.1.1", "1":"1.1.1.2", "2":"1.1.1.3", "3":"1.1.1.4", "4":"1.1.1.5", "5":"1.1.1.6", "6":"1.1.1.11" },
"Age (min)":{ "0":"5", "1":"-", "2":"-", "3":"0", "4":"0", "5":"64", "6":"23" },
"Addr":{ "0":"6026.aa11.1111", "1":"0006.f2d2.2d2f", "2":"6026.aa33.3333", "3":"Incomplete", "4":"Incomplete", "5":"fa16.6edb.6666", "6":"fa16.7e7d.7777" },
"Type":{ "0":"A", "1":"A", "2":"A", "3":"A", "4":"A", "5":"A", "6":"A" },
"Interface":{ "0":"Ethernet1\/49", "1":"Vlan1", "2":"Vlan1", "3":None, "4":None, "5":"Vlan1", "6":"Vlan1" }
})
df3 = pd.DataFrame({
"vlan":{"0":1,"1":1,"2":1,"3":1,"4":1},
"mac address":{"0":"6026.aa11.1111","1":"0006.f2d2.2d2f","2":"6026.aa33.3333","3":"fa16.6edb.6666","4":"fa16.7e7d.7777"},
"type":{"0":"static","1":"dynamic","2":"dynamic","3":"dynamic","4":"dynamic"},
"protocols":{"0":"ip,ipx,assigned,other","1":"ip,ipx,assigned,other","2":"ip,ipx,assigned,other","3":"ip,ipx,assigned,other","4":"ip,ipx,assigned,other"},
"port":{"0":"Switch","1":" Ethernet1\\/24","2":" Ethernet1\\/12","3":" Ethernet1\\/8","4":" Ethernet1\\/10"}})
# 2. 核心操作：使用 merge 函数整合数据
# 第一次合并：df1 (ipv4) -> df2 (Address, Addr)
merged_df_ip_mac = df1.merge(df2, how="inner", left_on="ipv4", right_on="Address")
# 第二次合并：merged_df_ip_mac (Addr) -> df3 (mac address, port)
maindf = merged_df_ip_mac.merge(df3, how="inner", left_on="Addr", right_on="mac address")
# 3. 结果输出：提取并格式化所需信息
result_df = maindf[["ipv4", "Addr", "port"]]
print("最终匹配结果:")
for index, row in result_df.iterrows():
print(f"ip {row['ipv4']} addr {row['Addr']} port {row['port']}")注意事项
- 文件读取参数：
- pd.read_csv() 是读取 CSV 文件的常用函数，但它也可以处理其他分隔符的文件。对于空格或不规则分隔符的文件，可以使用 sep='\s+' 或 delim_whitespace=True。
- 如果文件没有表头，需要设置 header=None，并可以通过 names 参数手动指定列名。
- 如果文件
到这里，我们也就讲完了《Pandas快速合并多文件提取关键数据》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！
今日头条恢复出厂设置教程详解
- 上一篇
- 今日头条恢复出厂设置教程详解
- 下一篇
- Office主题色设置教程
查看更多
最新文章
-
- 文章 · python教程 | 20分钟前 |
- Python局部变量定义与使用技巧
- 182浏览 收藏
-
- 文章 · python教程 | 43分钟前 | 类 自定义行为 双下划线 Python魔法方法 特殊方法
- Python常用魔法方法有哪些？
- 300浏览 收藏
-
- 文章 · python教程 | 1小时前 |
- CP-SAT求解器进度与优化分析
- 310浏览 收藏
-
- 文章 · python教程 | 1小时前 |
- Python文件读写操作全解析
- 355浏览 收藏
-
- 文章 · python教程 | 1小时前 | 列表 字典 元组 集合 Python3数据类型
- Python3常见数据类型有哪些？
- 260浏览 收藏
-
- 文章 · python教程 | 1小时前 |
- Python连接Snowflake数据仓库方法详解
- 478浏览 收藏
-
- 文章 · python教程 | 2小时前 |
- Python多线程GIL详解与影响分析
- 322浏览 收藏
-
- 文章 · python教程 | 2小时前 | 游戏开发 Pygame 碰撞检测 Python飞机大战 精灵组
- Python飞机大战小游戏开发教程
- 147浏览 收藏
-
- 文章 · python教程 | 2小时前 |
- Python画皮卡丘教程及代码分享
- 397浏览 收藏
-
- 文章 · python教程 | 2小时前 |
- Python3数组旋转算法详解
- 173浏览 收藏
-
- 文章 · python教程 | 3小时前 |
- PythonSeries方法详解与实战技巧
- 113浏览 收藏
查看更多
课程推荐
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 485次学习
查看更多
AI推荐
-
- ChatExcel酷表
- ChatExcel酷表是由北京大学团队打造的Excel聊天机器人，用自然语言操控表格，简化数据处理，告别繁琐操作，提升工作效率！适用于学生、上班族及政府人员。
- 3173次使用
-
- Any绘本
- 探索Any绘本（anypicturebook.com/zh），一款开源免费的AI绘本创作工具，基于Google Gemini与Flux AI模型，让您轻松创作个性化绘本。适用于家庭、教育、创作等多种场景，零门槛，高自由度，技术透明，本地可控。
- 3386次使用
-
- 可赞AI
- 可赞AI，AI驱动的办公可视化智能工具，助您轻松实现文本与可视化元素高效转化。无论是智能文档生成、多格式文本解析，还是一键生成专业图表、脑图、知识卡片，可赞AI都能让信息处理更清晰高效。覆盖数据汇报、会议纪要、内容营销等全场景，大幅提升办公效率，降低专业门槛，是您提升工作效率的得力助手。
- 3415次使用
-
- 星月写作
- 星月写作是国内首款聚焦中文网络小说创作的AI辅助工具，解决网文作者从构思到变现的全流程痛点。AI扫榜、专属模板、全链路适配，助力新人快速上手，资深作者效率倍增。
- 4520次使用
-
- MagicLight
- MagicLight.ai是全球首款叙事驱动型AI动画视频创作平台，专注于解决从故事想法到完整动画的全流程痛点。它通过自研AI模型，保障角色、风格、场景高度一致性，让零动画经验者也能高效产出专业级叙事内容。广泛适用于独立创作者、动画工作室、教育机构及企业营销，助您轻松实现创意落地与商业化。
- 3793次使用
查看更多
相关文章
-
- Flask框架安装技巧：让你的开发更高效
- 2024-01-03 501浏览
-
- Django框架中的并发处理技巧
- 2024-01-22 501浏览
-
- 提升Python包下载速度的方法——正确配置pip的国内源
- 2024-01-17 501浏览
-
- Python与C++：哪个编程语言更适合初学者？
- 2024-03-25 501浏览
-
- 品牌建设技巧
- 2024-04-06 501浏览
