Pandas快速更新DataFrame列值方法
本文详细讲解了如何利用Pandas库中的`update()`方法,基于DataFrame的匹配列值高效更新另一DataFrame的指定列。传统循环效率低下,而`update()`通过设置共享索引和选择性更新,实现了更优的数据处理方案,尤其适用于根据多列条件批量同步数据的场景。文章提供了一个可复用的Python函数,该函数通过`set_index()`方法创建临时多级索引,实现基于多列的条件匹配,然后利用`update()`方法进行高效更新。通过示例代码展示了如何根据ID和Name匹配,更新Type列,并详细解析了函数的工作原理、注意事项,如`update()`的覆盖行为以及性能优势,旨在帮助读者掌握Pandas在数据清洗和整合任务中的强大功能。

1. 引言与问题背景
在数据分析和处理中,我们经常会遇到需要根据一个数据框(DataFrame)中的信息来更新另一个数据框的情况。例如,我们有两个DataFrame,df1 包含完整的数据信息,而 df2 包含部分数据,其中一些列需要根据 df1 中的对应信息进行填充或更新。常见的需求是,当两个DataFrame在特定列(如ID和名称)上匹配时,将源DataFrame(df1)中的某个列(如Type)的值复制到目标DataFrame(df2)的相应列中。
传统上,一些开发者可能会考虑使用循环(如for循环)逐行遍历并比较,但这在处理大型数据集时效率极低。Pandas提供了更高效、向量化的操作来解决这类问题,其中DataFrame.update()方法是一个非常强大的工具。
2. Pandas update() 方法概述
DataFrame.update() 方法用于用另一个DataFrame的值更新当前DataFrame。它的核心机制是基于索引对齐来执行更新操作。这意味着,如果两个DataFrame具有相同的索引标签,并且在更新DataFrame的相应位置有非NaN值,则这些值将覆盖原始DataFrame中的值。
对于本教程中的需求,即根据多列(如ID和Name)进行匹配更新,我们需要巧妙地利用set_index()方法来为update()操作创建临时的多级索引,以实现基于多列的条件匹配。
3. 实现原理与步骤
为了实现根据 ID 和 Name 匹配并更新 Type 列的需求,我们可以遵循以下步骤:
- 设置索引: 将目标DataFrame和源DataFrame都通过匹配列(ID和Name)设置为它们的索引。这是update()方法能够识别匹配行的关键。
- 选择更新列: 从源DataFrame中选择需要用来更新的列(Type)。
- 执行更新: 使用目标DataFrame的update()方法,传入经过索引设置和列选择的源DataFrame。
- 重置索引: 更新完成后,将目标DataFrame的索引重置回默认的整数索引,将之前用作索引的列恢复为普通列。
4. 示例代码与详细解析
下面是一个实现上述逻辑的Python函数示例,它封装了更新操作,使其可复用:
import pandas as pd
def update_dataframe_columns(df_target: pd.DataFrame,
df_source: pd.DataFrame,
match_cols: list,
update_cols: list) -> pd.DataFrame:
"""
根据匹配列的值,用源DataFrame的数据更新目标DataFrame的指定列。
Args:
df_target (pd.DataFrame): 目标DataFrame,将被更新。
df_source (pd.DataFrame): 源DataFrame,提供更新数据。
match_cols (list): 用于匹配行的列名列表。这些列在两个DataFrame中必须存在。
update_cols (list): 需要从df_source复制到df_target的列名列表。
Returns:
pd.DataFrame: 更新后的df_target DataFrame。
"""
# 1. 将目标DataFrame和源DataFrame都通过匹配列设置为索引
# 注意:res是df_target的副本,所有操作在res上进行
res = df_target.set_index(match_cols)
# 2. 将源DataFrame也通过匹配列设置为索引,并只选择需要更新的列
source_data_for_update = df_source.set_index(match_cols)[update_cols]
# 3. 执行更新操作
# update()方法会根据索引对齐,用source_data_for_update中的非NaN值覆盖res中的对应值
res.update(source_data_for_update)
# 4. 重置索引,将匹配列恢复为普通列
return res.reset_index()
# 示例数据
df1 = pd.DataFrame({'ID': [1, 2, 3, 5],
'Name': ['client', 'detail_client', 'operations', 'audit'],
'Type': ['str', 'var', 'str', 'nvar']})
df2 = pd.DataFrame({'ID': [5, 3, 7, 2],
'Name': ['audit', 'operations', 'C', 'detail_client'],
'Type': ['nan', 'nan', 'nan', 'nan']})
print("原始 df1:")
print(df1)
print("\n原始 df2:")
print(df2)
# 调用函数进行更新
# 我们希望用df1的数据更新df2,匹配列是['ID', 'Name'],更新列是['Type']
updated_df2 = update_dataframe_columns(df2, df1, ['ID', 'Name'], ['Type'])
print("\n更新后的 df2:")
print(updated_df2)代码解析:
- update_dataframe_columns 函数接收四个参数:
- df_target: 目标DataFrame,即我们希望被修改的DataFrame(在示例中是df2)。
- df_source: 源DataFrame,提供更新数据的DataFrame(在示例中是df1)。
- match_cols: 一个列表,包含用于在两个DataFrame之间建立匹配关系的列名。
- update_cols: 一个列表,包含需要从 df_source 复制到 df_target 的列名。
- res = df_target.set_index(match_cols): 这一步创建了 df_target 的一个副本 res,并将其索引设置为 match_cols 中指定的列。例如,对于df2,其索引将变为由ID和Name组成的复合索引。
- source_data_for_update = df_source.set_index(match_cols)[update_cols]: 类似地,df_source 也通过相同的 match_cols 设置索引,但随后我们只选择 update_cols 中指定的列。这样,source_data_for_update 就包含了根据匹配列对齐的源数据,且只包含我们关心的更新列。
- res.update(source_data_for_update): 这是核心步骤。res 调用 update() 方法,并传入 source_data_for_update。Pandas会比较 res 和 source_data_for_update 的索引。如果索引匹配,并且 source_data_for_update 中对应位置的值不是 NaN,那么 res 中相应的值就会被覆盖。在本例中,df2['Type'] 初始都是 'nan',因此任何来自 df1 的非 NaN 值都会成功覆盖。
- return res.reset_index(): 最后,将 res 的索引重置为默认的整数索引,match_cols 中的列会作为普通列被恢复。
预期输出:
原始 df1: ID Name Type 0 1 client str 1 2 detail_client var 2 3 operations str 3 5 audit nvar 原始 df2: ID Name Type 0 5 audit nan 1 3 operations nan 2 7 C nan 3 2 detail_client nan 更新后的 df2: ID Name Type 0 5 audit nvar 1 3 operations str 2 7 C nan 3 2 detail_client var
可以看到,df2 中 ID 为 5 和 Name 为 audit 的行的 Type 变为了 nvar,ID 为 3 和 Name 为 operations 的行的 Type 变为了 str,ID 为 2 和 Name 为 detail_client 的行的 Type 变为了 var。而 ID 为 7 的行由于在 df1 中没有匹配项,其 Type 仍然保持为 nan。
5. 注意事项
- update() 的覆盖行为: update() 方法只会用源DataFrame中的非NaN值来覆盖目标DataFrame中的值。如果源DataFrame中对应位置是 NaN,则目标DataFrame中的值不会被改变。这对于本例(df2['Type'] 初始为 NaN)非常适用。
- 性能: 相比于显式的行迭代,使用 set_index() 和 update() 是高度优化的Pandas操作,对于大型数据集具有显著的性能优势。
- 列名灵活性: 函数的 match_cols 和 update_cols 参数允许你根据实际需求灵活指定用于匹配和更新的列名,即使它们的名称在原始问题中有所不同,也可以通过传递正确的列表来适应。
- DataFrame的顺序: 在调用 update_dataframe_columns(df_target, df_source, ...) 时,请确保 df_target 是你希望被修改的DataFrame,而 df_source 是提供数据的DataFrame。
6. 总结
本教程展示了如何利用Pandas的set_index()和update()方法,高效且灵活地根据多个匹配列来更新DataFrame的特定列。这种方法避免了低效的循环遍历,是处理大规模数据关联和同步的推荐实践。通过理解其内部机制和注意事项,你可以将此模式应用于各种复杂的数据清洗和整合任务中。
到这里,我们也就讲完了《Pandas快速更新DataFrame列值方法》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于的知识点!
拼多多官网入口地址一览
- 上一篇
- 拼多多官网入口地址一览
- 下一篇
- PP视频VIP权益全解析及查看步骤
-
- 文章 · python教程 | 21小时前 | 线程池 · Python 线程池 concurrent.futures 任务取消 Future.cancel
- Python concurrent.futures.Future.cancel 怎样判断任务能否取消
- 143浏览 收藏
-
- 文章 · python教程 | 21小时前 | 标准库 · HTTP服务 · 多线程 · Python教程 · Python 并发请求 http.server ThreadingHTTPServer ThreadingMixIn BaseHTTPRequestHandler
- Python http.server ThreadingHTTPServer 怎样处理并发请求
- 481浏览 收藏
-
- 文章 · python教程 | 21小时前 |
- Python tarfile.TarInfo.replace 怎样复制归档成员属性
- 308浏览 收藏
-
- 文章 · python教程 | 21小时前 | 并发编程 · Python教程 · Python 多进程 multiprocessing forkserver 启动上下文
- Python multiprocessing forkserver 怎样处理进程启动上下文
- 232浏览 收藏
-
- 文章 · python教程 | 21小时前 | 标准库 · 异步编程 · Python教程 · Python asyncio StreamReader readexactly IncompleteReadError 异步流
- Python asyncio.StreamReader.readexactly 怎样处理不足长度的输入
- 427浏览 收藏
-
- 文章 · python教程 | 21小时前 |
- Python operator.length_hint 怎样为未知长度迭代器设置估计值
- 336浏览 收藏
-
- 文章 · python教程 | 22小时前 | 标准库 · Python教程 · Python warnings catch_warnings simplefilter filterwarnings 警告过滤
- Python warnings context manager 怎样临时调整警告过滤
- 255浏览 收藏
-
- 文章 · python教程 | 22小时前 | 调试 · python · 异步编程 · Python asyncio introspection current_task all_tasks
- Python asyncio introspection 怎样定位当前任务
- 120浏览 收藏
-
- 文章 · python教程 | 22小时前 | 标准库 · Python教程 · Python 类型注解 Python 3.14 annotationlib get_annotations ForwardRef 延迟注解
- Python 3.14 annotationlib.get_annotations 怎样读取延迟注解
- 423浏览 收藏
-
- 文章 · python教程 | 22小时前 |
- Python 3.14 跨解释器 Queue.put 的阻塞与 QueueFull 处理方案
- 157浏览 收藏
-
- 文章 · python教程 | 1天前 | xml · python · Python xml xml.etree.ElementTree canonicalize C14N
- Python xml.etree.ElementTree.canonicalize 怎样生成稳定的 XML 文本
- 151浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 1155次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 1140次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 1318次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 1260次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 1114次使用
-
- Python TaskGroup 怎样让子任务失败统一收敛
- 2026-11-12 501浏览
-
- Python xml.dom.minidom.unlink 怎样释放不再使用的 DOM 树引用
- 2026-10-27 501浏览
-
- Python typing 怎样用 TypeIs 缩小类型
- 2026-10-24 501浏览
-
- Python sqlite3 Connection serialize 怎么导出数据库快照:备份窗口、内存占用与恢复校验
- 2026-08-26 501浏览
-
- Python监控网页状态:requests异常处理实战
- 2026-05-29 501浏览

