Pandas字符串转日期异常解决方法
本篇文章向大家介绍《Pandas字符串转日期时间异常解决方法》，主要包括，具有一定的参考价值，需要的朋友可以参考一下。
在Pandas中将仅包含时间的字符串转换为`datetime`类型时，由于缺少日期信息，`pd.to_datetime`函数会默认填充当前系统日期，导致日期意外更改。本教程将深入解析此问题的原因，并提供两种主要解决方案：通过字符串拼接合并日期和时间，或通过结合`datetime`与`timedelta`对象来精确创建完整的日期时间信息，确保数据转换的准确性。
理解Pandas日期时间转换中的日期变更问题
在使用Pandas处理时间序列数据时，将字符串格式的日期和时间转换为datetime对象是常见的操作。然而，当数据集中日期和时间信息分别存储在不同的列中，并且尝试单独转换仅包含时间的列时，可能会遇到日期意外变更的问题。这是因为pd.to_datetime函数在处理不完整的日期时间字符串（例如，只包含时间的部分）时，会默认使用当前的系统日期来填充缺失的日期信息。
问题现象与复现
考虑以下初始DataFrame，其中order_date和order_time是单独的列：
import pandas as pd
data = {
'order_details_id': [1, 2, 3, 4, 5],
'order_id': [1, 2, 2, 2, 2],
'order_date': ['1/1/23', '1/1/23', '1/1/23', '1/1/23', '1/1/23'],
'order_time': ['11:38:36 AM', '11:57:40 AM', '11:57:40 AM', '11:57:40 AM', '11:57:40 AM'],
'item_id': [109.0, 108.0, 124.0, 117.0, 129.0]
}
df = pd.DataFrame(data)
print("初始DataFrame:")
print(df)
print("\n初始DataFrame数据类型:")
print(df.dtypes)输出：
初始DataFrame: order_details_id order_id order_date order_time item_id 0 1 1 1/1/23 11:38:36 AM 109.0 1 2 2 1/1/23 11:57:40 AM 108.0 2 3 2 1/1/23 11:57:40 AM 124.0 3 4 2 1/1/23 11:57:40 AM 117.0 4 5 2 1/1/23 11:57:40 AM 129.0 初始DataFrame数据类型: order_details_id int64 order_id int64 order_date object order_time object item_id float64 dtype: object
如果首先将order_date列转换为datetime类型，然后尝试将order_time列也转换为datetime类型：
df['order_date'] = pd.to_datetime(df['order_date'])
print("\n转换order_date后的DataFrame:")
print(df)
df['order_time'] = pd.to_datetime(df['order_time'])
print("\n转换order_time后的DataFrame:")
print(df)你可能会观察到order_time列在转换为datetime后，其日期部分从2023-01-01变为了执行代码时的当前日期（例如2023-12-29）。这是因为"11:38:36 AM"这样的字符串本身不包含任何日期信息，pd.to_datetime在缺乏日期上下文时，会默认使用当前日期进行填充。
# 转换order_date后的DataFrame (示例输出) # order_details_id order_id order_date order_time item_id # 0 1 1 2023-01-01 11:38:36 AM 109.0 # ... # 转换order_time后的DataFrame (示例输出，日期部分已更改) # order_details_id order_id order_date order_time item_id # 0 1 1 2023-01-01 2023-12-29 11:38:36 109.0 # ...
（注意：order_time列的日期部分会根据你运行代码的实际日期而变化，这里以2023-12-29为例。）
核心原理：pd.to_datetime的默认行为
当pd.to_datetime函数接收到一个只包含时间（如"HH:MM:SS AM/PM"）的字符串时，它无法从该字符串中推断出日期信息。为了生成一个完整的datetime对象，Pandas会采用一个默认策略：将缺失的日期部分填充为函数执行时的当前系统日期。这就是导致日期意外变更的根本原因。
要避免这种问题，关键在于确保在创建datetime对象时，始终提供完整的日期和时间信息。
解决方案
解决此问题的核心思路是，在进行datetime转换之前，将日期和时间信息合并为一个完整的字符串或利用Pandas的日期时间操作功能。
方法一：字符串拼接
此方法通过将日期和时间字符串合并成一个完整的日期时间字符串，然后使用pd.to_datetime进行一次性转换。
# 重新加载初始数据以确保干净状态
df = pd.DataFrame(data)
# 将order_date和order_time列拼接成一个新的字符串列
df['order_datetime'] = pd.to_datetime(df['order_date'].astype(str) + ' ' + df['order_time'].astype(str))
print("\n方法一：字符串拼接后的DataFrame:")
print(df)
print("\n方法一：新列数据类型:")
print(df.dtypes)输出：
方法一：字符串拼接后的DataFrame: order_details_id order_id order_date order_time item_id order_datetime 0 1 1 1/1/23 11:38:36 AM 109.0 2023-01-01 11:38:36 1 2 2 1/1/23 11:57:40 AM 108.0 2023-01-01 11:57:40 2 3 2 1/1/23 11:57:40 AM 124.0 2023-01-01 11:57:40 3 4 2 1/1/23 11:57:40 AM 117.0 2023-01-01 11:57:40 4 5 2 1/1/23 11:57:40 AM 129.0 2023-01-01 11:57:40 方法一：新列数据类型: order_details_id int64 order_id int64 order_date object order_time object item_id float64 order_datetime datetime64[ns] dtype: object
这种方法简单直观，尤其适用于日期和时间格式相对规整的情况。astype(str)确保了在拼接前所有元素都是字符串，避免潜在的类型错误。
方法二：结合datetime与timedelta
这种方法被认为是更优雅和健壮的方式，因为它避免了字符串操作可能带来的格式问题，而是利用了Pandas的日期时间算术功能。首先将日期列转换为datetime对象，然后将时间列转换为timedelta对象，最后将两者相加。
# 重新加载初始数据以确保干净状态
df = pd.DataFrame(data)
# 将order_date转换为datetime对象
# 使用pop()可以同时获取列并从DataFrame中删除它
order_date_dt = pd.to_datetime(df.pop('order_date'))
# 将order_time转换为timedelta对象
# 注意：pd.to_timedelta可以直接解析时间字符串
order_time_td = pd.to_timedelta(df.pop('order_time'))
# 将datetime和timedelta相加，得到完整的datetime对象
df['order_datetime'] = order_date_dt + order_time_td
print("\n方法二：结合datetime与timedelta后的DataFrame:")
print(df)
print("\n方法二：新列数据类型:")
print(df.dtypes)输出：
方法二：结合datetime与timedelta后的DataFrame: order_details_id order_id item_id order_datetime 0 1 1 109.0 2023-01-01 11:38:36 1 2 2 108.0 2023-01-01 11:57:40 2 3 2 124.0 2023-01-01 11:57:40 3 4 2 117.0 2023-01-01 11:57:40 4 5 2 129.0 2023-01-01 11:57:40 方法二：新列数据类型: order_details_id int64 order_id int64 item_id float64 order_datetime datetime64[ns] dtype: object
此方法在处理日期和时间格式复杂或需要进行进一步时间算术操作时显示出其优势。pd.to_timedelta能够智能地解析时间字符串，并将其转换为表示时间差的Timedelta对象。
方法三：处理预合并的日期时间字符串
在某些情况下，你可能从数据源获得的数据已经将日期和时间合并在一个字符串列中。在这种情况下，直接使用pd.to_datetime进行转换即可。
# 假设我们有一个预合并的日期时间列
df_combined = pd.DataFrame({
'order_details_id': {0: 1, 1: 2, 2: 3, 3: 4, 4: 5},
'order_id': {0: 1, 1: 2, 2: 2, 3: 2, 4: 2},
'order_date_time': {0: '1/1/23 11:38:36 AM',
1: '1/1/23 11:57:40 AM',
2: '1/1/23 11:57:40 AM',
3: '1/1/23 11:57:40 AM',
4: '1/1/23 11:57:40 AM'},
'item_id': {0: 109.0, 1: 108.0, 2: 124.0, 3: 117.0, 4: 129.0}
})
df_combined['order_dt'] = pd.to_datetime(df_combined['order_date_time'])
print("\n方法三：处理预合并日期时间字符串的DataFrame:")
print(df_combined)
print("\n方法三：新列数据类型:")
print(df_combined.dtypes)输出：
方法三：处理预合并日期时间字符串的DataFrame: order_details_id order_id order_date_time item_id order_dt 0 1 1 1/1/23 11:38:36 AM 109.0 2023-01-01 11:38:36 1 2 2 1/1/23 11:57:40 AM 108.0 2023-01-01 11:57:40 2 3 2 1/1/23 11:57:40 AM 124.0 2023-01-01 11:57:40 3 4 2 1/1/23 11:57:40 AM 117.0 2023-01-01 11:57:40 4 5 2 1/1/23 11:57:40 AM 129.0 2023-01-01 11:57:40 方法三：新列数据类型: order_details_id int64 order_id int64 order_date_time object item_id float64 order_dt datetime64[ns] dtype: object
注意事项与最佳实践
- 始终提供完整的日期时间信息： 避免将仅有时间或仅有日期的字符串单独转换为datetime对象，除非你确实希望Pandas填充默认值。
- 明确指定格式（format参数）： 如果你的日期时间字符串格式不标准或可能存在歧义，使用pd.to_datetime的format参数明确指定输入格式，例如pd.to_datetime(df['date_col'], format='%m/%d/%y %I:%M:%S %p')。这可以提高转换的效率和准确性。
- 错误处理（errors参数）： 当数据中可能存在无法解析的日期时间字符串时，可以使用errors='coerce'参数。这会将无法解析的值转换为NaT（Not a Time），而不是引发错误，从而提高代码的健壮性。
- 数据类型检查： 转换后，务必使用df.dtypes或df['column'].dtype检查新列的数据类型，确保其为datetime64[ns]。
- 性能考量： 对于大型数据集，字符串拼接（方法一）可能比datetime与timedelta结合（方法二）略慢，因为字符串操作通常开销较大。在性能敏感的场景下，可以优先考虑方法二或预处理数据。
总结
在Pandas中处理日期时间数据时，理解pd.to_datetime的默认行为至关重要。当将仅包含时间的字符串转换为datetime类型时，由于缺少日期信息，Pandas会默认填充当前系统日期，导致数据不准确。通过将日期和时间信息合并为一个完整的字符串进行转换，或利用datetime与timedelta对象的算术操作，可以有效地解决这一问题，确保生成正确的日期时间对象。选择哪种方法取决于原始数据的结构和个人偏好，但核心原则是：在创建datetime对象时，确保其包含完整的日期和时间上下文。
好了，本文到此结束，带大家了解了《Pandas字符串转日期异常解决方法》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！
罗永浩回应锤子便签广告：无终身免费
- 上一篇
- 罗永浩回应锤子便签广告：无终身免费
- 下一篇
- 小米手机内存清理技巧分享
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案，代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景，打造一站式知识长龙服务，适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例，全面具体可落地，从理论到实践，一步一步将GO核心编程技术、编程思想、底层实现融会贯通，使学习者贴近时代脉搏，做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信：Le-studyg；在课程中，我们将首先介绍MySQL8的新特性，包括性能优化、安全增强、新数据类型等，帮助学生快速熟悉MySQL8的最新功能。接着，我们将深入解析MySQL的网络通信机制，包括协议、连接管理、数据传输等，让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网，分为导航，轮播，关于我们，成功案例，服务流程，团队介绍，数据部分，公司动态，底部信息等内容区块。网站整体采用CSSGrid布局，支持响应式，有流畅过渡和展现动画。
- 485次学习
-
- ljg-skills
- ljg-skills 是李继刚开源的 AI 技能与提示词集合，面向大模型使用者整理了一批可复用的 prompt、角色设定和任务技能模板，适合用于学习提示词设计、搭建个人 AI 工作流和沉淀团队常用智能体能力。
- 625次使用
-
- MELO音乐
- MELO音乐是一站式AI视频与音乐制作助手，对标suno, udio的高品质体验。提供伴奏生成、原创写词、无损导出、哼唱识曲、混音变声等全套音频与短视频编辑工具。无论是流行Kpop、电音说唱、民谣古风、摇滚儿歌还是商用轻音乐，MELO为你免费谱曲，轻松做同款！
- 641次使用
-
- UniScribe
- UniScribe 是一款 AI 音视频转文字与内容整理工具，支持上传音频、视频文件或粘贴 YouTube 链接，自动生成转写文本、摘要、思维导图和关键问题，并支持多格式导出，适合会议记录、课程学习、访谈整理和内容创作复盘。
- 609次使用
-
- 剧云
- 剧云是专业中文剧本创作平台，安全稳定运行十余年，集成AI编剧、剧本医生审核、人物小传、剧情关系图、大纲编写、多人协作、Word导入导出、版权管控功能，数据安全防护，轻松高效创作剧本。
- 776次使用
-
- 万象有声
- 万象有声，一个专为有声创作者打造的新一代智能有声内容创作平台。平台提供专业的智能拆章、智能画本编辑、AI配音、AI生成音效、后期制作、智能对轨、智能审听等有声创作全流程工具，可以帮助创作者高效、低成本创作出引人入胜的有声作品。立即体验，让有声书制作更简单！
- 762次使用
-
- Flask框架安装技巧：让你的开发更高效
- 2024-01-03 501浏览
-
- Django框架中的并发处理技巧
- 2024-01-22 501浏览
-
- 提升Python包下载速度的方法——正确配置pip的国内源
- 2024-01-17 501浏览
-
- Python与C++：哪个编程语言更适合初学者？
- 2024-03-25 501浏览
-
- 品牌建设技巧
- 2024-04-06 501浏览
