Pandas大数据写入慢？高效解决方案在此！

Pandas处理大规模CSV文件写入速度慢是常见问题，尤其在处理千万级数据时，`to_csv()`函数效率低下。本文以一个2000万条记录的案例为例，分析了使用`to_csv()`写入耗时55分钟（读取仅需2分钟）的瓶颈。文章提出高效解决方案：利用Pandas的`to_hdf()`函数将数据保存为HDF5格式，显著提升写入速度，在某些情况下可将写入时间从数十秒缩短到不足一秒。此外，文章还优化了数据读取和合并过程，避免了不必要的性能损耗，为大数据处理提供高效方案。

Pandas处理大规模CSV文件写入速度优化

在使用Pandas处理海量数据时，to_csv()函数的写入速度常常成为瓶颈。本文以一个处理约2000万条记录的案例为例，分析to_csv()写入速度慢的原因，并提供高效的解决方案。

问题：

代码使用glob模块读取多个压缩的CSV文件，用pd.concat合并成一个大型数据帧stage，再使用to_csv()写入CSV文件。读取数据耗时2分钟，而写入却耗时55分钟。代码片段如下：

import os
import glob
import pandas as pd

src_files = glob.glob(os.path.join('/my/path', "*.csv.gz"))

stage = pd.DataFrame()  # 初始化DataFrame，避免重复append
for file_ in sorted(src_files):
    iter_csv = pd.read_csv(file_, sep=',', index_col=False, header=0, 
                           low_memory=False, iterator=True, chunksize=100000, 
                           compression='gzip', memory_map=True, encoding='utf-8')
    for chunk in iter_csv:
        stage = pd.concat([stage, chunk], ignore_index=True)

stage.to_csv('output.csv', sep='|', header=True, index=False, 
             chunksize=100000, encoding='utf-8')

del stage

即使使用了chunksize参数分块写入，效率仍然低下。这是因为to_csv()函数处理大型CSV文件时效率较低。

解决方案：

推荐使用Pandas的to_hdf()函数将数据保存为HDF5格式。HDF5是一种高性能数据存储格式，能显著提升写入速度。

以下是使用to_hdf()函数的代码示例：

stage.to_hdf(r'path/file.h5', key='stage', mode='w')

将数据保存为HDF5格式能大幅缩短写入时间。在某些情况下，写入100MB数据，to_hdf()函数的执行时间可从to_csv()的30-55秒缩短到不到一秒，显著提升大规模数据处理效率。 此外， 代码中初始化一个空的DataFrame stage = pd.DataFrame()，并在循环中使用pd.concat进行高效的增量合并，避免了重复创建DataFrame带来的性能损耗。

以上就是《Pandas大数据写入慢？高效解决方案在此！》的详细内容，更多关于的资料请关注golang学习网公众号！