Python操作Parquet文件:pyarrow实用教程
## Python操作Parquet文件指南:pyarrow实用教程 本文深入解析了如何使用Python中的核心工具`pyarrow`高效操作Parquet文件,Parquet作为一种列式存储格式,在大数据分析领域拥有显著优势。我们将学习如何利用`pyarrow.parquet`模块的`read_table`和`write_table`函数实现Parquet文件的读写,并掌握与`Pandas`进行高效数据转换的方法,例如`pa.Table.from_pandas()`和`to_pandas()`。此外,本文还提供了处理大型Parquet文件、提升查询效率的高级技巧,包括分块读取、谓词下推和列裁剪等。同时,还会介绍如何使用`pyarrow.dataset`模块管理分区数据集,并讨论数据类型映射和异常处理等注意事项,助你轻松应对大数据分析挑战。
在Python中操作Parquet文件的核心工具是pyarrow。1. 使用pyarrow.parquet模块的read_table和write_table函数实现Parquet文件的读写;2. 利用pa.Table.from_pandas()和to_pandas()实现与Pandas的高效转换;3. 处理大型文件时,可通过分块读取(iter_batches)控制内存使用;4. 使用谓词下推(filters)和列裁剪(columns)提升查询效率;5. 通过pyarrow.dataset模块统一管理分区数据集,并支持过滤和自动Schema识别;6. 注意数据类型映射、preserve_index参数设置以及异常处理,以避免常见问题。Parquet格式因其列式存储结构,在I/O效率、压缩率和Schema演进方面具有显著优势,非常适合大数据分析场景。
在Python里要操作Parquet文件,pyarrow
无疑是那个核心工具,它让这一切变得高效且直接。无论是读写数据,还是与Pandas等数据分析库无缝衔接,pyarrow
都提供了底层支持和优化,尤其适合处理大规模数据集。

直接说解决方案,其实就是用pyarrow
库。它提供了parquet
模块,里头包含了读写Parquet文件的核心功能。最基础的,就是read_table
和write_table
这两个函数。它们能把Parquet文件直接转换成pyarrow.Table
对象,或者反过来。

import pyarrow.parquet as pq import pyarrow as pa import pandas as pd # 假设我们有一个DataFrame data = {'col1': [1, 2, 3, 4], 'col2': ['A', 'B', 'C', 'D'], 'col3': [True, False, True, False]} df = pd.DataFrame(data) # 将Pandas DataFrame写入Parquet文件 # 这里可以指定压缩方式,比如'snappy','gzip','brotli'等 table = pa.Table.from_pandas(df) pq.write_table(table, 'example.parquet', compression='snappy') print("文件已写入: example.parquet") # 从Parquet文件读取数据 read_table = pq.read_table('example.parquet') print("\n从Parquet文件读取的数据 (pyarrow.Table):") print(read_table) # 如果想转回Pandas DataFrame read_df = read_table.to_pandas() print("\n转换回Pandas DataFrame:") print(read_df) # 读取特定列 # 有时候我们只关心文件中的几列数据,而不是全部加载 partial_table = pq.read_table('example.parquet', columns=['col1', 'col3']) print("\n只读取特定列 (col1, col3):") print(partial_table)
为什么数据存储选择Parquet格式,它有什么优势?
说实话,第一次接触Parquet,我可能只是觉得它是一种文件格式,没什么特别的。但深入了解后,你会发现它在数据湖和大数据处理场景下,简直是神来之笔。它最大的亮点在于“列式存储”。这意味着数据不是按行排列的,而是按列存储。
这有什么好处呢?设想一下,你有一个巨大的表格,几百列,但你只想分析其中两三列的数据。如果数据是按行存的,数据库系统或者你的程序就得把整行都读进来,然后再挑出你需要的列。这就像去图书馆借一本书,结果图书馆把整个书架都搬给你,你再从里面找那本书。而列式存储呢,它直接就给你那几列的数据,效率高得不是一点半点。

所以,对分析型查询(OLAP)来说,Parquet简直是为它量身定做的。它能显著减少I/O操作,因为你不需要读取不相关的数据。此外,列式存储也更容易进行数据压缩,因为同一列的数据类型和模式通常是相似的,压缩算法能发挥更大效用,文件自然就小了。更小的文件意味着更快的传输速度,更少的存储成本。
还有一点,Parquet文件是自描述的,它包含了数据的Schema信息,而且支持Schema演进,这意味着你可以灵活地添加或删除列,而不会破坏现有数据。它还支持多种数据类型,并且与Hadoop、Spark、Presto、Dask等大数据生态系统无缝集成,这让它成为了构建现代数据湖的首选格式。在我看来,选择Parquet不仅仅是节省空间,更是为了未来数据分析的灵活性和性能打下基础。
pyarrow与pandas结合使用,有什么最佳实践?
Pandas是Python数据分析的利器,而pyarrow
则是处理Parquet文件的高效引擎。它们俩的结合,简直是如虎添翼。但要用好,还是有些门道。
最直接的结合点就是pyarrow.Table.from_pandas()
和pyarrow.Table.to_pandas()
。这俩函数负责pandas.DataFrame
和pyarrow.Table
之间的转换。通常,当你需要把一个Pandas DataFrame存成Parquet文件,或者从Parquet文件读出来变成DataFrame时,就会用到它们。
import pandas as pd import pyarrow as pa import pyarrow.parquet as pq # 准备一个DataFrame,包含一些常见的数据类型 df_complex = pd.DataFrame({ 'int_col': [1, 2, None, 4], 'float_col': [1.1, 2.2, 3.3, None], 'str_col': ['apple', 'banana', 'cherry', 'date'], 'date_col': pd.to_datetime(['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04']), 'bool_col': [True, False, True, False] }) # 写入Parquet,注意这里可以控制Pandas索引是否写入 # 默认情况下,Pandas的索引会作为一列写入Parquet,这在某些场景下可能不是你想要的 table_from_df = pa.Table.from_pandas(df_complex, preserve_index=False) pq.write_table(table_from_df, 'complex_data.parquet') print("复杂数据DataFrame已写入: complex_data.parquet") # 从Parquet读取,并转换回Pandas DataFrame # 注意:pyarrow在处理缺失值和数据类型推断上可能与Pandas默认行为略有不同 # 比如Pandas的NaN在pyarrow中会映射为null,datetime with timezone可能需要特殊处理 read_back_df = pq.read_table('complex_data.parquet').to_pandas() print("\n从Parquet读取并转换回Pandas DataFrame:") print(read_back_df.info())
一个常见的“坑”是数据类型映射。Pandas的object
类型通常用来存储字符串,但在pyarrow
中,更明确的类型是string
或binary
。from_pandas
通常能很好地处理,但如果你在Pandas里混用了不同类型的对象在object
列里,或者有复杂的自定义对象,可能会遇到序列化问题。明确地将Pandas列转换为pyarrow
支持的类型,或者在写入前清理数据,是个好习惯。
另一个最佳实践是关于内存。当你的DataFrame非常大,大到内存装不下时,直接to_pandas()
可能会导致内存溢出。pyarrow
允许你分块读取Parquet文件,虽然pq.read_table
本身是一次性加载,但通过ParquetFile
对象和iter_batches
方法,你可以迭代地处理数据,避免一次性加载所有数据到内存。
# 假设有一个非常大的Parquet文件 # 我们可以模拟一个大的Parquet文件 large_df = pd.DataFrame({ 'id': range(1_000_000), 'value': [float(i) / 100 for i in range(1_000_000)] }) large_table = pa.Table.from_pandas(large_df) pq.write_table(large_table, 'large_example.parquet', row_group_size=100000) # 设置行组大小,方便分块读取 # 分块读取大型Parquet文件 parquet_file = pq.ParquetFile('large_example.parquet') print(f"\n大型文件共有 {parquet_file.num_row_groups} 个行组。") # 迭代读取每个行组,并转换为Pandas DataFrame # 这种方式可以有效控制内存使用 for i, batch in enumerate(parquet_file.iter_batches(batch_size=50000)): batch_df = batch.to_pandas() print(f"处理第 {i+1} 批数据,大小: {len(batch_df)} 行") # 在这里可以对 batch_df 进行处理,比如写入数据库或聚合 if i >= 1: # 只演示前两批 break
通过这种方式,你可以将大文件切分成小块来处理,极大提升了内存效率。
处理大型Parquet文件时,pyarrow有哪些高级技巧或注意事项?
处理大型Parquet文件,特别是那种TB级别的数据集时,光会读写那点基础操作是远远不够的。pyarrow
在这方面提供了不少高级功能,能让你事半功倍。
首先,是谓词下推(Predicate Pushdown)和列裁剪(Column Projection)。这听起来有点专业,但核心思想很简单:在读取数据之前,就告诉pyarrow
你只想要哪些列,以及哪些行满足特定条件。pyarrow
会利用Parquet文件的元数据(比如列的最小值、最大值等)来跳过那些不包含所需数据的行组(row group),甚至直接不读取不需要的列。这能极大地减少实际从磁盘读取的数据量,提升查询速度。
# 假设我们有一个包含日期和数值的Parquet文件 # 模拟数据,包含多个行组 data_rows = [] for i in range(100000): data_rows.append({ 'date': pd.Timestamp(f'2023-01-01') + pd.Timedelta(days=i), 'value': i % 100, 'category': f'cat_{i % 5}' }) large_df_filtered = pd.DataFrame(data_rows) large_table_filtered = pa.Table.from_pandas(large_df_filtered) pq.write_table(large_table_filtered, 'filtered_data.parquet', row_group_size=10000) # 使用谓词下推和列裁剪 # 只读取 'value' 和 'category' 列,并且只读取 value > 90 的行 # 注意:pyarrow的过滤器表达式语法 filtered_table = pq.read_table( 'filtered_data.parquet', columns=['value', 'category'], filters=[('value', '>', 90)] ) print(f"\n使用谓词下推和列裁剪读取的数据量: {len(filtered_table)} 行") print(filtered_table.to_pandas().head())
这里的filters
参数就是谓词下推的体现。它会在读取数据时,尽可能地利用Parquet的内部结构来减少不必要的数据加载。
其次,是分区数据集(Partitioned Datasets)。在数据湖中,数据经常会按日期、地区或其他维度进行分区存储,形成类似data/year=2023/month=01/day=01/part-0.parquet
这样的目录结构。pyarrow.dataset
模块就是为处理这类多文件、多目录的数据集而设计的。它能让你像操作一个大文件一样操作整个数据集,pyarrow
会自动发现并管理所有分区文件。
import pyarrow.dataset as ds import os # 模拟一个分区数据集 # 创建一些目录和文件 os.makedirs('my_partitioned_data/year=2023/month=01', exist_ok=True) os.makedirs('my_partitioned_data/year=2023/month=02', exist_ok=True) df_p1 = pd.DataFrame({'col_a': [1, 2], 'col_b': ['x', 'y']}) pq.write_table(pa.Table.from_pandas(df_p1), 'my_partitioned_data/year=2023/month=01/part1.parquet') df_p2 = pd.DataFrame({'col_a': [3, 4], 'col_b': ['z', 'w']}) pq.write_table(pa.Table.from_pandas(df_p2), 'my_partitioned_data/year=2023/month=02/part2.parquet') # 使用pyarrow.dataset读取分区数据集 dataset = ds.dataset('my_partitioned_data', format='parquet', partitioning='hive') # 可以像查询一个表一样查询整个数据集 full_dataset_table = dataset.to_table() print("\n读取整个分区数据集:") print(full_dataset_table.to_pandas()) # 也可以对分区进行过滤 # 只读取 month=01 的数据 filtered_dataset_table = dataset.to_table(filter=(ds.field("month") == "01")) print("\n过滤分区 (month='01') 后读取的数据:") print(filtered_dataset_table.to_pandas())
pyarrow.dataset
不仅支持读取,也支持写入分区数据集,并且能自动推断分区结构,非常强大。
最后,错误处理和Schema演进。在实际生产环境中,Parquet文件可能会因为各种原因损坏,或者Schema发生变化(比如添加了新列,或者改变了列的数据类型)。pyarrow
通常能很好地处理Schema演进,但如果遇到不兼容的Schema变更(比如将整数列改为字符串列,且存在非数字值),可能会抛出错误。这时候,你需要仔细检查数据源和Schema定义。对于损坏的文件,pyarrow
会直接抛出pyarrow.ArrowInvalid
或其他相关的I/O错误,你需要捕获这些异常并进行处理,比如跳过损坏文件,或者尝试修复。这些细节在处理海量数据时,往往是决定项目成败的关键。
今天关于《Python操作Parquet文件:pyarrow实用教程》的内容就介绍到这里了,是不是学起来一目了然!想要了解更多关于的内容请关注golang学习网公众号!

- 上一篇
- MyBatis复杂对象映射技巧解析

- 下一篇
- Claude优化金融分析,数据解读模型解析
-
- 文章 · python教程 | 6小时前 |
- PyCharm开发语言解析及Python实现揭秘
- 465浏览 收藏
-
- 文章 · python教程 | 6小时前 |
- PyCharm使用教程:功能操作全解析
- 379浏览 收藏
-
- 文章 · python教程 | 6小时前 |
- NumPy数组使用详解教程
- 446浏览 收藏
-
- 文章 · python教程 | 6小时前 |
- Python中def定义函数的作用解析
- 181浏览 收藏
-
- 文章 · python教程 | 6小时前 |
- print函数在Python中的作用
- 318浏览 收藏
-
- 文章 · python教程 | 6小时前 | Python Matplotlib 绘图 数据可视化 图表
- PythonMatplotlib绘图入门指南
- 271浏览 收藏
-
- 文章 · python教程 | 6小时前 |
- DuckDBPython客户端高效查询遍历方法
- 278浏览 收藏
-
- 文章 · python教程 | 6小时前 |
- Pythonstatsmodels数据预测教程
- 223浏览 收藏
-
- 文章 · python教程 | 7小时前 |
- PandasDataFrame相邻行相除技巧
- 384浏览 收藏
-
- 文章 · python教程 | 7小时前 |
- Python工厂模式怎么用?
- 347浏览 收藏
-
- 文章 · python教程 | 7小时前 |
- Python操作HDF5及h5py存储技巧
- 117浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 509次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
-
- 边界AI平台
- 探索AI边界平台,领先的智能AI对话、写作与画图生成工具。高效便捷,满足多样化需求。立即体验!
- 388次使用
-
- 免费AI认证证书
- 科大讯飞AI大学堂推出免费大模型工程师认证,助力您掌握AI技能,提升职场竞争力。体系化学习,实战项目,权威认证,助您成为企业级大模型应用人才。
- 405次使用
-
- 茅茅虫AIGC检测
- 茅茅虫AIGC检测,湖南茅茅虫科技有限公司倾力打造,运用NLP技术精准识别AI生成文本,提供论文、专著等学术文本的AIGC检测服务。支持多种格式,生成可视化报告,保障您的学术诚信和内容质量。
- 540次使用
-
- 赛林匹克平台(Challympics)
- 探索赛林匹克平台Challympics,一个聚焦人工智能、算力算法、量子计算等前沿技术的赛事聚合平台。连接产学研用,助力科技创新与产业升级。
- 638次使用
-
- 笔格AIPPT
- SEO 笔格AIPPT是135编辑器推出的AI智能PPT制作平台,依托DeepSeek大模型,实现智能大纲生成、一键PPT生成、AI文字优化、图像生成等功能。免费试用,提升PPT制作效率,适用于商务演示、教育培训等多种场景。
- 545次使用
-
- Flask框架安装技巧:让你的开发更高效
- 2024-01-03 501浏览
-
- Django框架中的并发处理技巧
- 2024-01-22 501浏览
-
- 提升Python包下载速度的方法——正确配置pip的国内源
- 2024-01-17 501浏览
-
- Python与C++:哪个编程语言更适合初学者?
- 2024-03-25 501浏览
-
- 品牌建设技巧
- 2024-04-06 501浏览