Polars稀疏数据行列转换技巧

亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《Polars 稀疏数据行列转换方法》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下，希望所有认真读完的童鞋们，都有实质性的提高。

本文介绍如何使用 Polars 的 `pivot` 方法，将长格式稀疏数据（id-key-value 三列结构）高效转换为宽格式列向量表示，适用于大规模稀疏特征工程场景。

在处理稀疏特征数据（如用户行为日志、推荐系统特征、基因表达矩阵等）时，原始存储常采用「三元组」形式：id（实体标识）、key（特征名/指标名）、value（对应取值）。这种长格式（long format）节省空间且易于追加，但下游建模或向量化计算通常需要宽格式（wide format）——即每个 key 映射为独立列，每行对应一个 id 的完整特征向量。

Polars 提供了原生、高性能的 pivot 操作，可一键完成该转换。以下基于示例数据演示标准用法：

import polars as pl

df = pl.from_repr("""
┌─────┬─────┬───────┐
│ id  ┆ key ┆ value │
│ --- ┆ --- ┆ ---   │
│ str ┆ str ┆ i64   │
╞═════╪═════╪═══════╡
│ a   ┆ m1  ┆ 1     │
│ a   ┆ m2  ┆ 2     │
│ a   ┆ m3  ┆ 1     │
│ b   ┆ m2  ┆ 4     │
│ c   ┆ m1  ┆ 2     │
│ c   ┆ m3  ┆ 6     │
│ d   ┆ m4  ┆ 4     │
│ e   ┆ m2  ┆ 1     │
└─────┴─────┴───────┘
""")

# 执行 pivot：以 'key' 为新列名，'id' 为索引，'value' 为填充值
result = df.pivot(
    on="key",      # 将该列的唯一值展开为新列
    index="id",    # 将该列作为行索引（保留为行标识）
    values="value" # 用于填充新列单元格的值列
)

print(result)

输出结果即为目标宽格式 DataFrame：

shape: (5, 5)
┌─────┬──────┬──────┬──────┬──────┐
│ id  ┆ m1   ┆ m2   ┆ m3   ┆ m4   │
│ --- ┆ ---  ┆ ---  ┆ ---  ┆ ---  │
│ str ┆ i64  ┆ i64  ┆ i64  ┆ i64  │
╞═════╪══════╪══════╪══════╪══════╡
│ a   ┆ 1    ┆ 2    ┆ 1    ┆ null │
│ b   ┆ null ┆ 4    ┆ null ┆ null │
│ c   ┆ 2    ┆ null ┆ 6    ┆ null │
│ d   ┆ null ┆ null ┆ null ┆ 4    │
│ e   ┆ null ┆ 1    ┆ null ┆ null │
└─────┴──────┴──────┴──────┴──────┘

✅ 关键说明：

• pivot() 是 eager 模式专属 API（当前 Polars 版本中暂不支持 LazyFrame 直接调用），适合中等规模数据的即时转换；
• 若需在 lazy pipeline 中使用，且已知所有 key 值（例如通过 df.get_column("key").unique().to_list() 预先获取），可改用 group_by("id").agg(...) + struct 展开 + unnest 组合实现等效逻辑（详见 Polars Pivot 文档）；
• 默认行为对重复 (id, key) 组合会报错，若存在冲突，需显式指定 aggregate_function（如 pl.first(), pl.sum()）；
• 列类型自动推断：结果中各 key 列类型与原始 value 列一致（本例为 i64），缺失值统一填充为 null。

该方法比手动构造字典再拼接 DataFrame（如 Pandas 示例）更简洁、内存友好且执行更快，是 Polars 处理稀疏特征标准化流程的核心操作之一。

以上就是《Polars稀疏数据行列转换技巧》的详细内容，更多关于的资料请关注golang学习网公众号！