Polars 中如何对结构体列的字段进行前向/后向填充并重置外层空值？

在 Polars 中，直接对 struct 列使用 with_fields() 无法消除外层 null —— 即使内部字段已填充，整个 struct 仍可能为 null；正确做法是用 pl.struct() 重建列，显式指定已填充的字段，从而重置外层空值状态。

在 Polars 里，如果直接对 struct 列调用 `with_fields()`，外层的 null 状态其实不会被顺手清掉。也就是说，哪怕里面的字段已经补齐了，整个 struct 依然可能还是 null。更稳妥、也更正确的处理方式，是用 `pl.struct()` 把这列重新构建一遍，明确传入那些已经填充好的字段，这样才能真正把外层的空值状态重置掉。

在 Polars 里处理嵌套结构，比如 struct 列时，如果想对里面某些字段（像 "a" 或 "b"）做 forward_fill() 和 backward_fill()，很多人都会先踩到一个坑：直接使用 .struct.with_fields()。问题在于，这个方法只会更新 struct 内部各字段的值，但并不会改掉 struct 列本身的 nullability。也就是说，某一行的 struct 如果原本就是 null，哪怕通过 with_fields() 把它的所有子字段都“补齐”了，这一行最终依旧还是 null，原因很简单——struct 外层这个空值状态，根本没有被真正移除。

这正是原代码输出中仍存在 null 的根本原因：

# ❌ 错误：仅更新字段，不解决外层 null
pl.col("df1").struct.with_fields(
pl.field("a").forward_fill().backward_fill(),
pl.field("b").forward_fill().backward_fill(),
)

✅ 正确解法是完全重建 struct 列：提取各字段、分别填充、再用 pl.struct() 组合成新列。这样 Polars 会基于新字段的值推断外层 null 状态，从而真正实现“全列填充”。

以下是修复后的完整示例：

import polars as pl

df1 = pl.LazyFrame({
"dt": ["2024-08-30", "2024-08-02", "2024-09-03", "2024-09-04"],
"df1": {"a": [0.1, 0.2, 0.3, 0.1], "b": [0, -1, 2, 1]},
}).with_columns(pl.col("dt").str.to_datetime("%Y-%m-%d"))

df2 = pl.LazyFrame({
"dt": ["2024-08-29", "2024-08-30", "2024-09-02", "2024-09-03"],
"df2": {"a": [100, 120, -80, 20], "b": [1, -2, 0, 0]},
}).with_columns(pl.col("dt").str.to_datetime("%Y-%m-%d"))

df = pl.concat([df1, df2], how="align")

# ✅ 正确：重建 struct 列，重置外层 null
df_filled = df.with_columns(
*[
pl.struct(
pl.col(c).struct.field("a").forward_fill().backward_fill().alias("a"),
pl.col(c).struct.field("b").forward_fill().backward_fill().alias("b"),
).alias(c)
for c in ["df1", "df2"]
]
)

result = df_filled.collect()
print(result)

输出将严格匹配预期：

┌─────────────────────┬───────────┬───────────┐
│ dt┆ df1 ┆ df2 │
│ --- ┆ --- ┆ --- │
│ datetime[μs]┆ struct[2] ┆ struct[2] │
╞═════════════════════╪═══════════╪═══════════╡
│ 2024-08-02 00:00:00 ┆ {0.2,-1}┆ {100,1} │
│ 2024-08-29 00:00:00 ┆ {0.2,-1}┆ {100,1} │
│ 2024-08-30 00:00:00 ┆ {0.1,0} ┆ {120,-2}│
│ 2024-09-02 00:00:00 ┆ {0.1,0} ┆ {-80,0} │
│ 2024-09-03 00:00:00 ┆ {0.3,2} ┆ {20,0}│
│ 2024-09-04 00:00:00 ┆ {0.1,1} ┆ {20,0}│
└─────────────────────┴───────────┴───────────┘

? 进阶提示：若只需填充某一字段（如仅 "a"），可保留另一字段原值，避免冗余计算：

pl.struct(
pl.col("df1").struct.field("a").forward_fill().backward_fill().alias("a"),
pl.col("df1").struct.field("b").alias("b"),# 不填充 b 字段
).alias("df1")

⚠️ 注意事项：

• forward_fill() / backward_fill() 默认按行顺序填充，不依赖时间索引；若需按时间对齐填充（如按 dt 排序后填充），请先 .sort("dt")；
• pl.struct(...).alias(c) 是关键：它创建全新列，绕过旧列的 null mask；
• LazyFrame 下操作高效，.collect() 仅在最后触发计算。

掌握这一模式，即可精准控制 struct 列中任意字段的填充行为，同时确保整列逻辑一致性。