Pandas shift用法：数据上下移计算行差

本文深入解析了Pandas中`shift()`函数的核心用法与常见陷阱：明确指出正数参数实现下移、负数实现上移，纠正常见的方向误解；强调在`groupby`后必须进行组内独立移位，避免跨组混淆；提醒差分运算优先使用更安全、语义更清晰的`diff()`，仅在需自定义计算（如除法、对数差）时才选用`shift()`；详解NaN处理的关键时机与风险，警示盲目`fillna(0)`带来的业务逻辑错误；并补充多列横向差分、数据类型隐式转换等易忽略细节——帮你避开90%的`shift()`踩坑场景，写出更健壮、可维护的数据处理代码。

shift 用错方向：下移是正数，上移是负数

很多人调用 shift() 后发现结果和预期相反，比如想算“后一行减当前行”，却用了 df['col'].shift(1) —— 这其实是把当前行的值往下挪了一行，导致当前行拿到的是前一行的值。方向反了。

• 正数参数（如 shift(1)）：数据整体向下移动，顶部补 NaN，最后一行被挤掉
• 负数参数（如 shift(-1)）：数据整体向上移动，底部补 NaN，第一行被挤掉
• 想算「下一行减当前行」，正确写法是：df['col'].shift(-1) - df['col']
• 在时间序列中，shift(1) 对应“滞后一期”，不是“向前看”，这点容易混淆

在 groupby 后用 shift：必须指定 axis=0，且不能跨组越界

对分组数据做行间运算时，直接 groupby(...).shift() 看似可行，但默认行为会把整个分组当做一个块来移位——如果某组只有 2 行，shift(5) 依然返回全 NaN，不会去隔壁组借数据。这没问题，但新手常误以为它会“全局移位”。

• 必须显式写 .shift(1, axis=0)，虽然 axis=0 是默认值，但加了更明确，避免和未来 pandas 版本潜在变化冲突
• 每个组内独立移位，组间绝不串行；想跨组计算得先取消分组或重设索引
• 若某组长度小于移位步数（如组内 1 行却 shift(2)），整组结果都是 NaN，不会报错也不会警告
• 示例：df.groupby('category')['value'].apply(lambda x: x - x.shift(1)) 才是安全的组内差分

和 fillna 搭配时：NaN 处理时机决定逻辑是否成立

shift() 必然引入 NaN，但什么时候填、怎么填，直接影响后续计算含义。比如用 fillna(0) 把首行缺失补 0 再做减法，相当于假设“前一行值为 0”，这在多数业务场景中是错的。

• 差分类操作（如环比）通常应保留 NaN，因为首行确实没有“前值”可比
• 若必须填充，优先考虑前向填充（fillna(method='bfill') 或 fillna(df['col'].iloc[0])），而不是硬填 0 或均值
• shift().fillna() 和 fillna().shift() 结果完全不同：前者先移再填，后者先填再移——顺序不能颠倒
• 性能上，fillna 在大数组上开销明显，能避免就避免；用布尔索引跳过 NaN 行往往更干净

替代方案对比：diff() 更安全，但不够灵活

如果你只是想算相邻行差值，diff() 比 shift() + 减法更直接，也自动处理了类型推断和空值传播规则。

• df['col'].diff(1) 等价于 df['col'] - df['col'].shift(1)，但前者不暴露中间 NaN，语义更清晰
• diff() 不支持自定义运算（比如除法、取对数差），这时仍得靠 shift()
• 多列同时差分：df.diff(axis=1) 支持横向差分，shift() 默认只支持纵向（axis=0）
• 注意：diff(n) 中的 n 是步长，和 shift(n) 符号一致；但 diff(-1) 是非法的，而 shift(-1) 合法

最常被忽略的是：shift 的结果类型可能变，尤其当原列含 Int64（nullable int）或 string 类型时，移位后自动升格为 object 或 string[pyarrow]，后续数值运算会失败。动手前先看 dtypes。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pandas shift用法：数据上下移计算行差》文章吧，也可关注golang学习网公众号了解相关技术文章。