Python NumPy 怎样避免布尔索引复制大数组

NumPy 的 a[mask] 读取属于高级索引，会创建数据副本，不能加一个参数就把任意布尔筛选变成零复制视图。避免大副本的关键是改变下游计算方式：只求统计量时用支持 where 的聚合，只修改元素时直接赋值或使用带 out、where 的运算，必须读取选中数据时分块消费。

官方文档入口：https://numpy.org/doc/stable/user/basics.indexing.html

先按负载判断是否需要筛选结果

假设一个任务持有一维数值数组，需要处理非负元素。常见写法是先生成 mask = a >= 0，再把 selected = a[mask] 交给后续函数。若后续只求总和，保存整个筛选结果就多承担了一份数据。

先把输出需求写清楚：是一个标量、原数组中的局部更新，还是一个独立、紧凑的选中数组？三种需求对应不同的内存结构。下面的示例以普通 ndarray 和一维数值数据为前提，不把它泛化到所有数组子类或分布式框架。

确认内存约束：掩码和副本分别占空间

原数组数据、布尔掩码、筛选副本是不同的对象。对一维数组，若共有 N 个元素、选中 K 个元素，元素宽度为 S 字节，那么选中结果的数据区约为 K×S 字节。掩码也有自己的存储，另有对象开销和计算中的临时缓冲；不能只看筛选结果大小就认定进程峰值内存。

import numpy as np

# 小数据用于说明对象关系，不在示例里分配真实超大数组。
a = np.array([-6.0, 2.0, 9.0, -1.0, 4.0], dtype=np.float64)
mask = a >= 0
selected = a[mask]  # 读取布尔索引会生成数据副本。
print(a.nbytes, mask.nbytes, selected.nbytes)
# nbytes 仅描述元素数据大小，不等于进程峰值内存。

普通基本切片如 a[start:stop] 可以返回视图，但一个任意散落的掩码通常不能表达为一个基本切片。如果原问题本来就是连续位置区间，可以直接切片；如果选择条件来自数值，不能随意换成位置区间。小视图还可能让原来的大缓冲保持存活，这也属于取舍。

方案对比：聚合、原位修改和分块读取

把 mask 换成 np.where(mask)[0] 再索引，不会自动得到视图，整数数组索引同样属于高级索引，而且索引数组也占空间。优化对象应是实际输出需求，而不只是索引表达式的外观。

推荐写法：按输出需求选择计算入口

只求统计量：将条件直接交给求和操作，省去 a[mask] 这一份选中数据副本。下面的掩码仍是完整大小；如果连它也太大，再采用分块计算。

import numpy as np

a = np.array([-6.0, 2.0, 9.0, -1.0, 4.0], dtype=np.float64)
mask = a >= 0
# where 决定哪些元素参与聚合，不先收集选中元素。
total = np.sum(a, where=mask, dtype=np.float64)
print(total)

只修改原数组：直接的 a[mask] = 0 是对原数组赋值。若要对命中元素进行运算，np.multiply 可以把输出写回同一个可写数组。不要写成 a[mask][:] = 0：那会改动读取所得的临时副本。

import numpy as np

a = np.array([-6.0, 2.0, 9.0, -1.0, 4.0], dtype=np.float64)
mask = a >= 0
# 输出显式复用 a；未命中的位置保留原值。
np.multiply(a, 0.5, out=a, where=mask)
print(a)
# 该方案会改变 a，其他共享其数据的视图也会受影响。

这里避免的是显式提取的选中数组，不承诺 NumPy 内部绝对没有临时缓冲。类型转换、重叠访问和具体操作都可能影响实现。若不传 out，新分配输出中 where=False 的位置可能未初始化，不能把它们当成原值。

必须读取选中元素：下游能接受批次时，按基本切片取得局部视图，再对局部视图筛选。示例中 consume 只聚合本块，不保存引用。

import numpy as np

def consume(values):
    # 实际业务可在这里处理或写出本块，不能累计所有块。
    return np.sum(values, dtype=np.float64)

def process_chunks(a, chunk_size=100_000):
    if a.ndim != 1:
        raise ValueError("本例仅处理一维数组")
    if chunk_size = 0
        picked = block[local_mask]  # 副本只限于当前块。
        total += consume(picked)
        del picked, local_mask  # 结束本块引用；不承诺立刻降低系统 RSS。
    return total

a = np.array([-6.0, 2.0, 9.0, -1.0, 4.0])
print(process_chunks(a, chunk_size=2))

如果业务确实只求总和，循环中可直接使用 np.sum(block, where=local_mask, dtype=np.float64)，连局部提取副本也不需要。上面的消费示例是给“下游接口要求真实选中数组”的情况准备的。分块改变求和分组，浮点结果可能出现尾数差异，不能承诺与一次性计算逐位一致。

风险与落地清单

落地时记录数组形状、数据类型、选中比例以及下游是否保留结果。能使用区间切片就避免多余收集；只统计就使用聚合接口；允许修改才考虑原位运算；确实需要完整筛选结果时，把一次必要复制作为预算的一部分。

mask 全为 True 能得到视图吗？ 读取 a[mask] 仍遵循高级索引的复制语义，不能依赖全选条件切换成共享视图。

分块之后把结果放进列表再 concatenate 呢？ 这会保存全部局部副本，拼接时还需要最终结果空间，削弱降低峰值的目标。真正的流式消费应及时处理或写出每一块。

where 是否总能替代布尔索引？ 不能。它只在相应运算提供该参数且语义吻合时使用，无法直接替代所有需要紧凑选中数组的接口。多维输入还需明确掩码形状和广播规则，不能照搬一维示例。

这些写法是内存策略说明，未提供本机性能测试或固定节省比例。实际收益取决于选中数量、下游计算次数、内存布局和数组生命周期；有时一次复制后多次计算，反而比重复筛选更合适。

参数参考：https://numpy.org/doc/stable/reference/generated/numpy.sum.html；https://numpy.org/doc/stable/reference/generated/numpy.multiply.html。