Hugging Face Datasets map怎样同时删除旧字段

如果你在 Hugging Face Datasets 中用 map 清洗数据，想把 text、raw_label 这类旧字段换成训练需要的新字段，直接给 map 传 remove_columns 即可。关键点是：旧字段会先传给映射函数，函数返回的新字段再写回数据集，所以一次调用可以完成“读取旧列、生成新列、删除多个旧列”。

官方地址：https://huggingface.co/docs/datasets/

先看清 map 和 remove_columns 的职责

map 负责把函数应用到数据集样本上，可以新增字段、覆盖字段或返回变换后的字段。remove_columns 是这次映射的列清理配置，接收一个字段名或字段名列表。

容易误解的地方在执行顺序：映射函数先拿到当前样本，随后指定的旧字段才从结果中移除。因此函数仍然可以读取 example["text"]，再返回 clean_text。这也是把清洗和字段收敛放在一次调用里的原因。

单条样本同时生成新字段并删除旧字段

下面的例子把原始文本整理为 clean_text，把字符串标签转换为整数 label，最后删除 text 和 raw_label。示例只展示数据结构关系，实际数据集的标签集合应按你的任务定义。

from datasets import Dataset

dataset = Dataset.from_dict({
    "text": ["  第一条样本  ", "第二条样本"],
    "raw_label": ["positive", "negative"],
    "source": ["a", "b"],
})

label_ids = {"negative": 0, "positive": 1}

def prepare_example(example):
    # 先读取旧字段，再返回下游训练要用的新字段。
    clean_text = example["text"].strip()
    label = label_ids[example["raw_label"]]
    return {"clean_text": clean_text, "label": label}

prepared = dataset.map(
    prepare_example,
    # 删除多个旧列；映射函数仍可在上面读取它们。
    remove_columns=["text", "raw_label"],
)

print(prepared.column_names)
# 预期字段关系：source、clean_text、label

这里的 source 没有被列入删除列表，所以会继续保留。clean_text 和 label 是函数返回的新增字段；如果返回字段与待删除字段同名，返回值会在更新阶段保留下来，这适合“原字段清洗后覆盖”的场景。

批量 map 时怎样同时删除多列

数据量较大时可以使用 batched=True。此时函数收到的是“字段名到列表”的批量字典，返回的每个新字段也要是相同长度的列表。不要把单条样本的 strip() 直接写在批量字段上，否则得到的是列表没有该方法的错误。

def prepare_batch(batch):
    # batched=True 时每个输入字段都是列表，逐项处理后返回等长列表。
    clean_text = [text.strip() for text in batch["text"]]
    label = [label_ids[name] for name in batch["raw_label"]]
    return {"clean_text": clean_text, "label": label}

prepared = dataset.map(
    prepare_batch,
    batched=True,
    batch_size=1000,
    # 只清理本次转换已经消费的旧字段，保留 source 供追踪。
    remove_columns=["text", "raw_label"],
)

batch_size 只决定一次传给函数多少条样本，不改变删除字段的语义。生产管道里还要确保返回列表长度一致；否则新字段无法和当前批次对齐。若函数输出为空或只返回部分新字段，未被删除且未被覆盖的原字段仍会按数据集规则保留。

生产数据管道的字段和缓存检查

企业数据处理更容易出问题的不是 remove_columns 语法，而是字段契约没有跟下游同步。建议在发布训练任务前固定检查四件事：

如果只是从一个数据集删除几列，而不需要计算新字段，可以直接使用 dataset.remove_columns(["text", "raw_label"])。它的意图更清楚，也避免为了删除字段复制其余数据。只有在“读取旧列并生成新列”的同一阶段，才把删除列表放进 map。

常见问题

remove_columns 可以一次传多个字段吗？

可以，传字符串列表即可，例如 remove_columns=["text", "raw_label"]。字段名不存在时不要靠猜测处理，先根据数据集实际字段清单调整配置。

删除旧字段后，映射函数还能读取它吗？

可以。对 map 而言，旧字段会先作为输入提供给函数，随后才执行列移除，所以可以用它们计算新字段。

DatasetDict 需要给每个 split 分别写 map 吗？

如果各 split 具有相同字段契约，可以直接对 DatasetDict 使用同一个映射函数；若某个 split 缺少待删除字段，则应先统一 schema，或为不同 split 明确配置。