Hugging Face Datasets unique 怎样列出字段的不同取值

在整理训练集时，经常只想回答一个小问题：某一列到底出现了哪些不同取值？Hugging Face Datasets 已经提供了直接入口，不需要先把整列转成 Python 集合。对单个 Dataset 调用 unique("字段名")，返回该字段的不同值列表；对 DatasetDict 调用同名方法，则会按 split 返回多组列表。

官方地址：https://huggingface.co/docs/datasets/

记住三个边界：unique 是字段级盘点，不是整行去重；返回值是列表，不是数量；字段基数很大时，结果列表本身也会占用内存。

先确认 Dataset 和字段名

先看对象是单个数据集还是包含多个 split 的字典，再读取字段名。这样可以避免把 DatasetDict 当成单表使用，也能在调用前发现拼写错误。

from datasets import Dataset, DatasetDict

# 用小数据构造示例，实际项目中也可以替换成 load_dataset 的返回值
train = Dataset.from_dict({
    "source": ["web", "paper", "web", "book"],
    "label": ["keep", "drop", "keep", "review"],
})
valid = Dataset.from_dict({
    "source": ["paper", "paper", "web"],
    "label": ["keep", "review", "keep"],
})
splits = DatasetDict({"train": train, "validation": valid})

# 先打印字段名，避免把列名拼写错误留到 unique 调用才暴露
print(train.column_names)
print(splits.column_names)

Dataset.column_names 是字符串列表；DatasetDict.column_names 则按 split 返回字典。若目标字段只存在于部分 split，应先统一字段结构，或者明确只处理拥有该字段的 split。

单个 Dataset 直接调用 unique

单个 Dataset 的最小写法只有一个参数：字段名。官方接口返回一个列表，其中每个元素代表该列发现的一种取值。

# 读取 source 列的不同取值，结果只对应当前这个 Dataset
source_values = train.unique("source")
print(source_values)

# 需要不同值数量时，在列表结果上取长度
source_count = len(source_values)
print(source_count)

这个调用不会返回“去重后的行”，也不会修改原始 Dataset。如果你要保留每种值对应的完整样本，需要另写筛选或分组逻辑；如果只想得到数量，len(train.unique("source")) 可以表达意图，但在高基数列上仍然会先构造完整列表。

返回列表的顺序不要当成排序结果。示例数据可能先得到 web，也可能因底层数据布局得到另一种顺序；需要稳定展示时，再对结果做明确排序，并先确认列值类型可比较。

DatasetDict 会按 split 返回不同取值

当对象是 DatasetDict 时，直接调用 splits.unique("label")，结果是一个以 split 名称为键的字典，每个键对应一个列表。它不会默认把 train 和 validation 合并。

# 对每个 split 独立盘点 label，便于发现训练集和验证集的标签差异
labels_by_split = splits.unique("label")

for split_name, values in labels_by_split.items():
    # 这里保留 split 名称，避免把不同数据切分的统计混在一起
    print(split_name, values, len(values))

这个返回形状适合做数据集检查：如果某个 split 缺少预期标签，可以立刻从字典中看出。若你的业务问题是“整个项目跨所有 split 的并集”，应显式合并这些列表，而不是误把某个 split 的结果当成全量结论。

别把字段盘点和整行去重混为一谈

还要留意字段基数。如果 user_id、URL 或长文本列几乎每行都不同，unique 的结果列表会接近原列规模。此时先确认自己是否真的需要完整枚举；若只需要抽样、分桶或外部统计，应改用更适合该目标的处理流程。不要把 unique 当作流式聚合接口，也不要在内存预算不明时对超大字段直接调用。

常见问题

为什么返回的是列表而不是集合？ 因为接口约定返回不同元素列表，列表更容易直接展示或继续序列化；如果业务只关心成员判断，可以在自己的边界内转换。

DatasetDict.unique 会把 split 合并吗？ 不会。它返回按 split 名称组织的字典；需要全局并集时要显式合并，并决定是否保留不同类型的值。

字段不存在时怎么办？ 先打印 column_names，确认实际字段名和每个 split 的 schema，再调用 unique。不要用改写字符串的方式猜列名。

unique 能替代整行去重吗？ 不能。它只回答“这一列有哪些值”，不保留行之间的对应关系。

实际使用时可以按这个顺序处理：先确认对象和字段，再调用对应的 unique，按返回形状读取结果，最后评估列基数和内存成本。这样既能快速盘点标签、来源等字段，也不会把字段统计误当成数据清洗结果。