当前位置：首页 > 文章列表 > 文章 > python教程 > PySpark判断列是否包含指定列表值

PySpark判断列是否包含指定列表值

2025-08-12 23:51:29 0浏览收藏

编程并不是一个机械性的工作，而是需要有思考，有创新的工作，语法是固定的，但解决问题的思路则是依靠人的思维，这就需要我们坚持学习和更新自己的知识。今天golang学习网就整理分享《PySpark检查列是否包含指定列表值》，文章讲解的知识点主要包括，如果你对文章方面的知识点感兴趣，就不要错过golang学习网，在这可以对大家的知识积累有所帮助，助力开发能力的提升。

检查PySpark列的列表是否包含给定列表中的任何值

本文介绍了如何使用PySpark高效地检查DataFrame中列表类型的列是否包含预定义常量列表中的任何元素。通过利用 arrays_overlap 函数，我们可以避免使用UDF，从而显著提高性能，并简化代码。本文将提供详细的代码示例和解释，帮助您理解和应用这种方法。

在处理PySpark DataFrame时，经常会遇到需要检查列表类型列中的元素是否包含在另一个预定义的常量列表中的情况。虽然可以使用用户自定义函数（UDF）来实现此功能，但UDF通常效率较低。PySpark提供了内置函数 arrays_overlap，可以更有效地解决这个问题。

使用 arrays_overlap 函数

arrays_overlap 函数用于检查两个数组之间是否存在重叠的元素。如果两个数组至少有一个共同的元素，则返回 true，否则返回 false。

以下是如何使用 arrays_overlap 函数的示例：

import pyspark.sql.functions as F
from pyspark.sql import SparkSession
from pyspark.sql.types import BooleanType

# 创建 SparkSession
spark = SparkSession.builder.appName("ArraysOverlapExample").getOrCreate()

# 示例数据
data = [
    (111, ["A", "B", "C"]),
    (222, ["C", "D", "E"]),
    (333, ["D", "E", "F"]),
]

schema = ["id", "my_list"]

df = spark.createDataFrame(data, schema=schema)

# 常量列表
constants = ["A", "B", "C", "D"]

# 使用 arrays_overlap 函数
df = df.withColumn(
    'is_in_col',
    F.arrays_overlap('my_list', F.array([F.lit(e) for e in constants]))
)

# 显示结果
df.show()

# 停止 SparkSession
spark.stop()

代码解释：

导入必要的库： 导入 pyspark.sql.functions 用于使用内置函数，SparkSession 用于创建 Spark 会话，BooleanType 用于UDF返回类型声明（本例未使用）。
创建 SparkSession： 创建一个 SparkSession 实例，这是与 Spark 集群交互的入口点。
创建 DataFrame： 使用示例数据创建一个 DataFrame，包含一个 id 列和一个列表类型的 my_list 列。
定义常量列表： 定义一个包含要检查的常量的列表。
使用 arrays_overlap 函数：
- F.array([F.lit(e) for e in constants]) 将常量列表转换为 PySpark 数组。F.lit 用于将 Python 对象转换为 Spark SQL 字面量。
- F.arrays_overlap('my_list', ...) 检查 my_list 列中的数组是否与常量数组重叠。
显示结果： 使用 df.show() 显示 DataFrame，其中包含新添加的 is_in_col 列，该列指示 my_list 列中的数组是否包含常量列表中的任何元素。
停止 SparkSession： 停止 SparkSession 以释放资源。

输出结果：

+---+---------+---------+
| id|  my_list|is_in_col|
+---+---------+---------+
|111|[A, B, C]|     true|
|222|[C, D, E]|     true|
|333|[D, E, F]|     true|
+---+---------+---------+