Python多层数据提取与筛选方法

golang学习网今天将给大家带来《Python深度嵌套数据提取与筛选技巧》，感兴趣的朋友请继续看下去吧！以下内容将会涉及到等等知识点，如果你是正在学习文章或者已经是大佬级别了，都非常欢迎也希望大家都能给我建议评论哈~希望能帮助到大家！

本文详细介绍了如何在Python中处理复杂的嵌套字典和列表数据结构，特别是针对从多层嵌套数据中提取特定元素并应用条件筛选的场景。通过逐步解析数据结构，演示了如何使用嵌套循环高效地访问目标数据，并结合条件判断逻辑，实现对提取数据的精准过滤，最终获取所需结果。

在Python开发中，我们经常会遇到处理复杂数据结构的需求，尤其是当数据以JSON格式从API返回时，通常会表现为深度嵌套的字典和列表。理解如何高效地从这些结构中提取所需信息并进行条件筛选，是Python数据处理的关键技能之一。

理解嵌套数据结构

首先，我们来看一个典型的嵌套数据结构示例。这是一个Python字典，其中包含数字、字符串以及更复杂的列表和字典：

repo = {
    'code': 200,
    'msg': '',
    'snapshotVos': [{
        'data': {
            'balances': [
                {'asset': 'ADD', 'free': '10', 'locked': '0'},
                {'asset': 'RDP', 'free': '0', 'locked': '0'},
                {'asset': 'SHIB', 'free': '0', 'locked': '947415'}
            ],
            'totalAsset': '152'
        },
        'type': 'spot',
        'updateTime': 1703807999000
    }]
}

我们的目标是从这个 repo 字典中，提取 snapshotVos 列表里每个元素的 data 字典下的 balances 列表中的数据。更进一步，我们需要筛选 balances 列表中满足特定条件的字典：即 free 和 locked 字段的值不能同时为 '0'。

逐步解析与数据提取

为了达到目标，我们需要层层深入地访问数据结构。

1. 访问 snapshotVos 列表：repo['snapshotVos'] 将返回一个列表，其中包含一个或多个字典。

2. 遍历 snapshotVos 中的每个元素： 使用 for 循环遍历 snapshotVos 列表中的每个字典。每个字典（例如命名为 re）都代表一个快照信息。

3. 访问 data 字典： 在每个 re 字典中，通过 re['data'] 可以访问到包含 balances 信息的 data 字典。

4. 访问 balances 列表： 从 data 字典中，通过 re['data']['balances'] 可以获取到我们最终感兴趣的 balances 列表。这个列表包含了多个表示资产信息的字典。

5. 遍历 balances 列表中的每个元素： 由于 balances 也是一个列表，我们需要再使用一个嵌套的 for 循环来遍历其中的每一个资产字典（例如命名为 balance）。

实现条件筛选与数据收集

在遍历 balances 列表中的每个 balance 字典时，我们需要应用筛选条件：当 balance['free'] 和 balance['locked'] 的值不都为 '0' 时，才收集该 balance 的信息。

为了收集结果，我们可以初始化一个空列表，然后将符合条件的 balance 信息添加到该列表中。示例中要求提取的是每个 balance 字典的值列表，并且避免重复。

下面是实现这一逻辑的完整代码示例：

repo = {
    'code': 200,
    'msg': '',
    'snapshotVos': [{
        'data': {
            'balances': [
                {'asset': 'ADD', 'free': '10', 'locked': '0'},
                {'asset': 'RDP', 'free': '0', 'locked': '0'},
                {'asset': 'SHIB', 'free': '0', 'locked': '947415'}
            ],
            'totalAsset': '152'
        },
        'type': 'spot',
        'updateTime': 1703807999000
    }]
}

# 用于存储最终结果的列表
filtered_balances_data = []

# 遍历 snapshotVos 列表
for snapshot_item in repo.get('snapshotVos', []): # 使用 .get() 避免 KeyError
    # 访问 data 字典，同样使用 .get()
    data_content = snapshot_item.get('data', {})

    # 访问 balances 列表
    balances_list = data_content.get('balances', [])

    # 遍历 balances 列表中的每个资产字典
    for balance_item in balances_list:
        # 应用筛选条件：'free' 和 'locked' 不都为 '0'
        # 注意：这里的值是字符串类型，所以比较时也用字符串 '0'
        if not (balance_item.get('free') == '0' and balance_item.get('locked') == '0'):
            # 提取字典的值列表
            # 如果需要保留字典结构，可以直接添加 balance_item
            # 如果需要避免重复的值列表，则进行检查
            values_list = list(balance_item.values())
            if values_list not in filtered_balances_data:
                filtered_balances_data.append(values_list)

# 打印最终结果
print(filtered_balances_data)

运行上述代码，将得到以下输出：

[['ADD', '10', '0'], ['SHIB', '0', '947415']]

可以看到，['RDP', '0', '0'] 这个资产信息因为它同时满足 free 为 '0' 和 locked 为 '0' 的条件而被过滤掉了。

注意事项与最佳实践

1. 健壮性考虑： 在实际开发中，数据结构可能不总是完整或符合预期。使用字典的 .get(key, default_value) 方法访问键，可以避免因键不存在而引发 KeyError。例如 repo.get('snapshotVos', []) 会在 snapshotVos 键不存在时返回一个空列表，而不是报错。
2. 数据类型匹配： 在进行条件判断时，务必注意数据类型。本例中 free 和 locked 的值是字符串 '0'，而不是整数 0。如果数据是数字类型，则应使用 0 进行比较。
3. 结果形式： 示例代码中最终收集的是每个字典的值列表。如果需要保留原始的键值对结构，可以直接将 balance_item 添加到结果列表中，而不是 list(balance_item.values())。

   # 如果需要保留字典结构
   # filtered_balances_data.append(balance_item)

4. 去重逻辑： 示例中使用了 if values_list not in filtered_balances_data: 进行去重。对于包含复杂对象（如字典或列表）的去重，这种方法在列表较大时效率较低。如果数据量大，可以考虑将值列表转换为元组（tuple）并使用 set 进行去重，然后再转回列表。

   # 使用 set 进行高效去重
   unique_balances_set = set()
   for balance_item in balances_list:
       if not (balance_item.get('free') == '0' and balance_item.get('locked') == '0'):
           values_tuple = tuple(balance_item.values()) # 将列表转换为元组以便放入集合
           unique_balances_set.add(values_tuple)
   filtered_balances_data = [list(t) for t in unique_balances_set] # 转换回列表

5. 可读性： 尽管多层嵌套循环在某些情况下是必要的，但当嵌套层级过多时，代码的可读性会下降。对于更复杂的场景，可以考虑将部分逻辑封装成函数，或者使用更高级的数据处理库（如 pandas）来简化操作。

总结

从Python的深度嵌套字典和列表中提取数据并应用条件筛选，是日常数据处理中的常见任务。通过理解数据结构、运用嵌套循环以及结合条件判断，我们可以精准地定位并提取所需信息。同时，遵循健壮性、数据类型匹配和效率考量等最佳实践，能够编写出更可靠、更易于维护的代码。

今天关于《Python多层数据提取与筛选方法》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！