PythonAPI嵌套循环解析方法

从现在开始，努力学习吧！本文《Python API嵌套循环解析技巧》主要讲解了等等相关知识点，我会在golang学习网中持续更新相关的系列文章，欢迎大家关注并积极留言建议。下面就先一起来看一下本篇正文内容吧，希望能帮到你！

在处理来自API的嵌套JSON数据时，常见的错误是由于循环缩进不当导致数据不完整。本文将详细讲解如何通过正确调整Python代码中的循环和字典创建的缩进，确保从如ESPN等API获取的所有嵌套数据（例如所有PGA球员信息）都能被准确捕获并添加到Pandas DataFrame中，避免只获取到最后一条记录的问题。

1. 理解API数据结构与常见问题

从RESTful API获取的数据通常以JSON格式返回，并且常常包含多层嵌套结构。例如，一个体育赛事的API可能包含多个赛事（events），每个赛事下有多个比赛（competitions），每个比赛又有多个参赛者（competitors）。

当尝试从这种嵌套结构中提取所有底层数据（如所有参赛者的姓名）时，一个常见的编程陷阱是循环逻辑或数据聚合（如字典创建和列表追加）的缩进不正确。如果用于创建单个数据记录（如一个包含球员信息的字典）的代码块被放置在迭代器外部，那么每次循环迭代都会覆盖前一个值，最终只保留最后一次迭代的结果。

考虑以下场景，我们尝试从ESPN的PGA赛事API中获取所有参赛球员的信息：

import requests
import pandas as pd

# 定义API端点
api = 'https://site.web.api.espn.com/apis/site/v2/sports/golf/leaderboard?league=pga'

# 发送GET请求并获取JSON响应
response = requests.get(api)
data = response.json()

# 提取赛事数据
events = data['events']

# 创建一个空列表来存储游戏数据
games = []

# 循环遍历每个赛事并获取相关信息 (原始问题代码示例)
for event in events:
    game_id = event['id']
    date = event['date']
    name = event['name']
    for competition in event['competitions']:
        for competitor in competition['competitors']:
            athlete = competitor['athlete']
            playerName = athlete['displayName'] # 每次循环都会更新playerName

    # 注意：这里的字典创建和列表追加在最内层循环的外部
    # 这意味着playerName将只保留最后一个competitor的值
    game = {
        'game_id': game_id,
        'date': date,
        'name': name,
        'playerName': playerName
    }
    games.append(game)

# 转换为pandas DataFrame
df = pd.DataFrame(games)
print(df)

上述代码的输出将只包含每个赛事中最后一个参赛者的信息，而不是所有参赛者。这是因为game字典的创建和games.append(game)操作被放置在for competitor in competition['competitors']循环的外部。在每次competitor循环迭代中，playerName变量会被更新，但只有当该循环完全结束后，game字典才会被创建，此时playerName变量存储的是最后一个参赛者的姓名。

2. 解决方案：调整代码缩进以正确聚合数据

要解决上述问题，核心在于确保每当获取到一个完整的“记录”（在本例中是包含一个球员信息的字典）时，就立即将其添加到结果列表中。这意味着创建字典和追加到列表的操作必须发生在最内层循环的内部，即每次迭代一个competitor时。

以下是修正后的代码示例：

import requests
import pandas as pd

# 定义API端点
api = 'https://site.web.api.espn.com/apis/site/v2/sports/golf/leaderboard?league=pga'

# 发送GET请求并获取JSON响应
response = requests.get(api)
data = response.json()

# 提取赛事数据
events = data['events']

# 创建一个空列表来存储游戏数据
games = []

# 循环遍历每个赛事并获取相关信息 (修正后的代码)
for event in events:
    game_id = event['id']
    date = event['date']
    name = event['name']
    for competition in event['competitions']:
        for competitor in competition['competitors']:
            athlete = competitor['athlete']
            playerName = athlete['displayName']

            # 关键修正：将字典创建和列表追加移到最内层循环内部
            # 这样，每次迭代一个competitor，都会创建一个新的game字典并追加到列表中
            game = {
                'game_id': game_id,
                'date': date,
                'name': name,
                'playerName': playerName
            }
            games.append(game) # 确保每次迭代都追加一个玩家

# 转换为pandas DataFrame
df = pd.DataFrame(games)
print(df)

通过将game字典的创建和games.append(game)操作移动到for competitor in competition['competitors']循环的内部，我们确保了每当提取到一个competitor的playerName时，就会立即创建一个包含当前赛事信息和该球员信息的字典，并将其追加到games列表中。这样，所有球员的数据都将被正确捕获。

3. 完整示例与注意事项

以下是完整的、修正后的Python脚本，用于从ESPN PGA API获取所有球员数据并存储到Pandas DataFrame中：

import requests
import pandas as pd

def fetch_pga_player_data():
    """
    从ESPN PGA API获取当前赛事的所有球员数据。

    Returns:
        pandas.DataFrame: 包含赛事ID、日期、名称和球员姓名的DataFrame。
                          如果获取失败或无数据，返回空的DataFrame。
    """
    api = 'https://site.web.api.espn.com/apis/site/v2/sports/golf/leaderboard?league=pga'
    games = []

    try:
        response = requests.get(api, timeout=10) # 增加超时设置
        response.raise_for_status() # 检查HTTP请求是否成功
        data = response.json()

        events = data.get('events', []) # 使用.get()方法安全访问键

        if not events:
            print("API响应中未找到赛事数据。")
            return pd.DataFrame()

        for event in events:
            game_id = event.get('id')
            date = event.get('date')
            name = event.get('name')

            competitions = event.get('competitions', [])
            for competition in competitions:
                competitors = competition.get('competitors', [])
                for competitor in competitors:
                    athlete = competitor.get('athlete', {})
                    playerName = athlete.get('displayName')

                    # 确保所有关键数据都存在
                    if all([game_id, date, name, playerName]):
                        game = {
                            'game_id': game_id,
                            'date': date,
                            'name': name,
                            'playerName': playerName
                        }
                        games.append(game)
                    else:
                        print(f"警告: 发现不完整的数据条目，已跳过。赛事ID: {game_id}, 球员名: {playerName}")

    except requests.exceptions.RequestException as e:
        print(f"请求API时发生错误: {e}")
        return pd.DataFrame()
    except KeyError as e:
        print(f"解析JSON数据时缺少预期的键: {e}")
        return pd.DataFrame()
    except Exception as e:
        print(f"发生未知错误: {e}")
        return pd.DataFrame()

    return pd.DataFrame(games)

if __name__ == "__main__":
    df_players = fetch_pga_player_data()
    if not df_players.empty:
        print("成功获取所有PGA球员数据：")
        print(df_players.head()) # 打印前几行
        print(f"\n总共获取到 {len(df_players)} 条球员记录。")
    else:
        print("未获取到任何球员数据。")

注意事项：

1. 缩进是Python的灵魂： Python通过缩进来定义代码块。在处理循环和条件语句时，务必仔细检查缩进，它直接影响代码的逻辑执行流程。
2. 数据聚合位置： 当从嵌套结构中提取多条记录时，用于创建单条记录（如字典）并将其添加到列表的代码，必须放置在能够唯一标识并完成一条记录的最内层循环中。
3. 健壮性考虑： 在实际应用中，API响应可能不总是完美的。使用.get()方法（例如event.get('id')而不是event['id']）可以避免在某个键不存在时抛出KeyError，使代码更健壮。同时，添加错误处理（try-except块）也是良好的编程实践。
4. 调试技巧： 如果不确定循环或数据流是否正确，可以在关键位置添加print()语句来输出中间变量的值（例如print(playerName)或print(game)），帮助理解代码执行过程。

总结

正确处理Python中的循环缩进是有效解析复杂嵌套数据结构的关键。通过确保数据记录的创建和追加操作发生在最恰当的循环层级，可以避免数据丢失，并确保从API获取的所有相关信息都被准确地收集和处理。这种细致的编程习惯对于构建可靠的数据处理管道至关重要。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~