网页爬虫中NaN链接处理技巧

本文深入剖析了网页爬虫中因HTML结构理解偏差导致的NaN链接值问题——以BeautifulSoup爬取NHL球员数据为例，揭示了误从``而非其内部``标签提取`href`属性这一常见陷阱，并提供开箱即用的修复代码、逐行注释的调试逻辑以及涵盖DOM层级验证、防御性判断、名称精确匹配、请求健壮性和扩展性设计的五大关键实践，助你彻底告别“链接列全为NaN”的困扰，夯实高质量数据采集的基础。

本文详解在使用BeautifulSoup爬取球员数据时，因错误定位href属性位置而产生NaN值的根本原因，并提供可直接运行的修复代码及关键注意事项。

本文详解在使用BeautifulSoup爬取球员数据时，因错误定位`href`属性位置而产生NaN值的根本原因，并提供可直接运行的修复代码及关键注意事项。

在网页爬虫实践中，NaN（Not a Number）值常被误认为是数据缺失或网络异常所致，但实际多数情况下源于对HTML DOM结构的误解——尤其是混淆了属性所在元素层级。以爬取 EliteProspects 网站NHL球员统计表为例，开发者试图从 标签中直接提取 href 属性，却忽略了该属性实际存在于其内部的 标签中。由于 span.get("href") 永远返回 None，Pandas 在赋值时自动将其转换为 NaN，导致“玩家主页链接”列全为空。

以下为修正后的完整流程（基于原始代码优化）：

import requests
from bs4 import BeautifulSoup
import pandas as pd

start_url = 'https://www.eliteprospects.com/league/nhl/stats/2023-2024'
r = requests.get(start_url, timeout=10)
r.raise_for_status()  # 显式抛出HTTP错误，便于调试

soup = BeautifulSoup(r.content, "html.parser")
table = soup.find("table", class_="table table-striped table-sortable player-stats highlight-stats season")

# 提取表头（去重并清理换行符）
headers = [th.get_text(strip=True) for th in table.find_all("th")]
df = pd.DataFrame(columns=headers)

# 构建基础数据行
rows = table.find_all("tr")[1:]  # 跳过表头行
for row in rows:
    tds = row.find_all("td")
    if len(tds) == len(headers):  # 防止空行或结构异常
        data = [td.get_text(strip=True) for td in tds]
        df.loc[len(df)] = data

# ✅ 关键修复：正确提取玩家链接与姓名
df["Player_URL"] = None  # 预先添加列，避免SettingWithCopyWarning

for span in table.find_all("span", class_="txt-blue"):
    a_tag = span.find("a")
    if a_tag and a_tag.has_attr("href"):
        player_name = a_tag.get_text(strip=True)
        player_url = a_tag["href"]
        # 注意：需处理球员名中的括号和空格（如"Nikita Kucherov (RW)" → 匹配时需一致）
        # 此处假设df.Player已含完整显示名（含位置），否则需标准化
        mask = df["Player"] == player_name
        if mask.any():
            df.loc[mask, "Player_URL"] = player_url

# 数据清洗：统一去除换行与首尾空格
df = df.replace(r'\n+', ' ', regex=True)  # 替换多个换行符为单空格
df = df.applymap(lambda x: x.strip() if isinstance(x, str) else x)

print(df[["Player", "Team", "GP", "G", "A", "TP", "Player_URL"]].head())

? 核心注意事项：

• 层级意识优先：永远先用浏览器开发者工具（F12）检查目标链接的真实DOM路径。Name 中，href 属于 ，而非 。
• 防御性编程：添加 if a_tag and a_tag.has_attr("href") 判断，避免 None.get() 报错；使用 mask.any() 确保匹配存在，防止 df.loc[[], ...] 引发隐式错误。
• 名称匹配需严格一致：表格中 Player 列文本（如 "Connor McDavid (C)"）必须与 标签内纯文本完全一致。若页面后续改用缩写或移除位置信息，需同步调整清洗逻辑（例如正则提取姓名主体：re.sub(r'\s*\(.*?\)$', '', player_name)）。
• 请求健壮性：加入 timeout 和 raise_for_status()，避免因网络延迟或403/404导致静默失败。
• 扩展性提示：若需批量抓取多赛季/多联赛，建议封装为函数，配合 time.sleep() 控制请求频率，并使用 try...except 包裹单次请求，确保部分失败不影响整体流程。

通过厘清HTML语义结构、强化数据清洗与异常防护，即可彻底规避此类“看似有数据、实则全NaN”的典型陷阱，为后续获取身高、体重等深层信息（需二次请求玩家个人页）奠定可靠基础。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《网页爬虫中NaN链接处理技巧》文章吧，也可关注golang学习网公众号了解相关技术文章。