BeautifulSoup提取分类链接完整教程

哈喽！今天心血来潮给大家带来了《Beautiful Soup 提取分类链接的完整方法如下：1. 安装 Beautiful Soup 和 requests首先确保安装了 beautifulsoup4 和 requests 库：pip install beautifulsoup4 requests2. 导入必要的库import requests from bs4 import BeautifulSoup3. 获取网页内容使用 requests.get() 获取网页源码：url = 'https://example.com' # 替换为实际网址 response = requests.get(url) html_content = response.text4. 解析 HTML 内容使用 BeautifulSoup 解析 HTML：soup = BeautifulSoup(html_content, 'html.parser')5. 查找所有分类链接根据网页结构，查找包含分类链接的标签（如 标签）并提取 href 属性。示例：查找所有 标签中带有类名 category-link 的链接category_links = soup.find_all('a', class_='category-link') for link in category_links: print(link['href'])示例：查找所有

本文详解为何 `find_all(class_="side_categories")` 返回单个 `

` 而非预期的链接列表，并提供两种可靠方法（CSS 选择器与嵌套 `find`/`find_all`）精准定位并提取图书网站的所有分类 URL。

当你调用 soup.find_all(class_="side_categories") 时，Beautiful Soup 确实返回了一个 ResultSet（本质是类列表对象），但它只包含一个匹配的

元素——因为整个页面中该 class 仅出现一次。这个

是分类导航的容器，而非你要的每个分类链接本身。因此你看到的是一个包裹了完整嵌套 HTML 的单元素列表，而非可直接遍历的 标签集合。

要获取所有分类链接（即 标签），需进一步在该容器内查找目标元素。以下是两种推荐做法：

✅ 方法一：使用 CSS 选择器（推荐，简洁高效）

from bs4 import BeautifulSoup
import requests

url = "http://books.toscrape.com/"
page = requests.get(url)
soup = BeautifulSoup(page.text, "html.parser")

# 直接定位所有位于 .side_categories 内的 <a> 标签（层级更精确）
for link in soup.select('.side_categories li a'):
    href = link.get('href')
    if href:  # 防止 None 值
        full_url = url.rstrip('/') + '/' + href.lstrip('/')
        print(full_url)

✅ 方法二：链式查找（语义清晰，易理解）

# 先找到容器，再在其内部查找所有 <a> 标签
side_nav = soup.find(class_='side_categories')
if side_nav:
    for link in side_nav.find_all('a'):
        href = link.get('href')
        if href:
            full_url = url.rstrip('/') + '/' + href.lstrip('/')
            print(full_url)

⚠️ 注意事项：

• find() 返回单个 Tag 对象（或 None），而 find_all() 返回 ResultSet（可迭代）；
• 使用 select() 或 find_all() 时，务必确认选择器路径是否准确（如 .side_categories li a 表示“class 为 side_categories 的元素下的所有 li 中的 a”）；
• 处理 href 时建议做空值检查（link.get('href') 可能为 None），并规范化 URL 拼接（避免双斜杠 //）；
• 若需提取分类名称（如 “Travel”, “Mystery”），可用 link.get_text(strip=True) 替代 link.get('href')。

通过以上任一方法，你将获得真正的可迭代链接列表，轻松完成后续数据采集任务。核心原则是：先定位容器，再聚焦目标；避免对容器本身调用 find_all，而应在容器内查找子元素。

到这里，我们也就讲完了《BeautifulSoup提取分类链接完整教程》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！

格林App体验分享与推荐理由

上一篇

格林App体验分享与推荐理由

下一篇

PHP模块化开发与性能提升技巧