花瓣网图片爬取高效指南

本文详解如何高效爬取花瓣网图片，并完整下载所有图片。核心策略在于利用花瓣网API的分页机制，通过`max`参数迭代获取所有页面数据。代码通过正则表达式提取图片`key`，实现图片URL的构建和下载，并加入错误处理、流式下载及更可靠的结束条件，避免程序崩溃和内存溢出。此外，文章还提供代码改进建议，例如使用更精准的正则表达式和更清晰的提示信息，以提升爬取效率和稳定性。 学习本教程，你可以轻松掌握花瓣网图片爬取技巧，但请务必遵守网站的robots.txt规则，避免过度请求。

花瓣网图片爬取及分页策略详解

本文介绍如何高效爬取花瓣网图片，并重点讲解如何获取后续页面数据，实现完整图片下载。

高效爬取的关键：获取最大值 (max)

花瓣网的API分页机制依赖于max参数，它代表了当前页面最后一个pin的ID。 要实现完整爬取，我们需要在每次爬取页面后，提取该页面的最后一个pin ID，并将其作为下一个页面的max参数，以此循环获取所有数据。

代码改进与详解

以下代码实现了这一策略：

import re
import time
import json
import requests
import os

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
}

directory = input('请输入要创建的文件夹名称：\n')
fileName = 'huabanimg/' + directory + '/'
if not os.path.exists(fileName):
    os.makedirs(fileName)

board_id = int(input('请输入需要抓取的花瓣board ID：\n'))
url = f'https://api.huaban.com/boards/{board_id}/pins?limit=20'

max_id = None

while True:
    response = requests.get(url, headers=headers)
    text = response.text

    # 使用正则表达式提取pin key，更稳健
    pin_keys = re.findall(r'"key":"([^"]+)"', text)

    if not pin_keys:  # 检查是否获取到数据
        print("未获取到图片数据，可能已到达最后一页或出现错误。")
        break

    last_pin_id = pin_keys[-1]

    for i, key in enumerate(pin_keys):
        img_url = f'https://hbimg.huabanimg.com/{key}_fw658'
        img_name = key[:10]
        print(f'正在下载第 {i+1} 张图片...')

        try:
            img_data = requests.get(img_url, headers=headers, stream=True)
            img_data.raise_for_status() # 检查HTTP状态码，抛出异常处理错误

            with open(fileName + img_name + '.jpeg', 'wb') as f:
                for chunk in img_data.iter_content(chunk_size=8192):
                    f.write(chunk)
        except requests.exceptions.RequestException as e:
            print(f"下载图片 {img_url} 失败: {e}")
            continue # 跳过失败的图片

        time.sleep(2)  # 添加延时，避免请求过快

    max_id = last_pin_id
    url = f'https://api.huaban.com/boards/{board_id}/pins?max={max_id}&limit=20'

    if max_id == '0' or len(pin_keys) < 20: # 更可靠的结束条件
        break

print("图片下载完成！")

代码改进说明:

• 更健壮的正则表达式: 使用更精确的正则表达式 r'"key":"([^"]+)"' 提取 key 值，避免因HTML结构变化导致的错误。
• 错误处理: 添加 try...except 块处理 requests 异常，防止因网络问题或其他原因导致程序崩溃。
• 流式下载: 使用 img_data.iter_content() 进行流式下载，减少内存占用，尤其在下载大图片时非常有效。
• 更可靠的结束条件: 判断 len(pin_keys) < 20 确保当页面图片数量少于 limit 值时也停止爬取，避免无限循环。
• 清晰的提示信息: 添加更清晰的提示信息，方便用户理解程序运行状态。
• 变量命名: 使用更具描述性的变量名，例如 board_id 代替 num。

此改进后的代码更加稳健、高效，并具有更好的错误处理能力，能够更可靠地完成花瓣网图片的爬取任务。 请记住遵守花瓣网的 robots.txt 规则，并避免过度频繁的请求。

好了，本文到此结束，带大家了解了《花瓣网图片爬取高效指南》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！