批量请求URL并导出CSV的技巧与工具

学习知识要善于思考，思考，再思考！今天golang学习网小编就给大家带来《批量请求多个URL并导出CSV的实用方法》，以下内容主要包含等知识点，如果你正在学习或准备学习文章，就都不要错过本文啦~让我们一起来看看吧，能帮助到你就更好了！

本文介绍如何将单URL请求的Python脚本扩展为批量处理URL列表，自动发起HTTP请求、解析JSON响应、结构化提取字段，并逐次合并结果到Pandas DataFrame，最终导出为CSV文件。

在实际数据采集或地址验证等场景中，常需对一批URL（如多个地址查询接口）进行批量调用。原脚本仅支持单个URL，通过引入循环与DataFrame拼接机制，即可高效实现批量处理。以下是优化后的完整实现：

import requests
import pandas as pd

# 定义待请求的URL列表（可按需扩展）
urls = [
    'https://ws1.postescanada-canadapost.ca/AddressComplete/Interactive/Find/v2.10/json3ex.ws?Key=TF36-KU97-AB94-ZC85&Country=CAN&SearchTerm=L2A%200A2&LanguagePreference=en&LastId=CA%7CCP%7CENG%7C0A2-L2A&SearchFor=Everything&OrderBy=UserLocation&$block=true&$cache=true',
    'https://ws1.postescanada-canadapost.ca/AddressComplete/Interactive/Find/v2.10/json3ex.ws?Key=TF36-KU97-AB94-ZC85&Country=CAN&SearchTerm=M5V%203L9&LanguagePreference=en&SearchFor=Everything&OrderBy=UserLocation&$block=true&$cache=true',
    # 可继续添加更多URL...
]

# 统一请求头（避免重复构造）
headers = {
    'authority': 'ws1.postescanada-canadapost.ca',
    'accept': '*/*',
    'accept-language': 'en-US,en;q=0.9',
    'cache-control': 'no-cache',
    'origin': 'https://www.canadapost-postescanada.ca',
    'pragma': 'no-cache',
    'referer': 'https://www.canadapost-postescanada.ca/ac/',
    'sec-ch-ua': '"Not A(Brand";v="99", "Google Chrome";v="121", "Chromium";v="121"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
    'sec-fetch-dest': 'empty',
    'sec-fetch-mode': 'cors',
    'sec-fetch-site': 'cross-site',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
}

# 初始化空DataFrame用于累积结果
final_df = pd.DataFrame()

# 遍历每个URL并处理响应
for i, url in enumerate(urls, 1):
    print(f"正在请求第 {i}/{len(urls)} 个URL: {url[:60]}...")

    try:
        response = requests.get(url, headers=headers, timeout=15)
        response.raise_for_status()  # 抛出HTTP错误（如4xx/5xx）

        data = response.json()
        results = data.get('Items', [])

        # 使用列表推导式高效提取字段
        texts = [item['Text'] for item in results if 'Text' in item]
        descriptions = [item['Description'] for item in results if 'Description' in item]

        # 构建当前批次DataFrame
        batch_df = pd.DataFrame({
            'results_subset_alpha': texts,
            'results_subset_beta': descriptions,
            'source_url': [url] * len(texts)  # 可选：记录来源URL便于追溯
        })

        # 合并至总表（推荐使用pd.concat替代已弃用的append）
        final_df = pd.concat([final_df, batch_df], ignore_index=True, sort=False)

    except requests.exceptions.RequestException as e:
        print(f"❌ 请求失败（URL {i}）: {e}")
        continue
    except (KeyError, ValueError) as e:
        print(f"⚠️  解析异常（URL {i}）: {e}")
        continue

# 保存最终结果到CSV文件
if not final_df.empty:
    final_df.to_csv('batch_results.csv', index=False)
    print(f"✅ 成功保存 {len(final_df)} 条记录到 'batch_results.csv'")
else:
    print("⚠️  未获取到有效数据，请检查URL和API响应格式。")

关键改进说明：

• ✅ 健壮性增强：添加 try/except 捕获网络异常与JSON解析错误，避免单个失败中断整个流程；
• ✅ 现代写法：使用 pd.concat() 替代已弃用的 .append() 方法（Pandas ≥1.4.0），提升性能与兼容性；
• ✅ 可追溯性：新增 source_url 列，便于定位每条结果对应的原始请求；
• ✅ 用户体验：加入进度提示与状态反馈，便于调试与监控；
• ✅ 安全性建议：生产环境应将API Key从URL中移出，改用请求头或环境变量管理。

⚠️ 注意事项：部分API可能限制请求频率或需认证。若批量调用频繁，建议在循环中添加 time.sleep(1) 延迟，遵守服务端速率限制，避免被封禁。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~