Python发送HTTP请求的几种方法

Python发送HTTP请求，首选requests库，它以简洁的API和强大的功能，简化了网络交互。无论是获取网页内容、调用API接口，还是上传文件，requests都能以直观的方式完成，提升开发效率。本文将详解requests库的使用方法，包括安装（`pip install requests`）、发送GET/POST请求、处理响应状态码和内容。此外，还将深入探讨其核心优势，如简洁API、智能默认行为和丰富功能（SSL验证、代理等）。同时，针对实际应用中可能遇到的异常处理、高级特性（文件上传、自定义请求头、超时设置、会话管理及代理配置）以及重试机制，提供详尽的指导，助你高效且安全地进行网络交互，应对API限流、调试困难、SSL证书等常见挑战。

在Python中发送HTTP请求的首选方法是使用requests库。1. 安装requests库可通过pip install requests完成；2. 发送GET请求可使用requests.get()并检查响应状态码及内容；3. 发送POST请求可使用requests.post()提交表单或JSON数据；4. 核心优势包括简洁API、智能默认行为和支持丰富功能如SSL验证、代理等；5. 响应处理关注状态码、文本或JSON内容；6. 异常处理通过捕获不同异常类型提升程序健壮性；7. 高级特性支持文件上传、自定义请求头、超时设置、会话管理及代理配置；8. 重试机制结合循环和指数退避策略应对不稳定网络环境；9. 常见挑战包括API限流、调试困难、SSL证书问题，需合理处理以确保可靠性。掌握这些核心要点，能够高效且安全地进行网络交互。

Python中发送HTTP请求，requests库无疑是首选，它以简洁的API和强大的功能，让网络交互变得异常轻松。无论是获取网页内容、调用API接口，还是上传文件，requests都能以非常直观的方式完成，极大地提升了开发效率。

解决方案

要使用Python发送HTTP请求，首先你得安装requests库，这很简单：pip install requests。接着，就可以开始你的网络探索之旅了。

最基础的GET请求，获取一个网页内容：

import requests

# 发送GET请求
try:
    response = requests.get('https://www.example.com')
    # 检查响应状态码
    if response.status_code == 200:
        print("请求成功！")
        print("响应内容前500字：", response.text[:500])
    else:
        print(f"请求失败，状态码：{response.status_code}")
except requests.exceptions.RequestException as e:
    print(f"请求发生错误：{e}")

发送POST请求，比如提交表单数据或JSON数据：

import requests

# POST请求提交表单数据
post_data = {'key1': 'value1', 'key2': 'value2'}
try:
    response = requests.post('https://httpbin.org/post', data=post_data)
    if response.status_code == 200:
        print("\nPOST表单请求成功！")
        print("响应JSON：", response.json())
    else:
        print(f"POST表单请求失败，状态码：{response.status_code}")
except requests.exceptions.RequestException as e:
    print(f"POST表单请求发生错误：{e}")

# POST请求提交JSON数据
import json
json_data = {'name': '张三', 'age': 30}
try:
    response = requests.post('https://httpbin.org/post', json=json_data)
    if response.status_code == 200:
        print("\nPOST JSON请求成功！")
        print("响应JSON：", response.json())
    else:
        print(f"POST JSON请求失败，状态码：{response.status_code}")
except requests.exceptions.RequestException as e:
    print(f"POST JSON请求发生错误：{e}")

requests库的核心优势与基本用法

我个人觉得，requests库之所以能成为Python HTTP请求的“事实标准”，很大程度上是因为它的API设计实在是太人性化了。它不像那些老旧的库，需要你手动处理URL编码、连接池什么的，requests把这些复杂性都封装得很好，你只需要关注业务逻辑。

它的核心优势在于：

• 简洁直观的API： 几乎所有的HTTP方法（GET, POST, PUT, DELETE等）都有对应的函数，比如requests.get()，requests.post()。
• 智能的默认行为： 比如自动处理Cookie、重定向，以及合理的超时设置。
• 丰富的功能： 支持SSL验证、代理、文件上传、会话管理等等。

拿到响应后，我们通常会关心几个东西：

• response.status_code：HTTP状态码，200表示成功，404表示没找到，500是服务器错误等等。
• response.text：响应的文本内容，通常用于HTML或纯文本。
• response.json()：如果响应是JSON格式，这个方法可以直接将其解析成Python字典或列表。如果不是JSON，会抛出json.decoder.JSONDecodeError。
• response.content：响应的二进制内容，适用于图片、视频等非文本数据。

一个很实用的功能是response.raise_for_status()，它会在请求失败（状态码是4xx或5xx）时抛出requests.exceptions.HTTPError异常，这让错误处理变得非常方便。

import requests

try:
    response = requests.get('https://httpbin.org/status/404') # 故意请求一个404
    response.raise_for_status() # 如果状态码不是2xx，会抛出HTTPError
    print("请求成功！")
except requests.exceptions.HTTPError as e:
    print(f"HTTP错误发生：{e}，状态码：{e.response.status_code}")
except requests.exceptions.ConnectionError as e:
    print(f"连接错误发生：{e}")
except requests.exceptions.Timeout as e:
    print(f"请求超时：{e}")
except requests.exceptions.RequestException as e:
    print(f"其他请求错误：{e}")

深入探索requests：参数、会话与异常处理

实际开发中，光知道发GET和POST肯定不够。requests提供了很多参数来精细控制请求。

请求参数：

• params：用于GET请求，会将字典内容作为URL查询字符串添加到URL中。

  # https://httpbin.org/get?name=Alice&age=30
  response = requests.get('https://httpbin.org/get', params={'name': 'Alice', 'age': 30})
  print("\nGET带参数：", response.json()['args'])

• data：用于POST请求，发送application/x-www-form-urlencoded类型的数据（表单提交），或者二进制数据。

  response = requests.post('https://httpbin.org/post', data={'username': 'test', 'password': '123'})
  print("POST表单数据：", response.json()['form'])

• json：用于POST请求，发送application/json类型的数据。这个和data参数经常被混淆，记住，如果你要发的是JSON格式的字符串，用json参数最方便，requests会自动帮你设置Content-Type头。

  response = requests.post('https://httpbin.org/post', json={'item': 'book', 'price': 99.9})
  print("POST JSON数据：", response.json()['json'])

• headers：自定义请求头，比如设置User-Agent来模拟浏览器，或者添加Authorization头进行身份验证。

  headers = {'User-Agent': 'MyCustomApp/1.0', 'Accept': 'application/json'}
  response = requests.get('https://httpbin.org/headers', headers=headers)
  print("自定义请求头：", response.json()['headers']['User-Agent'])

• timeout：设置请求超时时间（秒）。网络请求是不可预测的，设置超时是避免程序长时间阻塞的关键。

  try:
      response = requests.get('https://httpbin.org/delay/5', timeout=2) # 故意设置一个短超时
  except requests.exceptions.Timeout:
      print("请求超时了！")

• verify：控制是否验证SSL证书。默认是True。除非你真的知道自己在做什么，否则别轻易设置为False，这会带来安全风险。

会话（Sessions）：

当你需要对同一个网站进行多次请求，并且希望保持某些状态（比如Cookie、自定义的请求头）时，requests.Session()就派上用场了。它能帮你管理这些状态，而且还能提高性能，因为它会重用底层的TCP连接。

s = requests.Session()
s.headers.update({'X-My-Header': 'Hello Session'}) # 会话级别的自定义头

# 第一次请求，会话会存储Cookie
response1 = s.get('https://httpbin.org/cookies/set?name=session_cookie')
print("\n第一次会话请求的Cookie：", response1.json()['cookies'])

# 第二次请求，会自动带上第一次请求设置的Cookie和会话头
response2 = s.get('https://httpbin.org/cookies')
print("第二次会话请求的Cookie：", response2.json()['cookies'])
print("第二次会话请求的X-My-Header：", response2.json()['headers'].get('X-My-Header'))

异常处理：

网络请求总是充满不确定性，所以完善的异常处理是必不可少的。requests库定义了一系列具体的异常，都继承自requests.exceptions.RequestException。

• ConnectionError：网络连接问题（DNS解析失败、拒绝连接等）。
• HTTPError：HTTP错误状态码（4xx或5xx），通常由response.raise_for_status()抛出。
• Timeout：请求超时。
• TooManyRedirects：重定向次数过多。

使用try...except块来捕获这些异常，能够让你的程序更加健壮。

高级特性与常见挑战：文件上传、代理与重试机制

除了基本的请求和参数，requests还支持一些高级特性，同时在实际应用中，我们也会遇到一些挑战。

文件上传：

上传文件非常简单，使用files参数，传入一个字典，键是表单字段名，值可以是文件对象的元组（文件名、文件内容、MIME类型）或者直接是文件对象。

import requests

# 假设有一个名为 'my_file.txt' 的文件
# with open('my_file.txt', 'rb') as f:
#     files = {'upload_file': f}
#     response = requests.post('https://httpbin.org/post', files=files)
#     print("\n文件上传成功：", response.json()['files'])

# 也可以直接传递字节流
files = {'upload_file': ('hello.txt', b'Hello, world!', 'text/plain')}
response = requests.post('https://httpbin.org/post', files=files)
print("\n文件上传成功（字节流）：", response.json()['files'])

代理（Proxies）：

如果你需要通过代理服务器发送请求，requests也提供了支持。这在某些公司网络环境或者需要匿名访问的场景下非常有用。

proxies = {
    'http': 'http://10.10.1.10:3128',
    'https': 'http://10.10.1.10:1080',
}
# response = requests.get('http://example.org', proxies=proxies)
# print("通过代理请求：", response.status_code)
# 注意：上面的代理地址是示例，需要替换为实际可用的代理

重试机制：

requests本身没有内置的重试机制，但你可以结合urllib3.util.retry或者requests的适配器来实现。在网络不稳定的情况下，或者面对一些偶尔会失败的API，重试是非常重要的。一个简单的手动重试示例：

import time

max_retries = 3
for i in range(max_retries):
    try:
        response = requests.get('https://httpbin.org/status/500', timeout=5) # 模拟服务器错误
        response.raise_for_status()
        print("请求成功！")
        break # 成功就跳出循环
    except requests.exceptions.RequestException as e:
        print(f"第 {i+1} 次请求失败：{e}")
        if i < max_retries - 1:
            time.sleep(2 ** i) # 指数退避，等待更长时间再重试
        else:
            print("所有重试均失败。")

常见挑战与建议：

• API限流： 很多API都会有请求频率限制。如果频繁收到429（Too Many Requests）状态码，你需要考虑在请求之间加入延时，或者实现更复杂的令牌桶/漏桶算法。
• 调试困难： 有时候请求发出去了，但服务器没按预期响应。这时，查看response.request.headers和response.request.body（如果是非GET请求）能帮你确认你到底发了什么。打印出response.text或response.json()也能帮你理解服务器的响应。
• SSL证书问题： 遇到SSLError时，首先检查目标网站的证书是否有效，或者你的系统时间是否正确。如果是在测试环境，可以临时设置verify=False，但生产环境绝不推荐。
• 网络波动： 即使代码逻辑没问题，网络波动也可能导致请求失败。因此，超时设置和重试机制是构建健壮网络应用的基石。

说实话，requests库已经把HTTP请求的很多细节都抽象掉了，让我们可以专注于更高层的逻辑。但别忘了，它背后依然是复杂的网络协议和各种可能出现的状况。理解这些潜在的问题，并做好相应的处理，才能写出真正可靠的网络应用。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~