Python requests发送HTTP请求教程

requests库是Python发送HTTP请求的首选工具，其核心在于使用get()和post()方法处理不同场景。GET用于获取数据，参数通过URL传递，适合幂等性查询；POST用于提交数据，信息置于请求体中，适合传输敏感或大量数据。实际应用中，根据是否改变服务器状态来选择：获取资源用GET，创建或更新用POST。处理JSON时，可直接使用json参数自动序列化并设置Content-Type；文件上传则通过files参数支持多部分表单，需以二进制模式打开文件。为提升健壮性，应使用try-except捕获Timeout、ConnectionError等异常，合理设置timeout防止阻塞，并可控制allow_redirects参数管理重定向行为。这些机制共同确保了网络交互的可靠性与安全性。

Python中，要发送HTTP请求，requests库无疑是我的首选，也是绝大多数Python开发者会立即想到的答案。它把复杂的HTTP交互封装得异常简洁，让网络请求变得直观且易于管理，无论是简单的GET，还是复杂的POST、文件上传，都能轻松应对。

解决方案

使用requests库发送HTTP请求，核心在于调用其提供的各种HTTP方法，如requests.get()、requests.post()等。最基础的用法就是指定一个URL，然后库会帮你处理剩下的细节。

比如，发送一个GET请求获取网页内容：

import requests

try:
    response = requests.get('https://www.example.com')
    # 检查响应状态码，200表示成功
    if response.status_code == 200:
        print("请求成功！")
        print("响应内容类型:", response.headers['Content-Type'])
        print("响应内容预览:", response.text[:200]) # 打印前200个字符
    else:
        print(f"请求失败，状态码: {response.status_code}")
except requests.exceptions.RequestException as e:
    print(f"请求发生错误: {e}")

发送POST请求时，通常需要传递数据，这可以通过data参数（用于表单数据）或json参数（用于JSON数据）实现：

import requests
import json

# 发送表单数据
payload_data = {'key1': 'value1', 'key2': 'value2'}
try:
    response_form = requests.post('https://httpbin.org/post', data=payload_data)
    print("\nPOST表单数据响应:")
    print(response_form.json())
except requests.exceptions.RequestException as e:
    print(f"POST表单数据请求发生错误: {e}")

# 发送JSON数据
payload_json = {'name': 'Alice', 'age': 30}
try:
    response_json = requests.post('https://httpbin.org/post', json=payload_json)
    print("\nPOST JSON数据响应:")
    print(response_json.json())
except requests.exceptions.RequestException as e:
    print(f"POST JSON数据请求发生错误: {e}")

我们还可以通过headers参数添加自定义请求头，比如模拟浏览器访问：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
}
try:
    response_with_headers = requests.get('https://www.example.com', headers=headers)
    print("\n带自定义头的GET请求成功！")
    print("响应状态码:", response_with_headers.status_code)
except requests.exceptions.RequestException as e:
    print(f"带自定义头的GET请求发生错误: {e}")

这些只是冰山一角，但足以展示requests库的强大和易用性。它把很多底层网络通信的复杂性都抽象掉了，让我们能更专注于业务逻辑。

requests库的GET和POST请求在实际应用中如何选择与使用？

在HTTP请求的世界里，GET和POST无疑是最常用的两种方法，但它们的设计哲学和适用场景却大相径庭。选择哪一个，往往取决于你的意图和数据的性质。

简单来说，GET请求就像是“查询”或“获取”资源。它的特点是参数会附加在URL的末尾，形成查询字符串（Query String），例如example.com/search?query=python&page=1。这种方式的优点是简单直观，可以被浏览器缓存，也容易被搜索引擎抓取。但缺点也很明显：URL长度有限制，不适合传输大量数据；数据暴露在URL中，不适合传输敏感信息；而且，GET请求应该是“幂等”的，也就是说，重复发送多次GET请求，对服务器资源的状态不应该产生副作用（比如，多次查询不会创建新的记录）。当你只是想从服务器上获取数据，不改变服务器状态时，GET就是你的不二之选。

而POST请求则更像是“提交”或“创建”资源。它的数据是放在请求体（Request Body）中发送的，而不是URL里。这意味着POST可以传输大量数据，数据在URL中不可见（虽然也不是绝对安全，仍然可能被截获），更适合传输敏感信息，比如用户登录凭证。POST请求通常用于向服务器提交表单数据、上传文件、创建新资源等操作。与GET不同，POST请求是非幂等的，重复发送可能会导致创建多个相同的资源（例如，多次提交订单可能会生成多个订单）。

在实际使用中，我通常会这样考虑：如果我只是想获取一个网页内容、查询一些数据，或者请求一个不需要修改服务器状态的API接口，我会毫不犹豫地选择requests.get()。如果我需要向服务器提交表单、上传文件、注册用户、发布文章，或者执行任何会改变服务器状态的操作，那么requests.post()就是我的首选。当然，还有一些其他HTTP方法如PUT、DELETE等，它们有各自的语义，但GET和POST涵盖了绝大多数日常开发需求。理解它们的区别，能帮助我们更好地设计和实现与Web服务的交互。

在requests请求中处理JSON数据和文件上传有哪些实用技巧？

处理JSON数据和文件上传是requests库的两个非常常见且强大的功能，掌握它们能让你在与现代Web API交互时游刃有余。

处理JSON数据：

当你需要向API发送JSON格式的数据时，requests库提供了一个非常便捷的json参数。你只需将一个Python字典作为值传递给json参数，requests会自动将其序列化为JSON字符串，并设置Content-Type头为application/json。

import requests

api_url = 'https://api.example.com/items' # 假设这是一个接收JSON的API
new_item_data = {
    'name': 'Python Requests Book',
    'price': 49.99,
    'tags': ['programming', 'web', 'python']
}

try:
    response = requests.post(api_url, json=new_item_data)
    response.raise_for_status() # 如果请求失败（状态码非2xx），抛出HTTPError异常
    print("新项目创建成功！")
    print(response.json()) # API通常会返回创建成功的资源信息
except requests.exceptions.HTTPError as errh:
    print(f"HTTP错误: {errh}")
except requests.exceptions.ConnectionError as errc:
    print(f"连接错误: {errc}")
except requests.exceptions.Timeout as errt:
    print(f"超时错误: {errt}")
except requests.exceptions.RequestException as err:
    print(f"发生未知错误: {err}")

这种方式比手动json.dumps()并设置headers要简洁得多。同样，当你收到JSON响应时，response.json()方法可以方便地将其解析为Python字典或列表，省去了json.loads()的步骤。

处理文件上传：

文件上传通常通过POST请求完成，requests库使用files参数来处理。这个参数接受一个字典，字典的键是表单字段的名称，值可以是文件对象的元组（('filename', file_object, 'content_type', custom_headers)）或简单的文件对象。

最常见的用法是直接传入文件路径或已打开的文件对象：

import requests

upload_url = 'https://httpbin.org/post' # 一个测试文件上传的API

# 方法一：直接传入文件路径（requests会自动打开和关闭文件）
try:
    with open('my_document.txt', 'w') as f:
        f.write("This is a test document for upload.")

    files = {'file_field_name': open('my_document.txt', 'rb')}
    response_upload = requests.post(upload_url, files=files)
    response_upload.raise_for_status()
    print("\n文件上传成功 (方法一)！")
    print(response_upload.json()['files'])
    files['file_field_name'].close() # 手动关闭文件，或者使用with语句

except FileNotFoundError:
    print("文件 'my_document.txt' 不存在。")
except requests.exceptions.RequestException as e:
    print(f"文件上传发生错误: {e}")

# 方法二：更灵活的方式，指定文件名和内容类型
try:
    file_content = b"This is another file content."
    files_flex = {
        'another_file_field': ('report.pdf', file_content, 'application/pdf', {'Expires': '0'})
    }
    response_upload_flex = requests.post(upload_url, files=files_flex)
    response_upload_flex.raise_for_status()
    print("\n文件上传成功 (方法二)！")
    print(response_upload_flex.json()['files'])
except requests.exceptions.RequestException as e:
    print(f"文件上传发生错误: {e}")

需要注意的是，当上传二进制文件时，请确保以二进制模式（'rb'）打开文件。requests库会负责构建多部分表单数据（multipart/form-data），这是文件上传的常见方式。这些技巧极大地简化了与需要处理JSON或文件上传的Web服务的交互。

requests库如何处理异常、超时和重定向，以提高请求的健壮性？

在实际的网络请求中，错误、延迟和重定向是家常便饭。一个健壮的应用程序必须能够优雅地处理这些情况。requests库在这方面做得非常出色，提供了多种机制来帮助我们构建更可靠的HTTP客户端。

异常处理：

网络请求失败的原因有很多，可能是网络断开、服务器无响应、DNS解析失败，甚至是请求超时。requests库会针对这些情况抛出不同的异常，它们都继承自requests.exceptions.RequestException。因此，使用try...except块来捕获这些异常是至关重要的。

import requests

try:
    response = requests.get('http://nonexistent-domain-12345.com', timeout=5) # 故意请求一个不存在的域名
    response.raise_for_status() # 如果状态码不是200，抛出HTTPError
    print("请求成功！")
except requests.exceptions.Timeout:
    print("请求超时，服务器长时间未响应。")
except requests.exceptions.ConnectionError:
    print("连接错误，可能网络有问题或服务器不可达。")
except requests.exceptions.HTTPError as e:
    print(f"HTTP错误，状态码: {e.response.status_code}")
except requests.exceptions.RequestException as e:
    print(f"发生未知请求错误: {e}")

通过捕获更具体的异常（如Timeout、ConnectionError、HTTPError），我们可以针对性地处理不同类型的错误，比如重试、记录日志或向用户显示友好的错误信息。

超时设置：

网络延迟是不可避免的，如果一个请求长时间没有响应，可能会阻塞程序的执行。requests库允许你通过timeout参数为请求设置一个超时时间。这个时间是指从发送请求到接收到服务器响应之间的最大等待秒数。

import requests

try:
    # 设置连接超时为3秒，读取超时为5秒
    response = requests.get('https://www.google.com', timeout=(3, 5)) 
    print("请求成功，未超时。")
except requests.exceptions.Timeout:
    print("请求超时！")
except requests.exceptions.RequestException as e:
    print(f"请求发生错误: {e}")

# timeout也可以是一个浮点数，表示总的超时时间
try:
    response = requests.get('https://www.example.com', timeout=10.5) 
    print("请求成功，未超时。")
except requests.exceptions.Timeout:
    print("请求超时！")
except requests.exceptions.RequestException as e:
    print(f"请求发生错误: {e}")

合理设置超时时间可以防止程序因为等待一个无响应的服务器而无限期阻塞，这对于构建可靠的系统非常重要。

重定向处理：

当访问一个URL时，服务器有时会返回一个重定向响应（例如301永久移动，302临时移动），指示客户端去访问另一个URL。requests库默认会自动处理这些重定向，跟随到最终的目标URL。

import requests

# 访问一个会重定向的URL，例如 httpbin.org/redirect/3 会重定向3次
response = requests.get('https://httpbin.org/redirect/3')
print(f"最终URL: {response.url}")
print(f"重定向历史: {response.history}") # 包含了所有重定向的响应对象

如果你不希望requests自动跟随重定向，可以将allow_redirects参数设置为False：

import requests

response_no_redirect = requests.get('https://httpbin.org/redirect/1', allow_redirects=False)
print(f"不跟随重定向时的状态码: {response_no_redirect.status_code}") # 应该是302或301
print(f"不跟随重定向时的URL: {response_no_redirect.url}") # 仍然是原始URL

通过灵活运用这些机制，我们可以更好地控制请求行为，处理各种网络不确定性，从而构建出更加健壮和可靠的Python应用程序。在我的开发经验中，恰当的异常处理和超时设置，往往能避免很多难以追踪的生产问题。