爬虫python：用 requests 和 BeautifulSoup 抓取并保存一页数据

管理员时间：2026-09-03

写“爬虫python”示例时，最容易误导初学者的是只展示 requests.get()，却不说授权、频率和失败响应。一个能交付的小采集器，至少要把请求、解析、清洗和保存拆开，并且知道什么时候应该停下来。

下面用公开静态页面做演示，目标是提取文章标题并保存为 CSV。示例不绕过登录、不抓取个人信息，也不把站点的反爬策略当成可以规避的障碍。

先画清楚一条数据链路

采集任务不是“发一个请求”这么简单：请求得到响应后，要校验状态码和内容类型，再交给解析器，最后才写入文件。

Python 网页采集的数据处理链路

图：请求、响应、解析、清洗和 CSV 保存是五个独立的可检查节点。

一个最小可复现实现

安装依赖：

python -m pip install requests beautifulsoup4

代码把 URL、选择器和输出路径都放在参数里，方便替换为获得授权的测试页面：

import csv
import requests
from bs4 import BeautifulSoup

def collect(url: str, selector: str = "h2") -> list[str]:
    response = requests.get(
        url,
        headers={"User-Agent": "learning-bot/1.0"},
        timeout=10,
    )
    response.raise_for_status()
    soup = BeautifulSoup(response.text, "html.parser")
    return [node.get_text(" ", strip=True) for node in soup.select(selector)]

def save_csv(rows: list[str], path: str) -> None:
    with open(path, "w", newline="", encoding="utf-8-sig") as handle:
        writer = csv.writer(handle)
        writer.writerow(["title"])
        writer.writerows([[row] for row in rows if row])

运行前先确认页面允许自动访问，再调用 collect()。当前环境没有针对具体站点运行这段代码，因此不声称固定条数或耗时；读者应把真实 URL、响应状态和输出文件作为自己的验证记录。