Python爬虫反爬技巧：headers与代理使用教学
处理反爬需模拟真实浏览器行为，包括完整headers（如Referer、Sec-Fetch-*）、高质量代理轮换、Session管理Cookie、禁用重定向、合理超时与随机延迟。
处理反爬需模拟真实浏览器行为，包括完整headers（如Referer、Sec-Fetch-*）、高质量代理轮换、Session管理Cookie、禁用重定向、合理超时与随机延迟。
处理反爬，核心是让请求更像真实浏览器行为。光靠改 User-Agent 很难绕过现代网站的检测，必须配合合理的 headers 设置 和 代理轮换策略，才能稳定获取数据。
Headers 设置不能只填 User-Agent
很多新手以为加个随机 UA 就万事大吉，其实服务器会校验一整套请求头逻辑。比如：
- Referer 要匹配目标页面来源（如从首页点进详情页，Referer 就该是首页 URL）
- Accept-Language、Accept-Encoding、Connection 这些字段缺失或格式异常，容易被识别为脚本请求
- 部分站点（如知乎、淘宝）还会验证 Sec-Fetch-* 系列头部（如
Sec-Fetch-Mode: navigate），虽非强制，但补全后更接近 Chrome 正常访问
建议用浏览器开发者工具（Network → 某个请求 → Headers）直接复制真实请求头，再用字典传给 requests.get(url, headers=headers)。避免手写不一致的值。
代理不是“有就行”，关键在质量与调度
免费代理池大多失效快、响应慢、IP 被封率高。实际使用中要注意：
- 优先选 HTTP/HTTPS 类型代理，SOCKS5 在 requests 中需额外装
requests[socks]，且多数公开 SOCKS 代理不稳定 - 每次请求前做 代理可用性检测：用
requests.get("http://httpbin.org/ip", proxies=proxies, timeout=3)验证是否返回正确 IP 且不超时 - 不要固定用一个代理反复刷——设置 请求间隔 + 代理轮换，例如每 3–5 次请求换一次 IP，配合
time.sleep(1–3)
Cookies 和 Session 处理常被忽略
有些网站（如登录态页面、AJAX 接口）依赖 Cookie 或完整会话上下文。单纯发 GET 请求拿不到数据：
- 用
requests.Session()保持会话，自动管理 Cookie - 首次访问首页时，先
session.get(home_url)，再用同一 session 请求后续接口 - 若需登录，模拟表单提交后检查响应内容是否含 “登录成功” 或跳转，确认 Cookie 生效再继续
强行在 headers 里硬编码 Cookie 字符串，容易因过期或签名失效导致 403。
简单但有效的“拟人化”补充技巧
除了 headers 和代理，几个小动作能显著降低被拦截概率：
- 禁用自动重定向：
allow_redirects=False，防止跳转链暴露行为模式 - 设置合理 timeout（通常 5–10 秒），超时就换代理重试，避免卡死
- 对响应状态码做分级处理：200 正常解析；403/429 表示被限流，暂停几秒再试；503 直接换代理
- 必要时加随机延迟（
random.uniform(1.2, 3.8)），避免请求时间过于规律
不复杂但容易忽略。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端，适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端，并可同时接收和智能排列多个镜像会话。