Python爬虫如何抓取全站图片_实现深度爬取逻辑并过滤重复图
全站图片抓取需关注页面层级关系与URL边界管理，用requests+BeautifulSoup递归爬取并控制深度。图片提取需处理src、data-src等属性，过滤占位图与base64。去重采用URL归一化与哈希指纹双保险，避免重复下载。使用asyncio+aiohttp配合并发控制及重试机制，稳定性优于多线程。
全站图片抓取这个需求，听起来简单，但真正做起来，坑往往不在“请求”和“解析”本身，而在于对页面结构的理解、URL的边界管理，以及如何避免重复劳动。下面把几个核心环节拆开来讲，希望能让大家的思路更清晰。
用 requests + BeautifulSoup 实现多层页面递归抓取
深度爬取不是靠“多开几个线程”硬扫出来的，关键是要弄明白页面之间的层级关系和入口发现逻辑。举个例子，从首页开始，我们得去提取所有 链接，然后过滤出那些属于同一域名的子路径（比如 /blog/、/product/123），再逐个请求这些页面，并从中提取图片链接。这个过程必须控制好深度，否则很容易陷入无限跳转，或者把静态资源目录也爬了个遍，带来不必要的负担。
经验之谈是：
- 用
urlparse判断链接是否同源，果断排除外链、mailto:、ja vascript:等伪协议。 - 维护一个已访问集合
visited_urls = set()，每次生成新 URL 前先检查是否已经存在，避免重复劳动。 - 限制最大递归深度（例如
max_depth=3），防止进入分页嵌套或评论加载页这种“无底洞”。 - 对响应状态码做判断：只处理
200，跳过404、503、302（除非你主动处理重定向）。
怎么准确提取页面中所有有效图片 URL
很多新手会直接搜 data-src，甚至还有 CSS 背景图。真正需要下载的，是那些能被 requests.get() 直接获取的、有明确扩展名（.jpg、.png、.webp）且不是相对路径或空值的 URL。
这里有几个常见的新手容易忽略的点：
- 同时检查
src、data-src、data-original属性，但优先级要分清。例如，data-src存在时，可以忽略src，因为后者往往是占位图。 - 用正则过滤掉 base64 字符串：
^data:image/开头的直接跳过，它们不是独立的资源文件。 - 将相对路径补全为绝对 URL：用
urllib.parse.urljoin(current_url, img_src)这个函数，能省去很多拼接的麻烦。 - 对补全后的 URL 做简单校验：包含常见图片后缀，不包含
icon、sprite、logo-small等关键词（当然，这需要根据实际站点的情况来调整）。
去重不只是比对 URL 字符串
同一个图片可能通过不同 URL 访问，比如带了参数、大小写不一样、或者 CDN 域名不同。如果只靠字符串相等判断，就会漏掉很多重复。但要是全量下载后再算 MD5，又太耗费资源。更可行的方案是“URL 归一化 + 关键字段哈希”双保险。
具体做法可以参考：
- 归一化步骤：转小写、移除
utm_*和ref=这类追踪参数、标准化 CDN 域名（比如把img1.example.com统一替换成cdn.example.com）。 - 对归一化后的 URL 取
hashlib.md5(url.encode()).hexdigest()[:8]作为轻量指纹，这样既能快速判断，又不会占用太多内存。 - 内存中用
set()存指纹，文件落地前再对首 1KB 做一次快速校验，以防极小概率的碰撞问题。 - 需要注意：不要依赖
Content-Disposition或filename，因为很多服务器根本不返回这个头信息。
为什么用 asyncio + aiohttp 比多线程更稳
图片请求本质上是大规模的短连接 I/O 密集型任务。Python 的多线程受 GIL 限制，实际并发数上不去，还容易因为 DNS 解析阻塞而卡死。而 aiohttp 复用连接池，自带超时和重试机制，配合 asyncio.Semaphore 控制并发数（比如限制 10 个并发），稳定性要高得多。
几点操作建议：
- 设置
timeout=aiohttp.ClientTimeout(total=10)，避免单个请求拖垮整个协程池。 - 启用连接池：
connector = aiohttp.TCPConnector(limit=100, limit_per_host=30)，防止对单个域名发起过多请求，导致被限制。 - 遇到
ClientConnectorError或ServerDisconnectedError时，自动重试 2 次，别让一个失败中断全部流程。 - 避免在协程里直接写文件，可以用
loop.run_in_executor()把保存逻辑扔给线程池处理，这样更高效。
当然，真实场景里最麻烦的往往不是代码写不出来，而是网站结构动态变化、反爬策略升级、CDN 返回 403 却不报错、或者某类图片实际是前端 JS 渲染出来的。这些情况没法靠通用逻辑完全覆盖，需要结合 playwright 或手动分析 network 面板，确认真实的请求来源。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
AirServer Windows版可把电脑变成AirPlay、Google Cast和Miracast无线投屏接收端，适合会议演示、课堂教学及家庭大屏分享。发送设备通常无需另装客户端，并可同时接收和智能排列多个镜像会话。