怎样在Nginx中配置防盗爬虫
Nginx可通过Referer模块限制访问，仅允许指定域名白名单请求，也可用XSS清洗模块过滤参数，但需编译安装。这些方法仅能抵挡低级爬虫，高级爬虫可伪造Referer和参数。配置需谨慎，避免误伤正常用户，建议结合IP限制及验证码。
在Nginx中配置防盗爬虫，其实是很多运维同学都会遇到的需求。爬虫越来越多，尤其是那些不带Referer的、恶意刷接口的，甚至伪装成正常用户的爬虫——想要完全防住并不容易，但至少可以通过Nginx层面做一些基础限制。下面就来聊聊几种常见且实用的方案。
使用ngx_http_referer_module限制访问
打开Nginx配置文件，通常位于
/etc/nginx/nginx.conf或/etc/nginx/sites-a vailable/yourdomain.com。在
server块中添加以下配置：
location / {
# 允许的域名列表
valid_referers none blocked server_names yourdomain.com www.yourdomain.com;
if ($invalid_referer) {
return 403; # 返回403 Forbidden错误
}
# 其他配置...
}这段配置的逻辑很简单：只有来自你指定的域名（比如yourdomain.com和www.yourdomain.com）的请求才被放行，其他Referer统统返回403。注意，这里的none表示允许没有Referer的请求（比如直接输入网址），blocked表示允许Referer被防火墙或袋里隐藏的情况。如果你希望更严格，可以去掉这两个参数，但那样可能会误伤正常用户。
使用ngx_http_xss_clean_module防止XSS攻击
另一个思路是，如果你担心爬虫不仅来抓数据，还可能顺手注入恶意脚本，那可以在Nginx层对请求参数做清洗。这就需要用到ngx_http_xss_clean_module。
安装
ngx_http_xss_clean_module模块（如果尚未安装）。在Nginx配置文件中添加以下配置：
load_module modules/ngx_http_xss_clean_module.so;
server {
# 其他配置...
location / {
xss_clean on;
xss_clean_params "arg1,arg2,arg3"; # 指定需要清理的参数
# 其他配置...
}
}这样，所有传入的指定参数都会被检查和清理，把潜在的XSS payload过滤掉。当然，这个模块不是内置的，需要编译安装。
注意事项
- 这两个模块都不是Nginx自带的，你可能需要重新编译Nginx才能启用它们。如果不想折腾编译，也可以考虑用Lua模块或第三方模块替代。
- 必须清醒地认识到：Referer检查和XSS清洗只能挡住“老实”的爬虫。那些模拟正常浏览器行为、甚至使用真实浏览器驱动的爬虫，完全可以伪造Referer、携带合法参数，这些手段基本防不住它们。
- 防盗爬虫策略如果过于严格，很容易误伤真实用户。比如用户通过搜索引擎跳转过来，你的Referer列表里没有收录该搜索引擎的域名，那他就被403了。所以黑白名单一定要仔细评估，最好先观察一段时间的日志再上线。
- 除了Nginx层，应用层也需要配套措施。比如限流、验证码、动态token验证、行为分析等，多管齐下效果更好。
最后提醒一句：任何配置改动前，务必先在测试环境充分验证，别一上线就把用户挡在门外。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台，提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具，适合短剧、漫剧、广告及社交媒体内容制作。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，