Python爬虫怎么抓取AJAX请求数据_通过浏览器控制台嗅探接口地址

搞爬虫的朋友应该都遇到过这种情况：明明在浏览器里能看到接口返回了完整数据，一换到Python里就抓瞎。问题的关键往往不在代码本身，而在你怎么找到那个“真正干活”的请求。

打开浏览器控制台，Network面板一刷，满屏的XHR请求看得人头晕。这里有个经验：别被那些带XHR标签的请求给骗了，很多其实只是埋点或者心跳包，真正的数据接口通常有这几个特征——用fetch或XMLHttpRequest发起，返回的是JSON格式，并且URL路径里带有/api/、/list、/search这类语义关键词。

具体操作时，可以先在Network里切到XHR标签页，然后刷新页面或者触发目标动作，比如下拉加载、点击“查看更多”。接着按Size列倒序排列，优先看那些返回内容比较长、状态码是200的请求。右键点击“Open in new tab”就能直接验证它返回的是不是结构化数据。还有个实用技巧：在顶部的过滤框里直接输入json或api，能一下子把范围缩得很小。另外注意请求方法，大部分是GET，但翻页和搜索功能经常用POST，这时就需要关注Request Payload里的参数格式。最后要留意的是，有些接口会校验Referer或User-Agent，直接访问可能会返回403或者空数据。

接下来聊聊比较头疼的签名问题。像sign和t这类参数，通常是前端JS动态生成的，常见于电商、新闻类站点。想靠静态分析URL拼接来搞定根本行不通，必须找到它的生成逻辑。

在Sources面板里全局搜索关键词，比如sign=、t=、md5(、hexDigest、crypto这些。定位到调用处后，把关键的JS函数复制出来，用Python重新实现。最常见的套路是：把请求参数字典按key排序后拼成一个字符串，再拼接一个固定salt值，最后做MD5取前16位或者全32位。时间戳t通常就是int(time.time() * 1000)，但有些站点对时间误差比较敏感。别硬猜，用断点调试功能停在sign计算的那一行，看各个变量实际值，比读那些混淆后的JS要高效得多。

还有一个经常让人困惑的问题：明明用requests能拿到数据，换成Scrapy就不行了。原因在于Scrapy默认不执行Ja vaScript，而某些AJAX请求的URL或参数是在JS运行后才构造出来的。比如从window.__INITIAL_STATE__里取token这种情况。requests作为纯HTTP客户端，只要你知道了最终的URL和headers就能成功请求；但Scrapy的start_urls如果写死了静态地址，就绕不过这个动态生成环节。

解决办法无非两条路：一是如果接口稳定、逻辑不复杂，直接用requests + BeautifulSoup手动构造请求；二是在Scrapy里集成scrapy-splash或scrapy-playwright，但这会拖慢爬取速度。还有一种情况值得留意：先检查一下response.text里是否包含window.__INITIAL_STATE__之类的script标签——如果有，说明真实数据藏在HTML里，根本不用费劲抓AJAX。

最后说Cookie和登录态的问题。浏览器里明明能拿到数据，Python里一请求就返回401，大概率是没传对Cookie，或者少了某个关键header，比如X-Token。别直接复制浏览器Application面板里Cookies的全部字段，只需要取服务端真正校验的那几个就够了。在Network里点开任意一个成功的请求，到Headers里找到Cookie:行整段复制，同时留意有没有X-Auth-Token:、Authorization:这类自定义头。把这些原样塞进requests.get()的headers和cookies参数里就行。注意Cookie值里带的Path=、Domain=这些属性requests不认，不用管。如果接口要求登录态且有效期很短，就得先模拟登录流程——先POST账号密码，提取Set-Cookie，再带着Cookie请求目标接口。如果用httpx替代requests，要注意它默认不自动处理Set-Cookie，需要显式传httpx.Cookies()。

真实项目里最耗时间的，往往不是写代码，而是确认哪个请求真的返回了你想要的字段，以及那个字段到底受几个参数联动影响。接口文档缺失的情况下，多看看Response Preview里的JSON结构，比一遍遍试header要可靠得多。