Go 原生 HTTP 客户端无法执行 JavaScript，因此直接请求会获取到空容器（如 <div class="content"></div>）；要抓取 AJAX 渲染后的真实内容，需模拟浏览器行为或逆向分析接口，本文详解两种可行方案。
Go 原生 HTTP 客户端无法执行 JavaScript，因此直接请求会获取到空容器（如 `
`）；要抓取 AJAX 渲染后的真实内容，需模拟浏览器行为或逆向分析接口，本文详解两种可行方案。在 Go 中爬取使用 AJAX 加载内容的网站是一个常见但具挑战性的任务。由于 net/http 包仅发起 HTTP 请求并返回原始 HTML 响应（不含 JS 执行能力），你看到的往往是“骨架页面”——DOM 结构存在，但关键内容由前端 JavaScript 异步填充，例如：
<body> <script src="app.js"></script> <div id="content"></div> <!-- 初始为空 --> </body>
此时 http.Get(url) 返回的 HTML 中 #content 内容为空，直接解析 DOM 将一无所获。
✅ 方案一：逆向分析 AJAX 接口（推荐，高效、轻量）
大多数现代 Web 应用通过 fetch 或 XMLHttpRequest 向后端 API 获取 JSON 数据，再渲染到页面。你可以：
- 在浏览器开发者工具（F12 → Network → XHR/Fetch）中刷新页面，观察实际发出的请求；
- 记录请求 URL、方法（GET/POST）、Headers（尤其是 User-Agent、X-Requested-With、认证 token 等）；
- 在 Go 中用 http.Client 模拟该请求，直接获取结构化数据（通常是 JSON）。
示例（模拟一个带 token 的 GET 请求）：
package main
import (
"encoding/json"
"fmt"
"io"
"net/http"
"strings"
)
type ApiResponse struct {
Links []string `json:"links"`
}
func main() {
client := &http.Client{}
req, _ := http.NewRequest("GET", "https://example.com/api/v1/links", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
req.Header.Set("X-Requested-With", "XMLHttpRequest")
resp, err := client.Do(req)
if err != nil {
panic(err)
}
defer resp.Body.Close()
body, _ := io.ReadAll(resp.Body)
var data ApiResponse
if err := json.Unmarshal(body, &data); err == nil {
fmt.Println("Extracted links:", data.Links)
}
}✅ 优势：速度快、资源占用低、易于并发与重试；
⚠️ 注意：需手动维护接口变更（如参数加密、token 过期、反爬 Header）；部分站点可能有签名机制，需逆向 JS 逻辑。
✅ 方案二：集成无头浏览器（适用于复杂 SPA）
当接口不可见、逻辑高度混淆（如 WebAssembly + 动态 token 生成）或需完整交互（点击、滚动、表单提交）时，可借助支持 DevTools 协议的无头浏览器：
- chromedp（纯 Go 实现，无需外部二进制依赖，推荐）
- playwright-go（跨浏览器、API 更现代，需安装 Playwright）
使用 chromedp 抓取渲染后内容的最小示例：
package main
import (
"context"
"log"
"time"
"github.com/chromedp/chromedp"
)
func main() {
ctx, cancel := chromedp.NewExecAllocator(context.Background(),
append(chromedp.DefaultExecAllocatorOptions[:],
chromedp.Flag("headless", true),
chromedp.Flag("disable-gpu", true),
)...,
)
defer cancel()
ctx, cancel = chromedp.NewContext(ctx)
defer cancel()
var htmlContent string
err := chromedp.Run(ctx,
chromedp.Navigate("https://example.com"),
// 等待目标元素出现（避免过早读取）
chromedp.WaitVisible(`#content`, chromedp.ByQuery),
// 获取渲染后的 innerHTML
chromedp.OuterHTML(`#content`, &htmlContent, chromedp.ByQuery),
)
if err != nil {
log.Fatal(err)
}
log.Printf("Rendered content: %s", htmlContent)
}✅ 优势：100% 复现真实浏览器行为，兼容任意前端框架（React/Vue/Svelte）；
⚠️ 注意：启动慢、内存占用高、需管理浏览器生命周期；建议搭配 context timeout 和资源池控制并发。
? 总结与选型建议
| 场景 | 推荐方案 | 说明 |
|---|---|---|
| AJAX 接口清晰、无强反爬 | ✅ 逆向 API + net/http | 最快最稳，优先尝试 |
| 接口隐藏/混淆/需用户交互 | ✅ chromedp | 轻量、纯 Go、社区活跃 |
| 需多浏览器测试或高级自动化 | ✅ playwright-go | 功能全面，适合长期工程化项目 |
| ❌ 纯 http.Get + HTML 解析 | 不适用 | 无法执行 JS，必然失败 |
切记：无论采用哪种方式，务必遵守 robots.txt、设置合理请求间隔、尊重网站 RateLimit 与 Terms of Service，必要时添加 User-Agent 和 Referer 模拟真实流量。
