Go 实现 AJAX 动态网页爬虫方法解析

Go 原生 HTTP 客户端无法执行 JavaScript，因此直接请求会获取到空容器（如

）；要抓取 AJAX 渲染后的真实内容，需模拟浏览器行为或逆向分析接口，本文详解两种可行方案。

Go 原生 HTTP 客户端无法执行 JavaScript，因此直接请求会获取到空容器（如 `

在 Go 中爬取使用 AJAX 加载内容的网站是一个常见但具挑战性的任务。由于 net/http 包仅发起 HTTP 请求并返回原始 HTML 响应（不含 JS 执行能力），你看到的往往是“骨架页面”——DOM 结构存在，但关键内容由前端 JavaScript 异步填充，例如：

此时 http.Get(url) 返回的 HTML 中 #content 内容为空，直接解析 DOM 将一无所获。

✅ 方案一：逆向分析 AJAX 接口（推荐，高效、轻量）

大多数现代 Web 应用通过 fetch 或 XMLHttpRequest 向后端 API 获取 JSON 数据，再渲染到页面。你可以：

1. 在浏览器开发者工具（F12 → Network → XHR/Fetch）中刷新页面，观察实际发出的请求；
2. 记录请求 URL、方法（GET/POST）、Headers（尤其是 User-Agent、X-Requested-With、认证 token 等）；
3. 在 Go 中用 http.Client 模拟该请求，直接获取结构化数据（通常是 JSON）。

示例（模拟一个带 token 的 GET 请求）：

package main

import (
    "encoding/json"
    "fmt"
    "io"
    "net/http"
    "strings"
)

type ApiResponse struct {
    Links []string `json:"links"`
}

func main() {
    client := &http.Client{}
    req, _ := http.NewRequest("GET", "https://example.com/api/v1/links", nil)
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
    req.Header.Set("X-Requested-With", "XMLHttpRequest")

    resp, err := client.Do(req)
    if err != nil {
        panic(err)
    }
    defer resp.Body.Close()

    body, _ := io.ReadAll(resp.Body)
    var data ApiResponse
    if err := json.Unmarshal(body, &data); err == nil {
        fmt.Println("Extracted links:", data.Links)
    }
}

✅ 优势：速度快、资源占用低、易于并发与重试；
⚠️ 注意：需手动维护接口变更（如参数加密、token 过期、反爬 Header）；部分站点可能有签名机制，需逆向 JS 逻辑。

✅ 方案二：集成无头浏览器（适用于复杂 SPA）

当接口不可见、逻辑高度混淆（如 WebAssembly + 动态 token 生成）或需完整交互（点击、滚动、表单提交）时，可借助支持 DevTools 协议的无头浏览器：

• chromedp（纯 Go 实现，无需外部二进制依赖，推荐）
• playwright-go（跨浏览器、API 更现代，需安装 Playwright）

使用 chromedp 抓取渲染后内容的最小示例：

package main

import (
    "context"
    "log"
    "time"
    "github.com/chromedp/chromedp"
)

func main() {
    ctx, cancel := chromedp.NewExecAllocator(context.Background(),
        append(chromedp.DefaultExecAllocatorOptions[:],
            chromedp.Flag("headless", true),
            chromedp.Flag("disable-gpu", true),
        )...,
    )
    defer cancel()

    ctx, cancel = chromedp.NewContext(ctx)
    defer cancel()

    var htmlContent string
    err := chromedp.Run(ctx,
        chromedp.Navigate("https://example.com"),
        // 等待目标元素出现（避免过早读取）
        chromedp.WaitVisible(`#content`, chromedp.ByQuery),
        // 获取渲染后的 innerHTML
        chromedp.OuterHTML(`#content`, &htmlContent, chromedp.ByQuery),
    )
    if err != nil {
        log.Fatal(err)
    }

    log.Printf("Rendered content: %s", htmlContent)
}

✅ 优势：100% 复现真实浏览器行为，兼容任意前端框架（React/Vue/Svelte）；
⚠️ 注意：启动慢、内存占用高、需管理浏览器生命周期；建议搭配 context timeout 和资源池控制并发。

? 总结与选型建议

切记：无论采用哪种方式，务必遵守 robots.txt、设置合理请求间隔、尊重网站 RateLimit 与 Terms of Service，必要时添加 User-Agent 和 Referer 模拟真实流量。