Golang并发请求:协程并行调用HTTP接口
作者:SunnyCoffee
时间:2026-03-10
浏览:1
Go并发网络请求需控制并发数,避免资源耗尽;推荐用带缓冲channel(如sem:=make(chanstruct{},10))作令牌池,发请求前获取令牌,完成后释放。
本文目录
Go并发网络请求需控制并发数,避免资源耗尽;推荐用带缓冲channel(如sem := make(chan struct{}, 10))作令牌池,发请求前获取令牌,完成后释放。

在 Go 中实现并发网络请求,核心是利用 goroutine + channel 或 sync.WaitGroup 控制并发执行,并合理管理超时、错误和资源。关键不是“开越多协程越好”,而是控制并发数、避免连接耗尽、统一处理失败。
控制并发数量,避免压垮服务或自身
直接为每个请求起一个 goroutine 容易失控(比如 1000 个 URL → 1000 个协程),可能触发 dial tcp: too many open files 或目标服务限流。推荐用带缓冲的 channel 作并发令牌池,或使用 semaphore 模式:
- 创建容量为 N 的 channel(如
sem := make(chan struct{}, 10)),每次发请求前先sem <- struct{}{},请求结束再<-sem - 或用
golang.org/x/sync/semaphore包,更语义清晰:sem.Acquire(ctx, 1)/sem.Release(1) - 典型并发数建议 5–50,具体看目标接口响应时间与稳定性(慢接口宜更低)
用 WaitGroup 等待所有请求完成
如果只需等全部结果(不关心顺序),sync.WaitGroup 是最轻量的选择:
- 初始化
wg := &sync.WaitGroup{} - 每启动一个 goroutine 前调用
wg.Add(1) - goroutine 内部 defer
wg.Done() - 主 goroutine 调用
wg.Wait()阻塞等待全部结束 - 注意:不要在循环里直接传循环变量(如
for _, url := range urls { go func() { http.Get(url) }() }会闭包捕获错误的 url),应传参:go func(u string) { ... }(url)
统一收集结果与错误,支持超时控制
推荐用 channel 收集结果(含 error),配合 context.WithTimeout 为整个批次设总超时:
- 定义结果结构体:
type Result struct { URL string; Data []byte; Err error } - 启动 goroutine 时传入子 context:
ctx, cancel := context.WithTimeout(parentCtx, 5*time.Second),并在 HTTP client 中设置client := &http.Client{Timeout: 3 * time.Second} - 每个 goroutine 执行完向结果 channel 发送
Result{URL: u, Data: body, Err: err} - 主 goroutine 用
for i := 0; i < len(urls); i++ { res := <-resultCh }接收(可加 select 处理超时)
复用 HTTP Client,避免连接泄漏
全局复用一个 *http.Client 实例,而非每次 new —— 它自带连接池和重用机制:
- 设置
Transport参数提升并发能力:&http.Transport{MaxIdleConns: 100, MaxIdleConnsPerHost: 100, IdleConnTimeout: 30 * time.Second} - 避免手动关闭 response.Body(必须
defer resp.Body.Close()),否则连接无法复用 - 不用
http.DefaultClient在生产环境(它共享全局 Transport,易被其他模块干扰)
作者最新文章
keyshot 安装教程中文版详细步骤图解
2026-10-13 10:04
3dmax动画选择窗口在哪里?不见了或不显示的解决方法
2026-10-03 11:16
win10家庭版能不能取消开机密码,操作步骤是什么
2026-10-02 12:46
行车记录仪不录像也不能拍照怎么回事及解决方法
2026-09-22 16:34
笔记本电脑开不了机怎么办按哪个键恢复正常
2026-09-22 14:42
上一篇:
Bing浏览器缓存清理方法与步骤详解
下一篇:
小红书免费正版安装地址及入口
热门文章
更多
精品专题
更多
Mac软件
更多
WINDOWS
更多










































