使用自己写的host碰撞程序https://github.com/alwaystest18/hostCollision 进行大量目标碰撞时,发现程序跑一会后网络就频繁超时,即使把线程数调到1也是如此,于是就想着看下其他存在大量http请求的程序是如何做的,首先想到了httpx,正好还有源码分析的文章projectdiscovery之httpx源码学习 - 先知社区

扫了一眼很快就看到httpx使用了https://github.com/remeh/sizedwaitgroup 做并发处理,于是顺带查了下这个库,在Golang 并发之锁 文章中作者提到"sync.WaitGroup没有办法指定最大并发协程数,在一些场景下会有问题",看起来很有可能就是我的程序中的问题,于是马上做了修改,修改方法很简单,引入库之后把之前的

var wg sync.WaitGroup

  修改为  

var wg sizedwaitgroup.SizedWaitGroup = sizedwaitgroup.New(100)   //限制协程数为100

修改之后再跑程序果然稳定了,在此记录一下