golang限制协程的最大开启数

package main

import (
	"fmt"
	"strconv"
	"time"
)

var (
	maxRoutineNum = 2
)

// 模拟下载页面的方法
func download(url string, ch chan int) {
	fmt.Println("download from ", url)
	// 休眠两秒模拟下载页面
	time.Sleep(2 * 1e9)
	// 下载完成则从ch推出数据
	i :=<-ch
	fmt.Println(i)
}

func main() {
	ch := make(chan int, maxRoutineNum)

	urls := [10]string{}
	for i := 0; i < 10; i++ {
		urls[i] = "url" + strconv.Itoa(i)
	}
	for i := 0; i < len(urls); i++ {
		// 开启下载协程前往ch塞一个数据
		// 如果ch满了则会处于阻塞，从而达到限制最大协程的功能

		go download(urls[i], ch)
		ch <- 1  //放在后面是三个 放在下载之前,是两个并发
	}


}

虽然golang中协程开销很低，但是在一些情况下还是有必要限制一下协程的开启数，比如爬虫中的下载协程，因为受到带宽限制，开的多了也没有效果。本来想在网上找找有没协程池，类似其它语言线程池这样的东西，可以限制最大开启数。找了一番，这方面的资料非常少，难道golang不需要协程池这种东东？自己动手写一个吧。

要限制协程最大数量，就是考虑开启一个协程的时候记录一下，然后超过最大数就不再开启。可以考虑用一个变量count来记录协程开启数量，不过这种方式比较out了，golang中可以用channel来实现。

不限制的代码：

packagemainimport(    "fmt"    "strconv"    "time")// 模拟下载页面的方法funcdownload(url string) {    fmt.Println("download from ", url)}funcmain() {    urls := [100]string{}    fori := 0; i < 100; i++ {        urls[i] = "url"+ strconv.Itoa(i)    }    fori := 0; i < len(urls); i++ {        godownload(urls[i])    }    // 休眠一下    for{        time.Sleep(1* 1e9)    }}

根据url数量开启若干协程，每个协程会去下载页面内容，通常受到带宽的限制，协程开多了没有什么提升效果。

限制一下

packagemainimport(    "fmt"    "strconv"    "time")var(    maxRoutineNum = 10)// 模拟下载页面的方法funcdownload(url string, ch chan int) {    fmt.Println("download from ", url)    // 休眠两秒模拟下载页面    time.Sleep(2* 1e9)    // 下载完成则从ch推出数据    <-ch}funcmain() {    ch := make(chan int, maxRoutineNum)    urls := [100]string{}    fori := 0; i < 100; i++ {        urls[i] = "url"+ strconv.Itoa(i)    }    fori := 0; i < len(urls); i++ {        // 开启下载协程前往ch塞一个数据        // 如果ch满了则会处于阻塞，从而达到限制最大协程的功能        ch <- 1        godownload(urls[i], ch)    }    // 休眠一下    for{        time.Sleep(1* 1e9)    }}

主要就是用golang中channel的阻塞性和最大数量处理，可以考虑封装一下提供使用。

golang真的不需要协程池？