为什么需要连接池

如果不用连接池,而是每次请求都创建一个连接是比较昂贵的,因此需要完成3次tcp握手

同时在高并发场景下,由于没有连接池的最大连接数限制,可以创建无数个连接,耗尽文件描述符

连接池就是为了复用这些创建好的连接

连接池设计

基本上连接池都会设计以下几个参数:

初始连接数:在初始化连接池时就会预先创建好的连接数量,如果设置得:

  • 过大:可能造成浪费
  • 过小:请求到来时需要新建连接

最大空闲连接数maxIdle:池中最大缓存的连接个数,如果设置得:

  • 过大:造成浪费,自己不用还把持着连接。因为数据库整体的连接数是有限的,当前进程占用多了,其他进程能获取的就少了
  • 过小:无法应对突发流量

最大连接数maxCap

  • 如果已经用了maxCap个连接,要申请第maxCap+1个连接时,一般会阻塞在那里,直到超时或者别人归还一个连接

最大空闲时间idleTimeout:当发现某连接空闲超过这个时间时,会将其关闭,重新去获取连接

避免连接长时间没用,自动失效的问题

GetPut

大部分连接池的实现大同小异,基本流程如下:

Get

需要注意:

  • 当有空闲连接时,需要进一步判断连接是否有过期(超过最大空闲时间idleTimeout)
    • 这些连接有可能很久没用过了,在数据库层面已经过期。如果贸然使用可能出现错误,因此最好检查下是否超时
  • 当陷入阻塞时,最好设置超时时间,避免一直没等到有人归还连接而一直阻塞

Put

归还连接时:

  • 先看有没有阻塞的获取连接的请求,如果有转交连接,并唤醒阻塞请求
  • 否则看能否放回去空闲队列,如果不能直接关闭请求

总结

根据上面总结的流程,连接池还需要维护另外两个结构:

  • 空闲队列
  • 阻塞请求的队列

开源实现

接下来看几个开源连接池的实现,都大体符合上面介绍的流程

silenceper/pool

数据结构:

silenceper/pool
connsconnReqs

Get:

这段代码基本符合上面介绍的Get流程,应该很好理解

需要注意:

waitTimeOut

Put:

值得注意的是:

公平性

sql.DB

Go在官方库sql中就实现了连接池,这样的好处在于:

  • 对于开发:就不用像java一样,需要自己找第三方的连接池实现
  • 对于driver的实现:只用关心怎么和数据库交互,不用考虑连接池的问题
sql.DB

继续看获取连接:

接下来检测是否有空闲连接:

以上代码是1.14版本,但是到了1.18以后,获取空闲连接的方式发生了变化:

可以看出,1.14版本从队首获取,1.18改成从队尾获取连接

为啥从队尾拿连接?

因为队尾的连接是才放进去的,该连接过期概率比队首连接

继续看:

这里需要注意,在ctx超时分支中:

  • 首先把自己从阻塞队列中删除
  • 再检查一下req中是否有连接,如果有,将连接放回连接池
req
put
  • 之前:那没问题,put不可能再放该req发送连接
  • 之后:那有可能put往该req发送了连接,因此需要再检查下req中是否有连接,如果有归还
map
  • 用于快速找到自己的req,并删除

最后看看put: