RateLimit 限流中间件

为什么需要限流中间件

在大数据量高并发访问时，经常会出现服务或接口面对大量的请求而导致数据库崩溃的情况，甚至引发连锁反映导致整个系统崩溃。或者有人恶意攻击网站，大量的无用请求出现会导致缓存穿透的情况出现。使用限流中间件可以在短时间内对请求进行限制数量，起到降级的作用，从而保障了网站的安全性。

应对大量并发请求的策略

  • 使用消息中间件进行统一限制（降速）
  • 使用限流方案将多余请求返回（限流）
  • 升级服务器
  • 负载均衡升级
  • 等等

可以看出在代码已经无法提升的情况下，只能去提升硬件水平。或者改动架构再加一层！也可以使用消息中间件统一处理。而结合看来，限流方案是一种既不需要大幅改动也不需要高额开销的策略。

常见的限流方案

  • 令牌桶算法
  • 漏桶算法
  • 滑动窗口算法
  • 等等

这里主要根据golang的库介绍令牌桶和漏桶的实现原理以及在实际项目中如何应用。

漏桶

引入ratelimit库

go get -u go.uber.org/ratelimit

库函数源代码

该函数使用了函数选项模式对多个结构体对象进行初始化

rateint

初始化过程中包括了

perquest = config.per / time.Duration(rate)maxSlack-1 * time.Duration(config.slack) * perRequest
Clocknowsleep
state

最重要的Take逻辑

实现一个Take方法

  • 该Take方法会进行原子性操作(可以理解为加锁和解锁)，在大量并发请求下仍可以保证正常使用。
  • 记录下当前的时间 now := t.clock.Now()
  • oldState.last.IsZero() 判断是不是第一次取水，如果是就直接将state结构体中的值进行返回。而这个结构体中初始化了上次执行时间，如果是第一次取水就作为当前时间直接传参。
  • 如果 newState.sleepFor 非常小，就会出现问题，因此需要借助宽松度，一旦这个最小值比宽松度小，就用宽松度对取水时间进行维护。
  • 如果newState.sleepFor > 0 就直接更新结构体中上次执行时间newState.last = newState.last.Add(newState.sleepFor)并记录需要等待的时间interval, newState.sleepFor = newState.sleepFor, 0。
  • 如果允许取水和等待操作，那就说明没有发生并发竞争的情况，就模拟睡眠时间t.clock.Sleep(interval)。然后将取水的目标时间进行返回，由服务端代码来判断是否打回响应或者等待该时间后继续响应。

t.clock.Sleep(interval)

实际上在一个请求来的时候，限流器就会进行睡眠对应的时间，并在睡眠后将最新取水时间返回。

实际应用(使用Gin框架)

这里你可以进行选择是否返回。因为Take一定会执行sleep函数，所以当执行take结束后表示当前请求已经接到了水。当前演示使用第一种情况。

if

测试代码

handler
go test -run=Run -v
go-wrk
golang installgo install github.com/tsliwowicz/go-wrk@latest

使用帮助

   Usage: go-wrk <options> <url>
   Options:
    -H       Header to add to each request (you can define multiple -H flags) (Default )
    -M       HTTP method (Default GET)
    -T       Socket/request timeout in ms (Default 1000)
    -body    request body string or @filename (Default )
    -c       Number of goroutines to use (concurrent connections) (Default 10)
    -ca      CA file to verify peer against (SSL/TLS) (Default )
    -cert    CA certificate file to verify peer against (SSL/TLS) (Default )
    -d       Duration of test in seconds (Default 10)
    -f       Playback file name (Default <empty>)
    -help    Print help (Default false)
    -host    Host Header (Default )
    -http    Use HTTP/2 (Default true)
    -key     Private key file name (SSL/TLS (Default )
    -no-c    Disable Compression - Prevents sending the "Accept-Encoding: gzip" header (Default false)
    -no-ka   Disable KeepAlive - prevents re-use of TCP connections between different HTTP requests (Default false)
    -no-vr   Skip verifying SSL certificate of the server (Default false)
    -redir   Allow Redirects (Default false)
    -v       Print version details (Default false)

-t 8个线程 -c 400个连接 -n 模拟1k次请求 -d 替换-n 表示连接时间

go-wrk -t=8 -c=400 -n=1000 http://127.0.0.1:4399/ping1

可以稍微等待一下水流积攒否则一个请求也不一定能够响应。

89

令牌桶

ratelimit

go get -u github.com/juju/ratelimit

初始化

Bucket
fillIntervalcapquannum

如果三个变量有一个小于或者等于0的话直接进行报错返回。在最开始就将当前令牌数初始化为最大容量。

调用

TakeAvailable

内部实现

调整令牌

实现原理

加锁 defer 解锁

判断count(想要取出的令牌数) 是否小于等于 0，如果是直接返回 0

调用函数adjustTokens 获取可用的令牌数量，该函数实现原理：

  • 如果当前令牌数大于最大等于容量，直接返回最大容量
  • 当前令牌数 += (当前时间 - 上次取出令牌数的时间) * quannum(每次生成令牌量)
  • 如果当前令牌数大于最大等于容量, 将当前令牌数 = 最大容量 然后返回 当前令牌数

如果当前可以取出的令牌数小于等于0 直接返回 0

如果当前可以取出的令牌数小于当前想要取出的令牌数(count) count = 当前可以取出的令牌数

当前的令牌数 -= 取出的令牌数(count)

返回 count

额外介绍

take

func (tb *Bucket) Take(count int64) time.Duration

takeMaxDuration

func (tb *Bucket) TakeMaxDuration(count int64, maxWait time.Duration) (time.Duration, bool)

因为他们内部的实现都基于令牌调整，我这里不做过多介绍，如果感兴趣可以自行研究一下。

测试

由于压测速度过于快速，在实际过程中可以根据调整令牌生成速率来进行具体限流！

小结

令牌桶可以允许自己判断请求是否继续，不用进行睡眠。而漏桶需要进行睡眠，并没有提供方法让程序员进行判断是否放行。

个人用令牌桶还是多的，也可能是我对漏桶源码的解析有误，没有看到相关的点。