服务限流

什么是服务限流

限流就是为了提供稳定的服务，限制使用人数。

限流的目的是通过对并发请求进行限速，或者对一个时间窗口内的请求数量进行限速来保护系统。

一旦达到限制速率可以拒绝服务、排队或者等待。

多维度进行限流

请求到达服务接口时，可以采用多维度限流策略。

限流算法

1. 限流算法-计数器（固定窗口）

   计数器限制，每一分钟或者每一秒钟内的请求不能超过一定的次数，在下一秒计时器清零重新计算

   

   存在的问题：

   客户端在第一分钟的59秒请求了100次，又在第二分钟的1秒请求了100次，2秒内，后端要承受200次请求的压力，形成了流量突刺

2. 限流算法-计数器（滑动窗口）

   滑动窗口是细分后的计数器。它将每个时间窗口又划分成若干个时间片段，每过一个时间片段，整个时间窗口就会向右移动一格。

   

打满100次，客户端就拒绝访问。

时间窗口划分的越细，滑动窗口的滚动越平滑，限流效果越精确。

3. 限流算法-漏桶

   漏桶算法类似一个限制出水速度的水桶，通过一个固定大小的FIFO队列+定时取队列元素的方式实现。

   请求进入队列后，会被匀速取出来处理，类似桶底部的开口匀速出水。当队列被占满后，后来的请求会直接被拒绝，类似水倒得太快溢出来。

   优点是可以削峰填谷，不论请求多大多快，都只会匀速发给后端，不会出现突刺现象，保证下游服务正常运行。

   缺点是桶队列中的请求会排队，响应时间拉长。

4. 限流算法-令牌桶

   令牌桶算法是以恒定的速度往桶里放置令牌，如果桶里的令牌满了就放弃，每进来一个请求去桶里找令牌，有的话拿走令牌继续处理，没有就拒绝请求。

   

令牌桶的优点是可以应对突发流量，当桶里有令牌时可以快速响应也不会产生漏桶队列中的等待时间。

缺点是相对于漏桶，一定程度上减少了对下游服务的保护。

https://www.cnblogs.com/junzi2099/p/14208640.html (opens new window)