写在前面的话
- 高并发的三驾马车:缓存、降级、限流,这里仅仅说限流
- 常用的限流算法有:计数器算法、固定窗口算法、滑动窗口算法、漏桶算法、令牌桶算法;每种算法的特点和优缺点这里不展开,比较适用的限流算法基本都会选择令牌桶,并且这里基于Spring Cloud Gateway Redis本身默认就是基于令牌桶算法实现
- 限流按照类型分为:单机、分布式;
- 限流按照请求流量的路径分为:nginx、gateway、微服务
- 如果仅仅使用于单机环境:谷歌guava的RateLimiter、(AtomicInteger、Semaphore)【AQS】都是可以选择的; 但是在说到高并发基本已经是分布式环境,此时的常用方案可以基于nginx的ngx_http_limit_req_module模块、 gateway层基于 redis(底层使用lua脚本)、阿里的sentinel(需要单独搭建服务)等方案
当前是限流的Nginx层处理,使用漏桶算法实现,Nginx层限流允许基于客户端ip进行控制,允许基于服务端与客户端建立的链接数进行控制。
一定要清楚,当前在这个位置:
1、基于ip数进行限制
更详细官方文档可以参考:https://www.nginx.com/blog/rate-limiting-nginx/
Ngixn层运行对请求的ip使用漏桶算法(leaky bucket algorithm)进行请求速率控制,速率限制配置有两个主要指令,limit_req_zone
和 limit_req
比如配置如下:
http { limit_req_zone $binary_remote_addr zone=iplimit:10m rate=1r/s; limit_req_zone $server_name zone=iplimit:10m rate=1r/s; server { server_name www.nginx-lyntest.com; listen 80; location ^~/my-api/ { proxy_pass http://127.0.0.1:9999/; limit_req zone=iplimit burst=20 nodelay; limit_req_status 429; # 默认返回 http 503状态码 limit_req_log_level warn; # 默认为 error级别 } } }
参数说明(当定义并且配置了多个限流规则时,以最严格的为准):
limit_req_zone指令:在http模块进行设置;limit_conn_zone key链接限制的可选项,可以是下面的 $server_name 或 $binary_remote_addr
$binaty_remote_addr
NGINX 变量以保存客户端 IP 地址($remote_addr)的二进制;$server_name
Nginx的变量,按照Server的server_name进行限流;zone=iplimit:10m
指定一个变量名(iplimit)以保存上面指定的客户端ip,当前配置大小为10M,1M可以存储大约 16,000 个 IP,这里的10M可以存储16w个IP;rate=1r/s
漏桶请求速率,控制在每秒1个请求;
limit_req指令:在location模块指定上面http模块约定的配置
zone=iplimit
这里使用上面定义的zone区域以保存当前location的请求;burst=20
设置一个大小20的槽的队列,当前超过漏桶速率数时将请求放入槽内,并且每 100 毫秒释放 1 个插槽;官方解释是以应对流量突刺的情况。nodelay
(或delay=8):当前超过令牌桶速率时,并且上面配置的burst槽都满的情况下,对请求处理。nodelay即不允许延迟马上进行拒绝比较适用于需要高性能的接口。可以设置delay=一个指定的数值
limit_req_status
:可以在【http、server、location】中使用,当需要执行拒绝时的http状态码,默认为503,这里也可以指定为 429(Too Many Request)限流limit_req_log_level
:可以在【http、server、location】中使用,限流的日志,默认为error级别,这里可以指定为warm级别,官方的日志格式如
2015/06/13 04:20:00 [error] 120315#0: *32086 limiting requests, excess: 1.000 by
zone "mylimit", client: 192.168.1.2, server: nginx.com, request: "GET / HTTP/1.0",
host: "nginx.com"
正常请求没有被限流的效果为:
默认返回状态状态码(limit_req_status默认返回Http 503 状态码),效果为:
可以将limit_req_status调整为 Http 429状态码,效果为:
2、基于客户端链接数进行控制
基于ngx_http_limit_conn_module,更详细官方文档可以参考:https://nginx.org/en/docs/http/ngx_http_limit_conn_module.html#limit_zone
http { limit_conn_zone $binary_remote_addr zone=perip:10m; limit_conn_zone $server_name zone=perserver:10m; server { server_name www.nginx-lyntest.com; listen 80; location /my-api/ { proxy_pass http://127.0.0.1:9999/; # 每个server最多保持100个连接 limit_conn perserver 100; # 每个ip最多保持1个连接 limit_conn perip 1; limit_conn_log_level warm; } } }
limit_conn_zone指令,同样在http模块中进行设置;limit_conn_zone key链接限制的可选项,可以是下面的 $server_name 或 $binary_remote_addr
$binaty_remote_addr
NGINX 变量以保存客户端 IP 地址($remote_addr)的二进制;$server_name
Nginx的变量,按照Server的server_name进行限流;zone= perip:10m
指定一个变量名(perip)以保存上面指定的客户端ip,当前配置大小为10M,1M可以存储大约 16,000 个 IP,这里的10M可以存储16w个IP;zone=perserver:10m
指定一个变量名(perserver)以保存根据server模块名请求的统计进行限流;
limit_conn:配置上面设置的配置,并且设置链接个数, 如上配置的是ip就限制ip的链接个数,设置的是server模块的名称就限制其链接的个数;
limit_conn_status:限制链接的返回Http 状态码,可以在【http、server、location】中使用,默认返回值为 Http 503状态码,可以设置为 429 (Too Many Request)
limit_conn_log_level:可以在【http、server、location】中使用,连接日志可选项有:info| notice| warn| error,默认级别为 error
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持。