限流降级 on Apache Dubbo

使用 Sentinel 应对突发流量，保护您的应用

Mon, 01 Jan 0001 00:00:00 +0000

在复杂的生产环境下可能部署着成千上万的 Dubbo 服务实例，流量持续不断地进入，服务之间进行相互调用。但是分布式系统中可能会因流量激增、系统负载过高、网络延迟等一系列问题，导致某些服务不可用，如果不进行相应的控制可能导致级联故障，影响服务的可用性，因此如何对流量进行合理的控制，成为保障服务稳定性的关键。

Sentinel 是阿里中间件团队开源的，面向分布式服务架构的轻量级流量控制产品，主要以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度来帮助用户保护服务的稳定性。

本文提供 Dubbo 整合 Sentinel 限流降级的最佳实践。

快速接入 Sentinel

Sentinel 通过对服务提供方和服务消费方的限流提升服务在极端场景下的可用性，接下来我们看看 Sentinel 对服务提供方和服务消费方限流的技术实现方式。

使用时我们只需引入以下模块（以 Maven 为例）：

<dependency>
	<groupId>com.alibaba.csp</groupId>
	<artifactId>sentinel-apache-dubbo3-adapter</artifactId>
	<version>1.8.6</version>
</dependency>
<!-- optional -->
<dependency>
	<groupId>com.alibaba.csp</groupId>
	<artifactId>sentinel-transport-simple-http</artifactId>
	<version>1.8.6</version>
</dependency>

引入此依赖后，Dubbo 的服务接口和方法（包括调用端和服务端）就会成为 Sentinel 中的资源，在配置了规则后就可以自动享受到 Sentinel 的防护能力。

sentinel-apache-dubbo3-adapter 中包含 Sentinel Filter 实现，加入依赖之后会自动开启。如若不希望开启 Sentinel Dubbo Adapter 中的某个 Filter，可通过配置关闭，如 dubbo.provider.filter="-sentinel.dubbo.consumer.filter"。

示例详解

可在此查看以下示例的完整源码。

Provider 端限流

对服务提供方的流量控制可分为 服务提供方的自我保护能力 和 服务提供方对服务消费方的请求分配能力 两个维度。

基于 QPS 设定限流

为了保护 Provider 不被激增的流量拖垮影响稳定性，可以给 Provider 配置 QPS 模式 的限流，这样当每秒的请求量超过设定的阈值时会自动拒绝多出来的请求。

以下是示例中配置的 服务级别 的 QPS 限流配置，最大 QPS 设定为 10：

Dubbo 框架内置的并发控制策略

Mon, 01 Jan 0001 00:00:00 +0000

Dubbo 通过 Filter 拦截器机制，内置了并发控制策略实现。限制从同一客户端到同一服务的并发请求数，防止恶意请求使服务器过载，确保服务的稳定性，并防止使用过多资源。

控制某些服务的最大并发请求数，确保其他服务的资源可用性。系统过载和确保系统稳定性。
允许在需求增加时更平滑地扩展服务。
确保服务在高峰使用时间保持可靠和稳定。

注意

这种方式要求用户准确的预先评估系统能处理的并发数，而准确的评估系统处理能力并不是一件容易的事情，因此 Dubbo 还提供了自适应限流模式，根据系统负载自动识别系统健康程度并进行限流保护，可以在此查看自适应限流模式使用文档。

限流策略配置

限制服务器端并发执行数(服务粒度)

限制 com.foo.BarService 的每个方法，服务器端并发执行（或占用线程池线程数）不能超过 10 个

XML 方式：

<dubbo:service interface="com.foo.BarService" executes="10" />

注解方式：

@DubboService(executes=10)
private DemoServiceImpl implements DemoService{}

限制服务器端并发执行数(方法粒度)

限制 com.foo.BarService 的 sayHello 方法，服务器端并发执行（或占用线程池线程数）不能超过 10 个

XML 方式：

<dubbo:service interface="com.foo.BarService">
 <dubbo:method name="sayHello" executes="10" />
</dubbo:service>

注解方式：

@DubboService(executes=10, methods = {@Method(name="sayHello",executes=10)})
private DemoServiceImpl implements DemoService{}

限制消费端并发调用数(服务粒度)

限制 com.foo.BarService 的每个方法，每客户端并发执行（或占用连接的请求数）不能超过 10 个

XML 方式：

<dubbo:service interface="com.foo.BarService" actives="10" />

注解方式：

@DubboReference(actives=10)
private DemoService demoService;

限制消费端并发调用数(方法粒度)

限制 com.foo.BarService 的 sayHello 方法，每客户端并发执行（或占用连接的请求数）不能超过 10 个

自适应限流

Mon, 01 Jan 0001 00:00:00 +0000

自适应限流的设计与实现思路请参考 Dubbo 自适应限流功能。自适应限流能够确保分布式系统稳定性和可靠性，例如在服务提供商资源有限且多变的场景下。

使用场景

服务降级预防：当服务提供者因资源耗尽而性能下降时，使用自适应限流暂时减少其接受的请求数直至恢复正常。
峰值流量处理：当服务流量突然激增时，自适应流量限制可以通过动态减少接受的请求数量来帮助防止服务过载。
不可预测流量处理：服务提供商可能会遇到不可预测的流量，第三方应用程序使用服务时可能会偶尔产生流量，自适应流量限制可以根据当前系统负载调整允许的最大并发请求数并防止过载。

使用方式

设置方法与静态的最大并发值设置类似，只需在服务端设置 flowcontrol 参数即可，可选值有以下两种：

heuristicSmoothingFlowControl。当服务端收到一个请求时，首先判断CPU的使用率是否超过50%。如果没有超过50%，则接受这个请求进行处理。如果超过50%，说明当前的负载较高，便从 HeuristicSmoothingFlowControl 算法中获得当前的 maxConcurrency 值。如果当前正在处理的请求数量超过了 maxConcurrency，则拒绝该请求。
autoConcurrencyLimiter。与 HeuristicSmoothingFlowControl 的最大区别是，AutoConcurrencyLimiter 是基于窗口的，每当窗口内积累了一定量的采样数据时，才利用窗口内的数据来更新得到 maxConcurrency，其次，利用exploreRatio来对剩余的容量进行探索。

在确保服务端存在多个节点，并且消费端开启重试策略的前提下，限流功能才能更好的发挥作用。

示例一：使用 heuristicSmoothingFlowControl 自适应限流算法

dubbo.provider.flowcontrol=heuristicSmoothingFlowControl

<dubbo:provider flowcontrol="heuristicSmoothingFlowControl" />

示例二：使用 autoConcurrencyLimiter 自适应限流算法

dubbo.provider.flowcontrol=autoConcurrencyLimiter

<dubbo:provider flowcontrol="autoConcurrencyLimiter" />

示例三：设置服务粒度的 heuristicSmoothingFlowControl 自适应限流

<dubbo:service interface="com.foo.BarService" flowcontrol="heuristicSmoothingFlowControl" />