开发者指南 on Apache Dubbo

filter概述

Mon, 01 Jan 0001 00:00:00 +0000

Filter

Filter 提供请求处理抽象。用户可以将多个过滤器组合成过滤器链。当从监听器接收到请求时，过滤器将在其预处理或后处理阶段逐一处理它。因为 pixiu 想要提供网络协议转换功能，所以过滤器包含网络过滤器以及网络过滤器之下的过滤器，例如 http 过滤器。请求处理顺序如下。

client -> listner -> network filter such as httpconnectionmanager -> http filter chain

您可以在 pkg/filter 中找到所有过滤器。以下仅列出一些过滤器。

ratelimit 该过滤器使用 sentinel-go 提供速率限制功能；
timeout 该过滤器提供超时功能；
tracing 该过滤器使用 jaeger 提供追踪功能；
grpcproxy 该过滤器提供 http 到 grpc 代理功能；
httpproxy 该过滤器提供 http 到 http 代理功能；
proxywrite 该过滤器提供 http 请求路径或头部修改功能；
apiconfig 该过滤器提供 http 到 dubbo 转换映射功能，并与 remote 过滤器配合使用；
remote 该过滤器提供 http 到 dubbo 代理功能，并与 apiconfig 过滤器配合使用。

How to define custom http filter

step one

有两个抽象接口：plugin 和 filter。

Pixiu Filter体系介绍

Mon, 01 Jan 0001 00:00:00 +0000

怎样编写一个Filter

更详细的信息，请移步Blog《谈谈Pixiu的Filter》

我们来尝试写一个简单的Filter，这个Filter将会有简单的配置，在Decode阶段把请求的Body Log出来，并翻转后作为Mock的返回值。最后在Encode阶段根据配置把返回值Log出来。

1.首先创建一个Filter

type DemoFilter struct {
 logPrefix string
}

// Decode阶段，发生在调用Upstream之前
func (f *DemoFilter) Decode(ctx *contexthttp.HttpContext) filter.FilterStatus {
 body, _ := ioutil.ReadAll(ctx.Request.Body)
 logger.Infof("request body: %s", body)

 //reverse res str
 runes := []rune(string(body))
 for i := 0; i < len(runes)/2; i += 1 {
 runes[i], runes[len(runes)-1-i] = runes[len(runes)-1-i], runes[i]
 }
 reverse := string(runes)

 //mock response
 ctx.SendLocalReply(200, []byte(reverse))
 return filter.Stop
}

// Encode阶段，此时可以获取到Upstream的Response
func (f *DemoFilter) Encode(ctx *contexthttp.HttpContext) filter.FilterStatus {
 res := ctx.SourceResp.(string)
 logger.Infof("%s: %s", f.logPrefix, res)
 return filter.Continue
}

2.创建Filter Factory

dubbo-pilot Control Plane 部署

Mon, 01 Jan 0001 00:00:00 +0000

1 总体目标

控制面编译和镜像构建
使用 istioctl 在 kubernetes 环境部署
如何对控制面程序 debug

2 基本流程

这个例子将演示如何在编译 dubbo-pilot 控制平面并在 kubernetes 环境下如何使用 istioctl 进行部署

本地启动控制平面，对 dubbo-pilot 进行启动和 debug
使用 istioctl 在 k8s 环境启动和 debug

3 详细步骤

3.1 环境要求

Golang
Docker
Minikube/Kind
Kubectl
Dlv

3.2 本地部署

3.2.1 编译

编译 docker-builder

cd dubbo-go-pixiu/tools/docker-builder && go install

docker-builder -h:

Builds Istio docker images

Usage:
 [flags]

Flags:
 --architecures strings architectures to build (default [linux/amd64])
 --base-version string base version to use (default "latest")
 --builder string type of builder to use. options are crane or docker (default "docker")
 -h, --help help for this command
 --hub strings docker hub(s) (default [localhost:5000])
 --istio-version string istio version to use (default "1.14-dev")
 --kind-load kind cluster to load into
 --no-cache disable caching
 --no-clobber do not allow pushing images that already exist
 --proxy-version string proxy version to use (default "7ae8e27f274b33dc2f4d83100aea5971ed6698d3")
 --push push targets to registry
 --save save targets to tar.gz
 --tag strings docker tag(s) (default [latest])
 --targets strings targets to build (default [app,app_sidecar_centos_7,app_sidecar_debian_11,app_sidecar_ubuntu_jammy,app_sidecar_ubuntu_xenial,ext-authz,install-cni,istioctl,operator,pilot,proxyv2])
 --variants strings variants to build (default [default])
 --version show build version

使用 docker-builder 自动编译 && 构建镜像

编译 istioctl

Trie 前缀树介绍

Mon, 01 Jan 0001 00:00:00 +0000

简介

网关的核心之一是路由逻辑，决定一个请求需要经过怎样的加工，被转发到哪个下行服务。
其中 80% 的路由需求表达都以 URL 为基础。需要描述清楚具有某个特征的 URL 或者 URL 集合对应怎样的一系列下游处理策略。

例如，’/test/’ 开头的 URL 路由到测试环境集群，’/release/user/’ 开头的 URL 会被路由到正式环境的 user 服务集群。

同时网关作为所有请求的入口，每一毫秒的延时都会做用在全量的业务下，在 mesh 场景下，延时还会随着调用链路的加深，被倍数放大。按照生产环境业务相应 <=7 毫秒的标准来看，规则匹配的性能要求也是十分苛刻的。一定不能随着规则数目的增加而性能退化。

使用介绍

仅从使用方的角度阐述 pixiu 的配置文件如何描述 URL 相关的路由规则。（下面，我们介绍一下如何配置 URL 路由规则）
如下是一份 pixiu 的 api 配置文件，这份配置文件会被解析后生成一份对应的内存模型，作为 pixiu 路由相关配置的初始状态。之后由 RDS 协议修改解析后得到的内存模型，实现路由逻辑动态生效的效果。RDS 协议（RDS：xDS 协议下描述路由规则的部分）相关内容是后话不详细阐述。我们把注意力聚焦到resource部分。
resource 下 path 部分就是上文阐述的，URL 相关的路由描述。意思是满足 path 描述特征的 URL 会被成功匹配。

name: server
description: server sample
resources:
 - path: '/api/v1/test-dubbo/user/name/:name'
 type: restful
 description: user
 methods:
 - httpVerb: GET
 enable: true
 timeout: 1000ms
 inboundRequest:
 requestType: http
 uri:
 - name: name
 required: true
 integrationRequest:
 requestType: dubbo
 mappingParams:
 - name: uri.name
 mapTo: 0
 mapType: "string"
 applicationName: "UserProvider"
 interface: "com.dubbogo.server.UserService"
 method: "GetUserByName"
 group: "test"
 version: 1.0.0
 clusterName: "test_dubbo"

被匹配后的请求会被转化成 dubbo 协议转发到 test_dubbo 集群调用 com.dubbogo.server.UserService 下的 GetUserByName 服务。
我们继续聚焦到如下范围：

日志阅读介绍

Mon, 01 Jan 0001 00:00:00 +0000

Log

如何在Dubbogo-pixiu中阅读日志

DEBUG log

Dubbo request log

2020-11-17T11:31:05.716+0800 DEBUG dubbo/dubbo.go:150 [dubbo-go-pixiu] dubbo invoke, method:GetUserByName, types:[java.lang.String], reqData:[tiecheng]

Dubbo response log

2020-11-17T11:31:05.718+0800 DEBUG dubbo/dubbo.go:160 [dubbo-go-pixiu] dubbo client resp:map[age:88 iD:3213 name:tiecheng time:<nil>]

开发者指南 on Apache Dubbo

filter概述

Filter

Http Filter List

How to define custom http filter

step one

Pixiu Filter体系介绍

怎样编写一个Filter

dubbo-pilot Control Plane 部署

1 总体目标

2 基本流程

3 详细步骤

3.1 环境要求

3.2 本地部署

3.2.1 编译

Trie 前缀树介绍

简介

使用介绍

日志阅读介绍

Log

DEBUG log

Dubbo request log

Dubbo response log