字节跳动开源 Golang 微服务 RPC 框架 Kitex

2023-06-0718:56:48云计算与物联网Comments3,310 views字数 6314阅读模式

字节跳动开源 Golang 微服务 RPC 框架 Kitex文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

介绍同样是字节跳动开源的 Golang 微服务 RPC 框架 Kitex。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

Kitex 简介

Kitex 字节跳动内部的 Golang 微服务 RPC 框架,具有高性能、强可扩展的特点,在字节内部已广泛使用。如果对微服务性能有要求,又希望定制扩展融入自己的治理体系,Kitex 会是一个不错的选择。 架构设计:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

字节跳动开源 Golang 微服务 RPC 框架 Kitex文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

框架特点:

  • 高性能:使用自研的高性能网络库 Netpoll,性能相较 go net 具有显著优势。
  • 扩展性:提供了较多的扩展接口以及默认扩展实现,使用者也可以根据需要自行定制扩展。
  • 多消息协议:RPC 消息协议默认支持 Thrift、Kitex Protobuf、gRPC。Thrift 支持 Buffered 和 Framed 二进制协议;Kitex Protobuf 是 Kitex 自定义的 Protobuf 消息协议,协议格式类似 Thrift;gRPC 是对 gRPC 消息协议的支持,可以与 gRPC 互通。除此之外,使用者也可以扩展自己的消息协议。
  • 多传输协议:传输协议封装消息协议进行 RPC 互通,传输协议可以额外透传元信息,用于服务治理,Kitex 支持的传输协议有 TTHeader、HTTP2。TTHeader 可以和 Thrift、Kitex Protobuf 结合使用;HTTP2 目前主要是结合 gRPC 协议使用,后续也会支持 Thrift。
  • 多种消息类型:支持 PingPong、Oneway、双向 Streaming。其中 Oneway 目前只对 Thrift 协议支持,双向 Streaming 只对 gRPC 支持
  • 服务治理:支持服务注册/发现、负载均衡、熔断、限流、重试、监控、链路跟踪、日志、诊断等服务治理模块,大部分均已提供默认扩展,使用者可选择集成。
  • 代码生成:Kitex 内置代码生成工具,可支持生成 Thrift、Protobuf 以及脚手架代码。

Thrift 简介

Thrift 本身是一软件框架(远程过程调用框架),用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引 擎,以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。同时,作为 IDL(接口定义语言 Interface Definition Language),允许你定义一个简单的定义文件中的数据类型和服务接口,以作为输入文件,编译器生成代码用来方便地生成 RPC 客户端和服务器通信的无缝跨编程语言。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

Protobuf 简介

Protobuf 全称是 Google Protocol Buffer,是一种高效轻便的结构化数据存储方式,用于数据的通信协议、数据存储等。相对比 XML 来说,其特点:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

准备环境和快速启动

准备环境

推荐环境:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

  • 如果您之前未搭建 Golang 开发环境, 可以参考 Golang 安装
  • 推荐使用最新版本的 Golang,我们保证最新三个正式版本的兼容性(现在 >= )。
  • 确保打开 go mod 支持 (Golang >= 时,默认开启)
  • kitex 暂时没有针对 Windows 做支持,如果本地开发环境是 Windows 建议使用 WSL2

安装教程:Go安装配置 - 掘金 ()文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

注意:kitex 暂时没有针对 Windows 做支持,如果本地开发环境是 Windows 建议使用 WSL2文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

WSL的安装 由于Kitex并不支持Linux,所以需要首先安装WSL2文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

WSL一句话来说就是微软出的一个虚拟机工具文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

Win11下安装WSL2的步骤为:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

  1. “开始菜单”搜索功能,打开“启动或关闭Window功能”

字节跳动开源 Golang 微服务 RPC 框架 Kitex文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

  1. 勾选以下功能

字节跳动开源 Golang 微服务 RPC 框架 Kitex 3. 微软商店搜索wsl,点击安装文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

字节跳动开源 Golang 微服务 RPC 框架 Kitex 4. 安装完打开,安装完之后输入用户的账号密码文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

字节跳动开源 Golang 微服务 RPC 框架 Kitex 如果安装过程中出现下面这种情况:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

字节跳动开源 Golang 微服务 RPC 框架 Kitex 说明内核没有更新,需要更新: 打开一个终端输入以下命令:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

wsl --update

5.安装完成之后输入下列命令查看wsl的状态:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

wsl -l -v
  1. 启动wsl命令:
wsl

7.安装完成之后我的电脑左下角会出现一个linux盘,为linux子系统的文件系统文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

字节跳动开源 Golang 微服务 RPC 框架 Kitex文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

快速启动

基于 IDL 的 KiteX 实践 在 RPC 框架中,我们知道,服务端与客户端通信的前提是远程通信,但这种通信又存在一种关联,那就是通过一套相关的协议(消息、通信、传输等)来规范,但客户端又不用关心底层的技术实现,只要定义好了这种通信方式即可。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

在 KiteX 中,也提供了一种生成代码的命令行工具:kitex,目前支持 thrift、protobuf 等 IDL,并且支持生成一个服务端项目的骨架。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

  1. 安装 kitex:
go install github.com/cloudwego/kitex/tool/cmd/kitex\@latest
  1. 安装 thriftgo:
go install github.com/cloudwego/thriftgo\@latest
  1. 验证是否安装成功:
  • kitex --version
  • thriftgo --version
  1. 获取示例代码

git clone github.com/cloudwego/k…文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

  1. 运行示例代码

    直接启动:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    cd kitex-examples/hello
    
    go run ./server
    
    go run ./client
    

    使用 Docker 快速启动:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    cd kitex-examples
    
    docker build -t kitex-examples .
    
    docker run --network host kitex-examples ./hello-server
    
    docker run --network host kitex-examples ./hello-client
    

    注:代码生成后的hello/报错,这是因为 这个包使用的是版本的,但之后的包中很多函数增加了context上下文参数,所以很多函数由于缺少参数报错。只需要修改中的require中 为 v0.13.0然后再执行go mod tidy问题就能解决

  2. 现在成功通过 Kitex 发起了 RPC 调用。增加一个新方法

    打开 ,为新方法分别定义一个新的请求和响应,AddRequest 和 AddResponse,并在 service Hello 中增加 add 方法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    namespace go api
    
    struct Request {
        1: string message
    }
    
    struct Response {
        1: string message
    }
    
    struct AddRequest {
        1: i64 first
        2: i64 second
    }
    
    struct AddResponse {
        1: i64 sum
    }
    
    service Hello {
        Response echo(1: Request req)
        AddResponse add(1: AddRequest req)
    }
    
  3. 重新生成代码

    运行如下命令后,kitex 工具将根据 更新代码文件文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    kitex -service a.b.c 
    

    若当前目录不在 $GOPATH/src 下,需要加上 -module 参数,一般为 下的名字文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    kitex -module "your\_module\_name" -service a.b.c 
    

    执行完上述命令后,kitex 工具将更新下述文件文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    • 更新 ./,在里面增加一个 Add 方法的基本实现
    • 更新 ./kitex_gen,里面有框架运行所必须的代码文件
    • 更新服务端处理逻辑
  4. 上述步骤完成后,./ 中会自动补全一个 Add 方法的基本实现,类似如下代码:
    func(s \*HelloImpl) Add(ctx , req \*) (resp \*, err error) {
        return
    }
    

    在里面增加我们所需要的逻辑,类似如下代码:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    func(s \*HelloImpl) Add(ctx , req \*) (resp \*, err error) {
        
        resp = \&{Sum: req.First + req.Second}
        return
    }
    
  5. 增加客户端调用

    在 ./client/ 中你会看到类似如下的 for 循环:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    for {
        req := \&{Message: "my request"}
        resp, err := ((), req)
        if err != nil {
            (err)
        }
        (resp)
        ()
    }
    

    在里面增加 Add 方法的调用:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    for {
        req := \&{Message: "my request"}
        resp, err := ((), req)
        if err != nil {
            (err)
        }
        (resp)
        ()
        addReq := \&{First: 512, Second: 512}
        addResp, err := ((), addReq)
        if err != nil {
            (err)
        }
        (addResp)
        ()
    }
    
  6. 重新运行示例代码,可以看到客户端在调用 Add 方法

基础教程

Kitex 是一个 RPC 框架,既然是 RPC,底层就需要两大功能:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

  • Serialization 序列化
  • Transport 传输

Kitex 框架及命令行工具,默认支持 thrift 和 proto3 两种 IDL,对应的 Kitex 支持 thrift 和 protobuf 两种序列化协议。 传输上 Kitex 使用扩展的 thrift 作为底层的传输协议(注:thrift 既是 IDL 格式,同时也是序列化协议和传输协议)。IDL 全称是 Interface Definition Language,接口定义语言。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

创建项目目录

在开始后续的步骤之前,先创建一个项目目录用于后续的教程。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

mkdir example

然后进入项目目录文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

cd example

编写 IDL

首先创建一个名为 的 thrift IDL 文件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

然后在里面定义服务文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

namespace go api

struct Request {
1: string message
}

struct Response {
1: string message
}

service Echo {
Response echo(1: Request req)
}

生成 echo 服务代码

有了 IDL 以后便可以通过 kitex 工具生成项目代码了,执行如下命令:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

$ kitex -module example -service example 上述命令中,-module 表示生成的该项目的 go module 名,-service 表明要生成一个服务端项目,后面紧跟的 example 为该服务的名字。最后一个参数则为该服务的 IDL 文件。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

生成后的项目结构如下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

    .
    |
    |
    |
    |
    |   `
    |       |
    |       |   |
    |       |   |
    |       |   |
    |       |   `
    |       |
    |       `
    |
    `
        |
        `

获取最新的 Kitex 框架

由于 kitex 要求使用 go mod 进行依赖管理,所以要升级 kitex 框架会很容易,只需要执行以下命令即可:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

go get github.com/cloudwego/kitex@latest$ go mod tidy

编写 echo 服务逻辑

需要编写的服务端逻辑都在 这个文件中,现在这个文件应该如下所示:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

package main

import (
    "context""example/kitex\_gen/api"
)

type EchoImpl struct{}

func(s \*EchoImpl) Echo(ctx , req \*) (resp \*, err error) {
    return
}

这里的 Echo 函数就对应了之前在 IDL 中定义的 echo 方法。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

修改 Echo 函数为下述代码:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

func(s \*EchoImpl) Echo(ctx , req \*) (resp \*, err error) {
    return \&{Message: }, nil
}

编译运行

kitex 工具已经生成好了编译和运行所需的脚本:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

  • 编译:执行以下命令后,会生成一个 output 目录,里面含有编译产物。
sh build.sh
  • 运行:执行以下命令后,Echo 服务就开始运行啦!
sh output/

编写客户端

有了服务端后,接下来编写一个客户端用于调用刚刚运行起来的服务端。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

mkdir client
cd client
import"example/kitex\_gen/api/echo"import""
...
c, err := ("example", (""))
if err != nil {
    (err)
}

上述代码中, 用于创建 client,其第一个参数为调用的服务名,要与生成代码中的service_name保持一致,第二个参数为 options,用于传入参数, 此处的 用于指定服务端的地址(server默认占用8888端口)。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

import"example/kitex\_gen/api"
...
req := \&{Message: "my request"}
resp, err := ((), req, (3\*))
if err != nil {
    (err)
}
(resp)

上述代码中,首先创建了一个请求 req , 然后通过 发起了调用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

  • 第一个参数为 ,通过通常用其传递信息或者控制本次调用的一些行为。
  • 第二个参数为本次调用的请求。
  • 第三个参数为本次调用的 options ,Kitex 提供了一种 callopt 机制,顾名思义——调用参数 ,有别于创建 client 时传入的参数,这里传入的参数仅对此次生效。 此处的 用于指定此次调用的超时(通常不需要指定,此处仅作演示之用)

在编写完一个简单的客户端后,通过下述命令发起调用:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

go run 

如果不出意外,可以看到类似如下输出:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

2023/01/30 18:48:07 Response({Message:my request})

至此已经成功编写了一个 Kitex 的服务端和客户端,并完成了一次调用!文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

补充:链路追踪

在分布式系统或者微服务架构中,一次请求往往需要调动内部的多个模块,多个中间件,多台机器相互协调才能完成。这些调用过程是较为复杂的,有的是串行调用的,有的是并行调用的。这种情况下,如果确定整个请求当中调用了哪些应用,哪些节点,哪些模块,以及他们的先后顺序和各部分的性能,这就是链路追踪。链路追踪就是将一次分布式请求还原成调用链路,将一次分布式请求的调用情况集中展示,比如,各个服务节点上的耗时、请求具体到达哪台机器上、每个服务节点的请求状态等。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

Kitex提供了对OpenTelemetry和OpenTracing的支持,也支持用户自定义链路追踪文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

OpenTelemetry链路追踪

import (
...
    """"
)

funcmain(){
    serviceName := "echo-client"
    p := (
        (serviceName),
        ("localhost:4317"),
        (),
    )
    defer p.Shutdown(())

}

svr := (
    new(UserServiceImpl),
    
    (()),
    (\&{ServiceName: serviceName}),
)

服务注册与发现

Kitex服务注册与发现已经对接了主流的服务注册与发现中心 下面以注册ETCD为例文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

server:

import (
    api "example/kitex\_gen/api/echo""fmt"""""
    etcd """log"
)

funcmain() {
    r, err := (\[]string{""})
    if err != nil {
            (err)
        }
        svr := (new(EchoImpl),
        (r), 
        (\&{
        ServiceName: "example",
    }),
    )

    err = ()

    if err != nil {
        (())
    }
}

client

import (
    "context""example/kitex\_gen/api""example/kitex\_gen/api/echo""fmt"
    client ""
    etcd """time"
)

funcmain() {
    
    r, err := (\[]string{""})
    if err != nil {
        (err)
    }
    c := ("example",
    (r)
    )
    if err != nil {
        (err)
    }
    for {
        ctx, cancel := ((), \*3)
        resp, err := (ctx, \&{Message: "hello world!"})
        cancel()
        if err != nil {
            (err)
        }
        ()
        (resp)
    }
}

总结

本文主要介绍了Golang 微服务 RPC 框架 Kitex 的相关内容,并进行了一个简单的示例演示,本文介绍的都是最基础的入门知识,想更深入学习了解 Kitex 还是需要仔细研究官方文档。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/45777.html
  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/yunda/45777.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定