基于operator sdk编写一个k8s自定义资源管理应用

比眉伴天荒 2023-10-05 20:07 0阅读 0赞

**简介：operator** 是一种 kubernetes 的扩展形式，可以帮助用户以 Kubernetes 的声明式 API 风格自定义来管理应用及服务，operator已经成为分布式应用在k8s集群部署的事实标准了，在云原生时代系统想迁移到k8s集群上编写operator应用是必不可少的能力，这里介绍用 CoreOS 的 operator framework 工具如何快速构建一个 operator 应用。

### CRD ###

在 Kubernetes 中我们使用的 Deployment， DamenSet，StatefulSet, Service，Ingress, ConfigMap, Secret 这些都是资源，而对这些资源的创建、更新、删除的动作都会被成为为事件(Event)，Kubernetes 的 Controller Manager 负责事件监听，并触发相应的动作来满足期望（Spec），这种方式也就是声明式，即用户只需要关心应用程序的最终状态。当我们在使用中发现现有的这些资源不能满足我们的需求的时候，Kubernetes 提供了自定义资源（Custom Resource）和 opertor 为应用程序提供基于 kuberntes 扩展。  
CRD 则是对自定义资源的描述(Custom Resource Definition)，也就是介绍这个资源有什么属性呀，这些属性的类型是什么，结构是怎样的这类。

我们看一个`postgres-operator`的CRD：

apiVersion: apiextensions.k8s.io/v1beta1
    kind: CustomResourceDefinition
    metadata:
      name: postgresqls.acid.zalan.do
      labels:
        app.kubernetes.io/name: postgres-operator
      annotations:
        "helm.sh/hook": crd-install
    spec:
      group: acid.zalan.do
      names:
        kind: postgresql
        listKind: postgresqlList
        plural: postgresqls
        singular: postgresql
        shortNames:
        - pg
      additionalPrinterColumns:
      - name: Team
        type: string
        description: Team responsible for Postgres CLuster
        JSONPath: .spec.teamId
      - name: Version
        type: string
        description: PostgreSQL version
        JSONPath: .spec.postgresql.version
      - name: Pods
        type: integer
        description: Number of Pods per Postgres cluster
        JSONPath: .spec.numberOfInstances
      - name: Volume
        type: string
        description: Size of the bound volume
        JSONPath: .spec.volume.size
    ...

从上面的 CRD 文件可以看到 CRD 主要包括`apiVersion`、`kind`、`metadata`和`spec`四个部分。其中最关键的是`apiVersion`和`kind`，`apiVersion`表示资源所属组织和版本，`apiVersion`一般由`APIGourp`和`Version`组成，这里的 APIGourp 是`apiextensions.k8s.io`，Version 是`v1beta1`，相关信息可以通过`kubectl api-resoures`查看。`kind`表示资源类型，这里是`CustomResourceDefinition`，表示是一个自定义的资源描述。

### operator是什么 ###

CoreOS 在 2016 年底提出了 Operator 的概念，当时的一段官方定义如下：

An Operator represents human operational knowledge in software, to reliably manage an application.

operator 是一种 kubernetes 的扩展形式，利用自定义资源对象（Custom Resource）来管理应用和组件，允许用户以 Kubernetes 的声明式 API 风格来管理应用及服务。operator 定义了一组在 Kubernetes 集群中打包和部署复杂业务应用的方法，operator主要是为解决**特定**应用或服务关于如何运行、部署及出现问题时如何处理提供的一种特定的自定义方式。比如：

*  按需部署应用服务（总不能用一大堆configmap来管理吧，也会很混乱~w(ﾟДﾟ)w）
 *  实现应用状态的备份和还原，完成版本升级，比如
 *  数据库 schema 或额外的配置设置的改动
 *  为分布式应用进行master选举，例如etcd，或者master-slave架构的mysql集群。

### operator SDK ###

[operator SDK][] —— operator framework，是 CoreOS 公司开发和维护的用于快速创建 operator 的工具，可以帮助我们快速构建 operator 应用，类似的工具还有：

*  [KUDO][] (Kubernetes 通用声明式 Operator)
 *  [kubebuilder][]，kubernetes SIG 在维护的一个项目
 *  [Metacontroller][kubebuilder]，可与 Webhook 结合使用，以实现自己的功能。

如果希望查看 Operator 生态，可以上 [http://operatorhub.io][http_operatorhub.io] ，也可以将自己创建的应用发布上去。

### operator 安装 ###

安装 operator sdk:

export RELEASE_VERSION=v0.13.0
    curl -LO https://github.com/operator-framework/operator-sdk/releases/download/${RELEASE_VERSION}/operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu
    chmod +x operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu && sudo mkdir -p /usr/local/bin/ && sudo cp operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu /usr/local/bin/operator-sdk && rm operator-sdk-${RELEASE_VERSION}-x86_64-linux-gnu

#### 基于模板创建项目 ####

用operator sdk 创建项目模板，这里用官方提供的一个sample-controller的模板：

operator-sdk new <controller-name> --repo github.com/kubernetes/sample-controller

项目结构目录创建完成，如下：

$ operator-sdk new test-controller --repo github.com/kubernetes/sample-controller
    $ tree
    .
    ├── build
    │   ├── bin
    │   │   ├── entrypoint
    │   │   └── user_setup
    │   └── Dockerfile
    ├── cmd
    │   └── manager
    │       └── main.go
    ├── deploy
    │   ├── operator.yaml
    │   ├── role_binding.yaml
    │   ├── role.yaml
    │   └── service_account.yaml
    ├── go.mod
    ├── go.sum
    ├── pkg
    │   ├── apis
    │   │   └── apis.go
    │   └── controller
    │       └── controller.go
    ├── tools.go
    └── version
        └── version.go

#### 创建CRD ####

operator-sdk add api --api-version=<api的版本> --kind=<类型名称>

创建CRD后，多出来了文件夹：

$ operator-sdk add api --api-version=test.k8s.realibox.com/v1 --kind=Realibox
    
    INFO[0000] Generating api version test.k8s.realibox.com/v1 for kind Realibox. 
    INFO[0000] Created pkg/apis/test/group.go               
    INFO[0002] Created pkg/apis/test/v1/realibox_types.go   
    INFO[0002] Created pkg/apis/addtoscheme_test_v1.go      
    INFO[0002] Created pkg/apis/test/v1/register.go         
    INFO[0002] Created pkg/apis/test/v1/doc.go              
    INFO[0002] Created deploy/crds/test.k8s.realibox.com_v1_realibox_cr.yaml 
    INFO[0004] Created deploy/crds/test.k8s.realibox.com_realiboxes_crd.yaml 
    INFO[0004] Running deepcopy code-generation for Custom Resource group versions: [test:[v1], ] 
    INFO[0014] Code-generation complete.                    
    INFO[0014] Running CRD generation for Custom Resource group versions: [test:[v1], ] 
    INFO[0014] Created deploy/crds/test.k8s.realibox.com_realiboxes_crd.yaml 
    INFO[0014] CRD generation complete.                     
    INFO[0014] API generation complete.      
    
    $ tree
    ...
    ├── pkg
    │   ├── apis
    │   │   ├── addtoscheme_test_v1.go
    │   │   ├── apis.go
    │   │   └── test
    │   │       ├── group.go
    │   │       └── v1
    │   │           ├── doc.go
    │   │           ├── realibox_types.go
    │   │           ├── register.go
    │   │           └── zz_generated.deepcopy.go
    │   └── controller
    │       └── controller.go
    ...

test 文件夹下面放得就是 CRD，我们通过`pkg/apis/test/v1/*_types.go`文件定义我们的CRD结构，主要是`Spec`和`Status`：

vim pkg/apis/test/v1/realibox_types.go
    ...
    // RealiboxSpec defines the desired state of Realibox
    type RealiboxSpec struct {
            // INSERT ADDITIONAL SPEC FIELDS - desired state of cluster
            // Important: Run "operator-sdk generate k8s" to regenerate code after modifying this file
            // Add custom validation using kubebuilder tags: https://book-v1.book.kubebuilder.io/beyond_basics/generating_crd.html
    }
    
    type RealiboxStatus struct {
        // INSERT ADDITIONAL STATUS FIELD - define observed state of cluster
        // Important: Run "operator-sdk generate k8s" to regenerate code after modifying this file
        // Add custom validation using kubebuilder tags: https://book-v1.book.kubebuilder.io/beyond_basics/generating_crd.html
    }
    ...

这里我们只改`Spec`字段，将`RealiboxSpec`结构体改为：

type RealiboxSpec struct {
        Domain string `json:"domain,omitempty"`
        OSS string `json:"oss,omitempty"`
        Size    string `json:"size,omitempty"`
    }

更新CRD文件：

operator-sdk generate k8s
    operator-sdk generate crds

CRD本质是一种k8s的资源，因此要使用crd，需要在K8s集群上创建CRD：

kubectl apply -f deploy/crds/test.k8s.realibox.com_realiboxes_crd.yaml

$ kubectl get crd  
NAME CREATED AT  
[http://clusterauthtokens.cluster.cattle.io][http_clusterauthtokens.cluster.cattle.io] 2020-08-29T06:41:42Z  
[http://clusteruserattributes.cluster.cattle.io][http_clusteruserattributes.cluster.cattle.io] 2020-08-29T06:41:42Z  
[http://realiboxes.test.k8s.realibox.com][http_realiboxes.test.k8s.realibox.com] 2020-08-29T07:57:44Z

### 编写controller ###

创建好 CRD 后，我们可以编写 controller 了，先创建一个 controller 监听和核对新创建的realibox资源类型：

命令行说明:

operator-sdk add controller --api-version=<api的版本> --kind=<类型名称>

运行结果：

$ operator-sdk add controller --api-version=test.k8s.realibox.com/v1 --kind=Realibox
    
    $ tree
    ...
    ├── pkg
    │   ├── apis
    │   │   ├── addtoscheme_test_v1.go
    │   │   ├── apis.go
    │   │   └── test
    │   │       ├── group.go
    │   │       └── v1
    │   │           ├── doc.go
    │   │           ├── realibox_types.go
    │   │           ├── register.go
    │   │           └── zz_generated.deepcopy.go
    │   └── controller
    │       ├── add_realibox.go
    │       ├── controller.go
    │       └── realibox
    │           └── realibox_controller.go
    ...

参考链接：

[https://zhuanlan.zhihu.com/p/243132067][https_zhuanlan.zhihu.com_p_243132067]

[operator SDK]: https://link.zhihu.com/?target=https%3A//github.com/operator-framework/operator-sdk
[KUDO]: https://link.zhihu.com/?target=https%3A//kudo.dev/
[kubebuilder]: https://link.zhihu.com/?target=https%3A//metacontroller.app/
[http_operatorhub.io]: https://link.zhihu.com/?target=http%3A//operatorhub.io
[http_clusterauthtokens.cluster.cattle.io]: https://link.zhihu.com/?target=http%3A//clusterauthtokens.cluster.cattle.io
[http_clusteruserattributes.cluster.cattle.io]: https://link.zhihu.com/?target=http%3A//clusteruserattributes.cluster.cattle.io
[http_realiboxes.test.k8s.realibox.com]: https://link.zhihu.com/?target=http%3A//realiboxes.test.k8s.realibox.com
[https_zhuanlan.zhihu.com_p_243132067]: https://zhuanlan.zhihu.com/p/243132067