【kubernetes/k8s概念】k8s csi

清疚 2022-02-14 09:12 491阅读 0赞

WHY

In-Tree: 需要将后端存储的代码逻辑放到K8S的代码中运行。逻辑代码可能会引起与K8S其他部件之间的相互影响。

Flexvolume: 调用一个主机的可执行程序包的方式执行存储卷的挂载使用。解决了In-Tree方式的强耦合，不过命令行调用的方式，在主机安全性、部署依赖的容器化、与K8S服务之间的相互扩展性等方面存在不足
Flexvolume运行在host 空间，不能使用rbac授权机制访问Kubernetes API，导致其功能极大的受限。

CSI: CSI标准使K8S和存储提供者之间将彻底解耦，将存储的所有的部件作为容器形式运行在K8S上。

#

目前版本信息：




































Kubernetes CSI Version CSI Status
v1.9 v0.1 Alpha
v1.10 v0.2 Beta
v1.11 v0.3 Beta
v1.12 v0.3 Beta
v1.13 v1.0.0 GA

CSI是Container Storage Interface的缩写。CSI是由来自Kubernetes、Mesos、 Docker等社区的member联合制定的一个行业标准接口规范，旨在将任意存储系统暴露给容器化应用程序。CSI规范定义了存储提供商（SP）实现CSI兼容插件的最小操作集和部署建议。CSI规范的主要焦点是声明插件必须实现的接口

架构图

watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25nbGluemhhbmc_size_16_color_FFFFFF_t_70

  1.    三个独立的外部组件（External Components），即：Driver Registrar、External Provisioner 和 External Attacher，对应的正是从 Kubernetes 项目里面剥离出来的那部分存储管理功能。
  3.    External Components 虽然是外部组件，但依然由 Kubernetes 社区来开发和维护。
  5.    参考：[http://bamboox.online/k8s-15-%E5%AD%98%E5%82%A8-02.html][http_bamboox.online_k8s-15-_E5_AD_98_E5_82_A8-02.html]

Driver Registrar

  1.  将插件注册到 kubelet ，需要请求 CSI 插件的 Identity 服务来获取插件信息

External Provisioner

  1.  Watch  APIServer 的 PVC 对象，PVC 被创建时，就会调用 CSI Controller 的 CreateVolume 方法，创建对应 PV

External Attacher

  1.  Watch APIServer 的 VolumeAttachment 对象，就会调用 CSI Controller 服务的 ControllerPublish 方法，完成它所对应的 Volume 的 Attach 阶段

开发步骤

  1. Create a containerized application implementing the Identity, Node, and optionally the Controller services described in the CSI specification (the CSI driver container). See Developing CSI Driver for more information.
  2. Unit test it using csi-sanity. See Driver - Unit Testing for more information.
  3. Define Kubernetes API YAML files that deploy the CSI driver container along with appropriate sidecar containers. See Deploying in Kubernetes for more information.
  4. Deploy the driver on a Kubernetes cluster and run end-to-end functional tests on it. See Driver - Functional Testing
  1. At a minimum, CSI drivers must implement the following CSI services:

  • CSI Identity service

    • Enables callers (Kubernetes components and CSI sidecar containers) to identify the driver and what optional functionality it supports.

  • CSI Node service

    • Only NodePublishVolume, NodeUnpublishVolume, and NodeGetCapabilities are required.
    • Required methods enable callers to make a volume available at a specified path and discover what optional functionality the driver supports.

一. Identity 身份服务

  1.   Node Plugin和Controller Plugin都必须实现这些RPC集。协调kubernetes与csi的版本信息，
  3.   负责对外暴露这个插件的信息
  5. service Identity {
  6.   rpc GetPluginInfo(GetPluginInfoRequest)
  7.     returns (GetPluginInfoResponse) {}
  9.   rpc GetPluginCapabilities(GetPluginCapabilitiesRequest)
  10.     returns (GetPluginCapabilitiesResponse) {}
  12.   rpc Probe (ProbeRequest)
  13.     returns (ProbeResponse) {}
  14. }
  • PluginCapability_Service_CONTROLLER_SERVICE：代表对 ControllerService 插件提供 RPC 服务，这个是可选的，如果实现了就开启
  • PluginCapability_Service_VOLUME_ACCESSIBILITY_CONSTRAINTS：代表 volume 在集群中访问限制

二. Controller 控制器服务

  1. Controller Plugin必须实现这些RPC集。创建以及管理volume管理卷
  3. service Controller {
  4.   rpc CreateVolume (CreateVolumeRequest)
  5.     returns (CreateVolumeResponse) {}
  7.   rpc DeleteVolume (DeleteVolumeRequest)
  8.     returns (DeleteVolumeResponse) {}
  10.   rpc ControllerPublishVolume (ControllerPublishVolumeRequest)
  11.     returns (ControllerPublishVolumeResponse) {}
  13.   rpc ControllerUnpublishVolume (ControllerUnpublishVolumeRequest)
  14.     returns (ControllerUnpublishVolumeResponse) {}
  16.   rpc ValidateVolumeCapabilities (ValidateVolumeCapabilitiesRequest)
  17.     returns (ValidateVolumeCapabilitiesResponse) {}
  19.   rpc ListVolumes (ListVolumesRequest)
  20.     returns (ListVolumesResponse) {}
  22.   rpc GetCapacity (GetCapacityRequest)
  23.     returns (GetCapacityResponse) {}
  25.   rpc ControllerGetCapabilities (ControllerGetCapabilitiesRequest)
  26.     returns (ControllerGetCapabilitiesResponse) {}
  28.   rpc CreateSnapshot (CreateSnapshotRequest)
  29.     returns (CreateSnapshotResponse) {}
  31.   rpc DeleteSnapshot (DeleteSnapshotRequest)
  32.     returns (DeleteSnapshotResponse) {}
  34.   rpc ListSnapshots (ListSnapshotsRequest)
  35.     returns (ListSnapshotsResponse) {}
  37.   rpc ControllerExpandVolume (ControllerExpandVolumeRequest)
  38.     returns (ControllerExpandVolumeResponse) {}
  39. }
  • ControllerServiceCapability_RPC_CREATE_DELETE_VOLUME：支持动态 volume 执行 provision delete 操作
  • ControllerServiceCapability_RPC_PUBLISH_UNPUBLISH_VOLUME：代表实现了 ControllerPublishVolume 和 ControllerUnpublishVolume 方法，对应 kubernetes 中 attach detach volume 操作

三. Node 节点服务

  1. Node Plugin必须实现这些RPC集。 将volume存储卷挂载到指定目录中，/var/lib/kubelet/plugins/$\{plugin\_name\}/csi.sock
  3. service Node {
  4.   rpc NodeStageVolume (NodeStageVolumeRequest)
  5.     returns (NodeStageVolumeResponse) {}
  7.   rpc NodeUnstageVolume (NodeUnstageVolumeRequest)
  8.     returns (NodeUnstageVolumeResponse) {}
  10.   rpc NodePublishVolume (NodePublishVolumeRequest)
  11.     returns (NodePublishVolumeResponse) {}
  13.   rpc NodeUnpublishVolume (NodeUnpublishVolumeRequest)
  14.     returns (NodeUnpublishVolumeResponse) {}
  16.   rpc NodeGetVolumeStats (NodeGetVolumeStatsRequest)
  17.     returns (NodeGetVolumeStatsResponse) {}
  20.   rpc NodeExpandVolume(NodeExpandVolumeRequest)
  21.     returns (NodeExpandVolumeResponse) {}
  24.   rpc NodeGetCapabilities (NodeGetCapabilitiesRequest)
  25.     returns (NodeGetCapabilitiesResponse) {}
  27.   rpc NodeGetInfo (NodeGetInfoRequest)
  28.     returns (NodeGetInfoResponse) {}
  29. }
  • NodeServiceCapability_RPC_STAGE_UNSTAGE_VOLUME：实现了 NodeStageVolume 和 NodeUnstageVolume 方法，对应了 kubernetes 中的 mount / unmount device 操作

1. DefaultIdentityServer保存driver对象

  1.  实现了三个接口 GetPluginInfo，GetPluginCapabilities，Probe
  3. // DefaultIdentityServer stores driver object
  4. type DefaultIdentityServer struct {
  5.     Driver *CSIDriver
  6. }

1.1 GetPluginInfo

  1.     获得plugin 信息，包括插件名字与版本
  3. // GetPluginInfo returns plugin information
  4. func (ids *DefaultIdentityServer) GetPluginInfo(ctx context.Context, req *csi.GetPluginInfoRequest) (*csi.GetPluginInfoResponse, error) {
  5.     klog.V(5).Infof("Using default GetPluginInfo")
  7.     if ids.Driver.name == "" {
  8.         return nil, status.Error(codes.Unavailable, "Driver name not configured")
  9.     }
  11.     if ids.Driver.version == "" {
  12.         return nil, status.Error(codes.Unavailable, "Driver is missing version")
  13.     }
  15.     return &csi.GetPluginInfoResponse{
  16.         Name:          ids.Driver.name,
  17.         VendorVersion: ids.Driver.version,
  18.     }, nil
  19. }

1.2 Probe 用于探测

  1. // Probe returns empty response
  2. func (ids *DefaultIdentityServer) Probe(ctx context.Context, req *csi.ProbeRequest) (*csi.ProbeResponse, error) {
  3.     return &csi.ProbeResponse{}, nil
  4. }

1.3 GetPluginCapabilities用于获得插件具有那些特权

  1. // GetPluginCapabilities returns plugin capabilities
  2. func (ids *DefaultIdentityServer) GetPluginCapabilities(ctx context.Context, req *csi.GetPluginCapabilitiesRequest) (*csi.GetPluginCapabilitiesResponse, error) {
  3.     klog.V(5).Infof("Using default capabilities")
  4.     return &csi.GetPluginCapabilitiesResponse{
  5.         Capabilities: []*csi.PluginCapability{
  6.             {
  7.                 Type: &csi.PluginCapability_Service_{
  8.                     Service: &csi.PluginCapability_Service{
  9.                         Type: csi.PluginCapability_Service_CONTROLLER_SERVICE,
  10.                     },
  11.                 },
  12.             },
  13.         },
  14.     }, nil
  15. }

2. DefaultNodeServer实现了NodeServer接口

  • NodeStageVolume(ctx context.Context, req *csi.NodeStageVolumeRequest)
  • NodeUnstageVolume(ctx context.Context, req *csi.NodeUnstageVolumeRequest)
  • NodeGetInfo(ctx context.Context, req *csi.NodeGetInfoRequest)
  • NodeGetCapabilities(ctx context.Context, req *csi.NodeGetCapabilitiesRequest)

  • NodeGetVolumeStats(ctx context.Context, in *csi.NodeGetVolumeStatsRequest)

    // DefaultNodeServer stores driver object
    type DefaultNodeServer struct {

    1. Driver *CSIDriver

    }

四. CSIDriver Object

  1. 主要有两个目的：
  • 简化了 driver 服务发现：可以通过 Kubectl get CSIDriver
  • 定制 k8s driver 行为功能：比如默认 Attach / Detach 操作

4.1 CSIDriver Object 定义格式

  1.  attachRequired:：需要 attach 操作，实现了 **ControllerPublishVolume** 方法
  3.  podInfoOnMount：在 mount 操作中需要 pod 的信息，比如 name UID 等，如果设置为 true，**NodePublishVolume** 方法中 volume\_context 如下所示：
  • "csi.storage.k8s.io/pod.name": pod.Name
  • "csi.storage.k8s.io/pod.namespace": pod.Namespace

  • "csi.storage.k8s.io/pod.uid": string(pod.UID)

    volumeLifecycleModes：k8s v1.16 版本新增，

apiVersion: storage.k8s.io/v1beta1
kind: CSIDriver
metadata:
name: hostpath.csi.k8s.io
spec:
attachRequired: true
podInfoOnMount: true
volumeLifecycleModes:

  • Persistent
  • Ephemeral

五. CSINode Object

  1. 主要有以下几个目的：
  • 影射 k8s node 名字到 CSI node 名字：如果新的 CSI driver 注册，存储信息
  • driver 可用性
  • volume topology

5.1 CSINode Object 定义

  • drivers - list of CSI drivers running on the node and their properties.
  • name - the CSI driver that this object refers to.
  • nodeID - the assigned identifier for the node as determined by the driver.
  • topologyKeys - A list of topology keys assigned to the node as supported by the driver.

apiVersion: storage.k8s.io/v1beta1
kind: CSINode
metadata:
name: master-node
spec:
drivers:

  • name: hostpath.csi.k8s.io
    nodeID: master-node
    topologyKeys:
    • topology.hostpath.csi/node
  1.   [node-driver-registrar][] sidecar container 创建 CSINode 对象

Kubernetes Changelog

Kubernetes 1.14

Breaking Changes

  • csi.storage.k8s.io/v1alpha1 CSINodeInfo and CSIDriver CRDs are no longer supported.

Features

  • New beta features:

    • Topology
    • Raw block
    • Skip attach
    • Pod info on mount

  • New alpha features:

    • Volume expansion
  • New storage.k8s.io/v1beta1 CSINode and CSIDriver objects were introduced.

Kubernetes 1.13

Deprecations

  • CSI spec 0.2 and 0.3 are deprecated and support will be removed in Kubernetes 1.18.

Features

  • GA support added for CSI spec 1.0.

参考：

  1. Kubernetes Container Storage Interface (CSI) Documentation
  3. How to write a Container Storage Interface (CSI) plugin
  5.       [https://arslan.io/2018/06/21/how-to-write-a-container-storage-interface-csi-plugin/][https_arslan.io_2018_06_21_how-to-write-a-container-storage-interface-csi-plugin]

发表评论

表情：
评论列表 （有 0 条评论，491人围观）

还没有评论，来说两句吧...

相关阅读

    相关 k8s基本概念

    是什么？ 基于容器技术的分布式架构，支持自动化部署，大规模可伸缩，应用容器化管理。复制多个容器（集装箱docker），集群。 做什么？ 负载均衡，容器自动化复制和

    深藏阁楼爱情的钟深藏阁楼爱情的钟/ 0 赞/ 293 阅读

    相关 k8s概念

    k8s中大部分概念如node/pod等都可以看做资源对象，k8s其实是一个高度自动化的资源控制系统，通过跟踪比对etcd里的资源期望状态和当前环境里的实际资源状态差异来实现自动

    电玩女神电玩女神/ 0 赞/ 685 阅读