ceph学习笔记

本是古典何须时尚 2022-09-10 00:19 323阅读 0赞

### 文章目录 ###

*   *   *   *  ceph架构
             *  ceph原理
             *  ceph安装
             *  ceph在k8s中部署
             *  ceph在k8s中使用

#### ceph架构 ####

#### ceph原理 ####

#### ceph安装 ####

#前提条件
    #1、四台机器组成的一个可用的k8s集群 其中一个master 三个node
    #2、每个node有一个100G未格式化的磁盘
    
    ====================================
    #step1：识别磁盘
    #扫描 SCSI总线并添加 SCSI 设备
    for host in $(ls /sys/class/scsi_host) ; do echo "- - -" > /sys/class/scsi_host/$host/scan; done
    
    #重新扫描 SCSI 总线
    for scsi_device in $(ls /sys/class/scsi_device/); do echo 1 > /sys/class/scsi_device/$scsi_device/device/rescan; done
    
    #查看已添加的磁盘，能够看到sdb说明添加成功
    lsblk
    ====================================
    #step2：三个node节点都导入镜像
    docker pull rook/ceph:v1.6.3
    docker pull ceph/ceph:v15.2.11
    docker pull hhhlhh/cephcsi
    docker tag hhhlhh/cephcsi:latest   quay.io/cephcsi/cephcsi:v3.1.1.4
    
    docker pull antmoveh/csi-snapshotter:v4.0.0
    docker tag antmoveh/csi-snapshotter:v4.0.0 k8s.gcr.io/sig-storage/csi-snapshotter:v4.0.0 
    
    docker pull antmoveh/csi-provisioner:v2.0.4
    docker tag antmoveh/csi-provisioner:v2.0.4 k8s.gcr.io/sig-storage/csi-provisioner:v2.0.4
    
    docker pull antmoveh/csi-resizer:v1.0.1
    docker tag antmoveh/csi-resizer:v1.0.1 k8s.gcr.io/sig-storage/csi-resizer:v1.0.1
    
    docker pull antmoveh/csi-attacher:v3.0.2
    docker tag antmoveh/csi-attacher:v3.0.2 k8s.gcr.io/sig-storage/csi-attacher:v3.0.2
    
    docker pull antmoveh/csi-node-driver-registrar:v2.0.1 
    docker tag  antmoveh/csi-node-driver-registrar:v2.0.1 k8s.gcr.io/sig-storage/csi-node-driver-registrar:v2.0.1
    ====================================
    #step3：部署rook operator
    # 克隆指定版本
    git clone --single-branch --branch v1.6.3 https://github.com/rook/rook.git
    
    # 进入到目录
    cd rook/cluster/examples/kubernetes/ceph
    
    #全部的pod都会在rook-ceph命名空间下建立
    kubectl create -f common.yaml
    
    # k8s1.15版本及其以上的需要这个
    kubectl create -f crds.yaml 
    
    #部署Rook操做员
    kubectl create -f operator.yaml
    
    # 在继续操作之前，验证 rook-ceph-operator 是否处于“Running”状态：
    kubectl get pod -n rook-ceph
    ====================================
    #step4：创建rook ceph集群
    kubectl create -f cluster.yaml
    
    # 通过 kubectl 来查看 rook-ceph 命名空间下面的 Pod 状态
    kubectl get pods -n rook-ceph
    # OSD Pod 的数量将取决于集群中的节点数量以及配置的设备和目录的数量
    
    # 如果要删除已创建的Ceph集群，可执行命令：kubectl delete -f cluster.yaml
    ====================================
    #step5：Rook 工具箱---Ceph toolbox 命令行工具
    # 验证集群是否处于正常状态，可以使用 Rook 工具箱，Rook 工具箱是一个用于调试和测试 Rook 的常用工具容器，该工具基于 CentOS 镜像，所以可以使用 yum 来轻松安装更多的工具包。
    # 默认启动的Ceph集群，是开启Ceph认证的，这样你登录Ceph组件所在的Pod里，是无法去获取集群状态，以及执行CLI命令，这时须要部署Ceph toolbox，命令如下
    kubectl create -f toolbox.yaml
    
    # 一旦 toolbox 的 Pod 运行成功后，就可以使用下面的命令进入到工具箱内部进行操作：
    # 进入ceph tool容器
    kubectl exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') -n rook-ceph -- bash
    
    #查看ceph状态
    # ceph status
    
      cluster:
        id:     b0228f2b-d0f4-4a6e-9c4f-9d826401fac2
        health: HEALTH_WARN
                mons are allowing insecure global_id reclaim
     
      services:
        mon: 3 daemons, quorum a,b,c (age 90m)
        mgr: a(active, since 87m)
        mds: myfs:1 {
        0=myfs-b=up:active} 1 up:standby-replay
        osd: 3 osds: 3 up (since 88m), 3 in (since 5h)
     
      data:
        pools:   4 pools, 97 pgs
        objects: 22 objects, 2.2 KiB
        usage:   3.2 GiB used, 297 GiB / 300 GiB avail
        pgs:     97 active+clean
     
      io:
        client:   852 B/s rd, 1 op/s rd, 0 op/s wr
    
    #查看osd状态
    # ceph osd status
    
    ID  HOST               USED  AVAIL  WR OPS  WR DATA  RD OPS  RD DATA  STATE      
     0  develop-worker-2  1089M  98.9G      0        0       0        0   exists,up  
     1  develop-worker-1  1089M  98.9G      0        0       1      105   exists,up  
     2  develop-master-1  1089M  98.9G      0        0       0        0   exists,up 
    
    # ceph df
    
    --- RAW STORAGE ---
    CLASS  SIZE     AVAIL    USED     RAW USED  %RAW USED
    hdd    300 GiB  297 GiB  195 MiB   3.2 GiB       1.06
    TOTAL  300 GiB  297 GiB  195 MiB   3.2 GiB       1.06
     
    --- POOLS ---
    POOL                   ID  PGS  STORED   OBJECTS  USED     %USED  MAX AVAIL
    device_health_metrics   1    1      0 B        0      0 B      0     94 GiB
    replicapool             2   32      0 B        0      0 B      0     94 GiB
    myfs-metadata           3   32  2.2 KiB       22  1.5 MiB      0     94 GiB
    myfs-data0              4   32      0 B        0      0 B      0     94 GiB
    
    # rados df
    
    POOL_NAME                 USED  OBJECTS  CLONES  COPIES  MISSING_ON_PRIMARY  UNFOUND  DEGRADED  RD_OPS       RD  WR_OPS      WR  USED COMPR  UNDER COMPR
    device_health_metrics      0 B        0       0       0                   0        0         0       0      0 B       0     0 B         0 B          0 B
    myfs-data0                 0 B        0       0       0                   0        0         0       0      0 B       0     0 B         0 B          0 B
    myfs-metadata          1.5 MiB       22       0      66                   0        0         0    2496  1.2 MiB      45  13 KiB         0 B          0 B
    replicapool                0 B        0       0       0                   0        0         0       0      0 B       0     0 B         0 B          0 B
    
    total_objects    22
    total_used       3.2 GiB
    total_avail      297 GiB
    total_space      300 GiB
    #至此已经部署完成了，查看rook-ceph命名空间下的pod，首先看pod的状况，有operator、mgr、agent、discover、mon、osd、tools，且osd-prepare是completed的状态，其它是running的状态
    
    比如现在我们要查看集群的状态，需要满足下面的条件才认为是健康的：
    
    所有 mons 应该达到法定数量
    mgr 应该是激活状态
    至少有一个 OSD 处于激活状态
    如果不是 HEALTH_OK 状态，则应该查看告警或者错误信息
    
    ====================================
    #step6：访问dashboard
    kubectl delete  services  rook-ceph-mgr-dashboard    -n rook-ceph
    kubectl create -f dashboard-external-https.yaml
    kubectl get  services -n rook-ceph
    kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}" | base64 --decode && echo
    在访问的时候需要登录才能够访问，Rook 创建了一个默认的用户 admin，并在运行 Rook 的命名空间中生成了一个名为 rook-ceph-dashboard-admin-password 的 Secret，要获取密码，可以运行以下命令：
    访问地址，注意是https，http会访问不成功
    用上面获得的密码和用户名 admin 就可以登录 Dashboard 了，在 Dashboard 上面可以查看到整个集群的状态

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA54Ot5rCU55CD44CB_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

#### ceph在k8s中部署 ####

#### ceph在k8s中使用 ####

#RBD 这个有待研究 按照博主的方法没整出来
    #1.安装rbd插件storageclass
    # kubectl apply -f rook/cluster/examples/kubernetes/ceph/csi/rbd/storageclass.yaml
    
    #2.查看建立rbd结果
    # kubectl  get storageclasses.storage.k8s.io
    NAME              PROVISIONER                  RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
    rook-ceph-block   rook-ceph.rbd.csi.ceph.com   Delete          Immediate              true                   11s
    #3、建立pvc指定storageClassName为rook-ceph-block框
    [root@master code]# cat pvc.yml
    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      name: my-mysql-data
      namespace: test
    spec:
      accessModes:
        - ReadWriteMany
      resources:
        requests:
          storage: 5Gi
      storageClassName: rook-ceph-block

#CEPHFS安装使用
    #1.安装cephfs元数据存储池及插件storageclass
    kubectl  apply -f rook/cluster/examples/kubernetes/ceph/filesystem.yaml
    kubectl  apply -f rook/cluster/examples/kubernetes/ceph/csi/cephfs/storageclass.yaml
    
    #2.以pod的形式部署在rook-ceph命名空间中，会有两个pod。
    kubectl -n rook-ceph get pod -l app=rook-ceph-mds
    
    NAME                                    READY   STATUS    RESTARTS   AGE
    rook-ceph-mds-myfs-a-54f64f7d6f-rgrv6   1/1     Running   0          19s
    rook-ceph-mds-myfs-b-94f87f777-fd6fv    1/1     Running   0          17s
    
    #3.查看建立rbd结果
    kubectl get storageclasses.storage.k8s.io
    
    NAME              PROVISIONER                     RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
    rook-ceph-block   rook-ceph.rbd.csi.ceph.com      Delete          Immediate              true                   12m
    rook-cephfs       rook-ceph.cephfs.csi.ceph.com   Delete          Immediate              true                   57s
    
    #4.cephfs使用和rbd同样指定storageClassName的值便可，须要注意的是rbd只支持ReadWriteOnce，cephfs能够支持ReadWriteMany。
    
    apiVersion: v1
    kind: PersistentVolumeClaim
    metadata:
      namespace: default
      name: airflow-service-log-pvc
    spec:
      accessModes:
        #- ReadWriteOnce
        - ReadWriteMany
      resources:
        requests:
          storage: 2Gi
      storageClassName: rook-cephfs
      
    #5、建立一个pod来使用pvc做存储并验证持久化效果
    
    apiVersion: v1
    kind: Pod
    metadata:
      name: redis
    spec:
      containers:
      - name: redis
        image: redis:4-alpine
        ports:
        - containerPort: 6379
          name: redisport
        volumeMounts:
        - mountPath: /data
          name: redis-pvc
      volumes:
        - name: redis-pvc
          persistentVolumeClaim:
            claimName: airflow-service-log-pvc
    
    [root@master code]# kubectl exec -it  redis  -- sh
    /data #
    /data # ls
    /data # redis-cli
    127.0.0.1:6379> set mykey "hello world"
    OK
    127.0.0.1:6379> get mykey
    "hello world"
    127.0.0.1:6379> BGSAVE
    Background saving started
    127.0.0.1:6379> exit
    /data # ls
    dump.rdb
    
    [root@master code]# kubectl delete -f pod.yml
    pod "redis" deleted
    [root@master code]# kubectl apply  -f pod.yml
    pod/redis created
    [root@master code]# kubectl exec -it  redis  -- sh
    /data #
    /data # redis-cli
    127.0.0.1:6379> get mykey
    "hello world"
    127.0.0.1:6379>

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA54Ot5rCU55CD44CB_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220829/975f321f515c42aa82548f36c7c173ce.png