cephfs调优 & 性能测试 & 监控 & 常用命令

￡神魔★判官ぃ 2022-05-12 07:08 635阅读 0赞

## 前言 ##

k8s对ceph rbd模式不支持**ReadWriteMany（RWX）**,为了满足k8s的灵活性需求,采用支持多点挂载的cephfs工作模式.网上少有针对cephfs调优的文章,因此在本篇,将针对cephfs进行一些参数调优及性能测试

## 硬件规划 ##

![这里写图片描述][70]

## 配置调优 ##

在进行配置调优之前首先理解一下ceph几种基础配置项名词的定义  
**名词解析:**

object: ceph数据存储的基本单位,可以是普通data也可以是journal data
    osd: ceph数据存储的目标载体,一般一个osd实例对应一块磁盘
    pg(Placement Group): 存储位组,object对象的存储时的分组,与osd关联
    pgp( Placement Group for Placement purpose):值应与pg保持一致,当此值修改时,pg内的数据对象才会进行rebalance
    pool: 数据的逻辑隔离与管理单位,由多个pg构成

**关系图:**  
![在这里插入图片描述][70 1]

经过多次的对参数反复调整,将ceph.conf修改成如下配置,比较适合我们的使用场景:

[global]
    fsid = 05bd836f-f307-47fa-ae95-34e302fbd9e8
    mon_initial_members = h020112, h020113, h020114
    mon_host = 192.168.20.112,192.168.20.113,192.168.20.114
    auth_cluster_required = cephx
    auth_service_required = cephx
    auth_client_required = cephx
    public_network= 192.168.20.0/24
    
    
    osd pool default size = 2
    osd pool default pg num =  1024
    osd pool default pgp num = 1024
    osd data = /var/lib/ceph/osd/ceph-$id
    osd journal size = 81920
    osd mkfs type = xfs
    osd mkfs options xfs = -f
    osd max write size = 512 #默认值90                   #OSD一次可写入的最大值(MB)
    osd client message size cap = 2147483648 #默认值100    #客户端允许在内存中的最大数据(bytes)
    osd deep scrub stride = 131072 #默认值524288         #在Deep Scrub时候允许读取的字节数(bytes)
    osd op threads = 16 #默认值2                         #并发文件系统操作数
    osd disk threads = 4 #默认值1                        #OSD密集型操作例如恢复和Scrubbing时的线程
    osd map cache size = 1024 #默认值500                 #保留OSD Map的缓存(MB)
    osd map cache bl size = 128 #默认值50                #OSD进程在内存中的OSD Map缓存(MB)
    osd mount options xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier" #默认值rw,noatime,inode64  #Ceph OSD xfs Mount选项
    osd recovery op priority = 2 #默认值10              #恢复操作优先级，取值1-63，值越高占用资源越高
    osd recovery max active = 10 #默认值15              #同一时间内活跃的恢复请求数
    osd max backfills = 4  #默认值10                  #一个OSD允许的最大backfills数
    osd min pg log entries = 30000 #默认值3000           #修建PGLog是保留的最大PGLog数
    osd max pg log entries = 100000 #默认值10000         #修建PGLog是保留的最大PGLog数
    osd mon heartbeat interval = 40 #默认值30            #OSD ping一个monitor的时间间隔（默认30s）
    osd op log threshold = 50 #默认值5                  #一次显示多少操作的log
    
    
    filestore xattr use omap = true
    filestore min sync interval = 10                        #默认0.1#从日志到数据盘最小同步间隔(seconds)
    filestore max sync interval = 15                        #默认5#从日志到数据盘最大同步间隔(seconds)
    filestore queue max ops = 25000                        #默认500#数据盘最大接受的操作数
    filestore queue max bytes = 1048576000      #默认100   #数据盘一次操作最大字节数(bytes
    filestore queue committing max ops = 50000 #默认500     #数据盘能够commit的操作数
    filestore queue committing max bytes = 10485760000 #默认100 #数据盘能够commit的最大字节数(bytes)
    filestore split multiple = 1600 #默认值2                  #前一个子目录分裂成子目录中的文件的最大数量
    filestore merge threshold = 40 #默认值10               #前一个子类目录中的文件合并到父类的最小数量
    filestore fd cache size = 204800 #默认值128  #对象文件句柄缓存大小
    filestore omap header cache size = 204800
    filestore fiemap = true    #默认值false  #读写分离
    filestore ondisk finisher threads = 2  #默认值为1
    filestore apply finisher threads = 2   #默认值为1
    
    
    mds cache size = 102400000
    mds beacon grace = 120
    mds session timeout = 15
    mds session autoclose = 60
    mds reconnect timeout = 15
    mds decay halflife = 10
    
    
    rbd op threads = 4
    rbd cache size = 268435456
    rbd cache max dirty = 134217728
    rbd cache max dirty age = 5
    rbd cache max dirty object = 64
    
    
    journal max write bytes = 1073714824
    journal max write entries = 10000
    journal queue max ops = 50000
    journal queue max bytes = 10485760000
    
    
    ms_async_op_threads = 5     #默认值3
    ms dispatch throttle bytes = 1048576000 #默认值 104857600 #等待派遣的最大消息数
    
    
    objecter inflight ops = 819200 #默认值1024           #客户端流控，允许的最大未发送io请求数，超过阀值会堵塞应用io，为0表示不受限
    
    
    client_caps_release_delay = 10

## 创建mds ##

ceph-deploy mds create h020112 h020113 h020114
    ceph osd pool create yks_cephfs_data
    ceph osd pool create yks_cephfs_metadata
    
    # cat /etc/ceph/ceph.client.admin.keyring
    [client.admin]
    	key = AQB/q5db/XWqKRAA52WFBxRLevtcC3bus1GeyUbw==
    
    ### 准备在客户端挂载ceph ###
    
    # 首先客户端必须先安装ceph-common
    $ yum -y install ceph-common
    # 将key写入文件/etc/ceph/admin.secret中
    $ echo "AQB/q5db/XWqKRAA52WFBxRLevtcC3bus1GeyUbw==" > /etc/ceph/admin.secret
    # 挂载ceph
    $ mkdir /mnt/cephfs
    $ mount -t ceph 192.168.20.114:6789:/ /mnt/cephfs -o name=admin,secretfile=/etc/ceph/admin.secret
    $ echo "192.168.20.114:6789:/ /mnt/cephfs    ceph    name=admin,secretfile=/etc/ceph/admin.secret,noatime   0   2" >> /etc/fstab
    # 挂载成功后,即可使用cephfs文件系统

## 性能测试 ##

使用fio命令测试小块(16k)\\大块(512k)文件读写\\随机读写性能,测试结果如下:  
![这里写图片描述][70 2]

## 稳定性测试 ##

使用多线程压力测试脚本运行一天两夜往cephfs内写入了几千万个小文件,压力测试脚本如下:

#!/bin/bash
    
    for dir1 in {1..100};do
     mkdir /mnt/cephfs/${dir1}
     cd /mnt/cephfs/${dir1}
     for i in {1..20000};do
       dd if=/dev/zero of=file${i} bs=1024k count=1
     done
    
      dir2s="a b c d e f g j"
      for dir2 in ${dir2s};do
      { mkdir /mnt/cephfs/${dir1}/${dir2}
        cd /mnt/cephfs/${dir1}/${dir2} 
        for i in {1..100000};do
          dd if=/dev/zero of=file${i} bs=128k count=1
        done } &
      done 
    done

压测的过程出现过几次客户端响应阻塞的意外,但基本都自动恢复,稳定性尚可.  
在写入了5T 4k的小文件后,查看文件大小\\目录大小\\文件详情等常规操作延迟可以接受,测试基本通过

## Ceph监控 ##

ceph性能指标及容量监控,prometheus采集+grafana展示,这里使用digitalocean提供的ceph\_exporter prometheus插件.[项目主页:][Link 1]  
**安装ceph\_exporter**

yum install golang
    yum install librados2-devel librbd1-devel
    
    # 配置go PATH环境变量
    cat > /etc/profile.d/go.sh << EOF
    export GOROOT=/usr/lib/golang
    export GOBIN=$GOROOT/bin
    export GOPATH=/home/golang
    export PATH=$PATH:$GOROOT/bin:$GOPATH/bin
    EOF
    
    source /etc/profile.d/go.sh
    
    # 安装.过程没有输出,请耐心等待
    go get -u github.com/digitalocean/ceph_exporter
    # 进入目录可以查看到已安装的ceph_exporter
    cd /usr/lib/golang/bin/
    ls
    
    # 启动程序
    nohup ./ceph_exporter &

**prometheus配置job**

- job_name: 'ceph-exporter'
        static_configs:
          - targets: ['192.168.20.114:9128']
            labels:
              alias: ceph-exporter

重启prometheus,web ui查看target:  
![在这里插入图片描述][70 3]

prometheus/grafana安装配置步骤见此前的文章

**grafana添加图形模板**  
导入179号模板:  
![在这里插入图片描述][70 4]  
![在这里插入图片描述][70 5]

监控告警配置可以自定义阈值,参考此前文章触发告警接口

## Ceph常用命令 ##

# 服务相关:
    - systemctl status ceph\*.service ceph\*.target  #查看所有服务
    - systemctl stop ceph\*.service ceph\*.target  #关闭所有服务
    - systemctl start ceph.target   #启动服务
    - systemctl stop ceph-osd\*.service  # 关闭所有osd服务
    - systemctl stop ceph-mon\*.service  #关闭所有mon服务
    - sudo systemctl start ceph-osd@{id}
    - sudo systemctl start ceph-mon@{hostname}
    - sudo systemctl start ceph-mds@{hostname}
    
    # 查看
    - ceph -help #查看命令帮助
    - ceph -s #查看状态
    - ceph osd pool set rbd pg_num 1024   # 修改pg_num数量
    - ceph osd pool set rbd pg_num 1024   # 修改pgp_num数量
    - ceph osd tree  #查看osd树
    - ceph osd pool ls  #查看所有的osd池
    - ceph --admin-daemon /var/run/ceph/ceph-osd.11.asok config show  # 查看指定的osd运行中的所有参数
    - rados df   #查看储存池使用情况
    - rados -p rbd ls |sort  
    - ceph osd pool get rbd pg_num 
    - ceph osd pool get rbd pgp_num 
    - ceph osd pool set rbd pg_num 1024
    - ceph osd pool set rbd pgp_num 1024
    
    # rbd相关
    - rbd create --size {megabytes} {pool-name}/{image-name}
    - rbd list
    - rbd info RBD_NAME
    - rbd feature disable RBD_NAME FEATURE1 FEATURE1 ..
    - rbd map RBD_NAME  #映射到系统内核
    - rbd showmapped   #查看rbd映射条目
    - rbd unmap /dev/rbd0  # 取消内核映射
    - rbd resize --size 2048 RBD_NAME    # to increase
    - rbd resize --size 2048 foo --allow-shrink  #to decrease
    - rbd du {RBD_NAME} -p rbd  #查看某个或所有Image的容量,-p 指定pool名
    - rbd diff RBD_NAME | awk '{ SUM += $2 } END { print SUM/1024/1024/1024 " GB" }' #查看rbd image当前占用大小
    
    # 修改
    - ceph tell # 使用tell命令手动临时修改组件的配置
    [例如:集群状态恢复涉及数据回填时,加速回填速度]
    - ceph tell 'osd.*' injectargs '--osd-max-backfills 16'       #默认为1
    - ceph tell 'osd.*' injectargs '--osd-recovery-max-active 8'  #默认为4

**最后**  
Ceph是一套庞大的存储系统,工作原理及涉及组件相当复杂,存储更是系统架构中的重中之重,一定要慎之又慎,同时做好知识储备,多查官方文档,另外再提一个坑,那就是官方的中文文档除了丰富度不如英文文档外,很多参数的默认值与英文文档不一致,英文文档更加准确,因此推荐查看英文文档.  
链接:[ceph官方文档][ceph]

[70]: /images/20220512/9b0b4ec22d264fba922e10c8d35e3941.png
[70 1]: /images/20220512/f6d99b4ead5e4cb7915ebb1d23437c90.png
[70 2]: /images/20220512/8fc1ce97d82648f39b142116c3880abe.png
[Link 1]: https://github.com/digitalocean/ceph_exporter
[70 3]: /images/20220512/930914c55e5a47cf9c2149f0e73aa1b5.png
[70 4]: /images/20220512/43c7f408c865484785668981234a4c2d.png
[70 5]: /images/20220512/471b83629fbd420097f322b281907e32.png
[ceph]: http://docs.ceph.com/docs/master/