ceph遇到问题汇总

港控/mmm° 2022-06-06 13:11 299阅读 0赞

一、Monitor clock skew detected问题  
**问题描述：**  
Monitor clock skew detected

[root@admin-node my-cluster]# ceph -s
        cluster a7f64266-0894-4f1e-a635-d0aeaca0e993
         health HEALTH_ERR
                16 pgs are stuck inactive for more than 300 seconds
                16 pgs stuck inactive
                16 pgs stuck unclean
         monmap e1: 1 mons at {node1=192.168.57.141:6789/0}
                election epoch 7, quorum 0 node1
         osdmap e56: 4 osds: 4 up, 4 in
                flags sortbitwise,require_jewel_osds
          pgmap v4730: 136 pgs, 10 pools, 1928 bytes data, 173 objects
                19804 MB used, 38939 MB / 58744 MB avail
                     120 active+clean
                      16 creating

**处理方法：**  
添加配置参数：  
1 vim /etc/ceph/ceph.conf  
2 mon clock drift allowed = 2  
3 mon clock drift warn backoff = 30

同步配置文件 ceph-deploy –overwrite-conf node1  
重启mon服务 systemctl restart ceph-mon@osd-2.service

**问题总结：**  
本问题主要是mon节点服务器，时间偏差比较大导致，本次遇到问题为测试环境，通过修改ceph对时间偏差阀值，规避的告警信息，线上业务环境，需要排查服务器时间同步问题，修改时区为中国时区，同时将所有机器时间进行同步。

二、rgw出现RequestTimeTooSkewed问题  
**问题描述：**  
在使用s3 browser 请求rgw的时候，通过抓包发现ceph rgw 出现RequestTimeTooSkewed错误

<?xml version="1.0" encoding="UTF-8"?>
    -<Error>
    <Code>RequestTimeTooSkewed</Code>
    <RequestId>tx000000000000000000032-005a041d16-ac66-default</RequestId>
    <HostId>ac66-default-default</HostId>
    </Error>

**处理方法：**

在 CentOS 7 中, 引入了一个叫 timedatectl 的设置程序.  
用法很简单:  
\*\* \# timedatectl \# 查看系统时间方面的各种状态  
timedatectl list-timezones \# 列出所有时区  
timedatectl set-local-rtc 1 \# 将硬件时钟调整为与本地时钟一致, 0 为设置为 UTC 时间  
timedatectl set-timezone Asia/Shanghai \# 设置系统时区为上海\*\*

**问题总结：**  
centos需要设置时区（默认英文版本时区为DST） 会导致rgw请求的时候出现RequestTimeTooSkewed错误。修改为中国时区后，同步时间后即可正常。