手动安装 Ceph

朱雀 2023-10-09 13:02 143阅读 0赞

下面的过程说明了手动安装 Ceph 存储集群时需要使用的命令。

1.  为要运行的 Ceph 服务生成密钥机密。可以使用下面的命令生成密钥机密：
    
        python -c "import os ; import struct ; import time; import base64 ; \
         key = os.urandom(16) ; header = struct.pack('<hiih',1,int(time.time()),0,len(key)) ; \
         print base64.b64encode(header + key)"
2.  将密钥添加到相关的密钥环。添加顺序依次为 `client.admin`、监视器、其他相关服务（例如 OSD、对象网关或 MDS）：
    
        ceph-authtool -n client.admin \
         --create-keyring /etc/ceph/ceph.client.admin.keyring \
         --cap mds 'allow *' --cap mon 'allow *' --cap osd 'allow *'
        ceph-authtool -n mon. \
         --create-keyring /var/lib/ceph/bootstrap-mon/ceph-osceph-03.keyring \
         --set-uid=0 --cap mon 'allow *'
        ceph-authtool -n client.bootstrap-osd \
         --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring \
         --cap mon 'allow profile bootstrap-osd'
        ceph-authtool -n client.bootstrap-rgw \
         --create-keyring /var/lib/ceph/bootstrap-rgw/ceph.keyring \
         --cap mon 'allow profile bootstrap-rgw'
        ceph-authtool -n client.bootstrap-mds \
         --create-keyring /var/lib/ceph/bootstrap-mds/ceph.keyring \
         --cap mon 'allow profile bootstrap-mds'
3.  创建 monmap，这是集群中所有监视器的数据库：
    
        monmaptool --create --fsid eaac9695-4265-4ca8-ac2a-f3a479c559b1 \
         /tmp/tmpuuhxm3/monmap
        monmaptool --add osceph-02 192.168.43.60 /tmp/tmpuuhxm3/monmap
        monmaptool --add osceph-03 192.168.43.96 /tmp/tmpuuhxm3/monmap
        monmaptool --add osceph-04 192.168.43.80 /tmp/tmpuuhxm3/monmap
4.  在该数据库中创建新的密钥环，并从管理员和监视器的密钥环导入密钥。然后使用密钥环来启动监视器：
    
        ceph-authtool --create-keyring /tmp/tmpuuhxm3/keyring \
         --import-keyring /var/lib/ceph/bootstrap-mon/ceph-osceph-03.keyring
        ceph-authtool /tmp/tmpuuhxm3/keyring \
         --import-keyring /etc/ceph/ceph.client.admin.keyring
        sudo -u ceph ceph-mon --mkfs -i osceph-03 \
         --monmap /tmp/tmpuuhxm3/monmap --keyring /tmp/tmpuuhxm3/keyring
        systemctl restart ceph-mon@osceph-03
5.  在 `systemd` 中检查监视器状态：
    
        systemctl show --property ActiveState ceph-mon@osceph-03
6.  检查 Ceph 是否正在运行并报告监视器状态：
    
        ceph --cluster=ceph \
         --admin-daemon /var/run/ceph/ceph-mon.osceph-03.asok mon_status
7.  使用现有密钥检查特定服务的状态：
    
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin -f json-pretty status
        [...]
        ceph --connect-timeout 5 \
         --keyring /var/lib/ceph/bootstrap-mon/ceph-osceph-03.keyring \
         --name mon. -f json-pretty status
8.  从现有 Ceph 服务中导入密钥环并检查状态：
    
        ceph auth import -i /var/lib/ceph/bootstrap-osd/ceph.keyring
        ceph auth import -i /var/lib/ceph/bootstrap-rgw/ceph.keyring
        ceph auth import -i /var/lib/ceph/bootstrap-mds/ceph.keyring
        ceph --cluster=ceph \
         --admin-daemon /var/run/ceph/ceph-mon.osceph-03.asok mon_status
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin -f json-pretty status
9.  使用 XFS 文件系统为 OSD 准备磁盘/分区：
    
        ceph-disk -v prepare --fs-type xfs --data-dev --cluster ceph \
         --cluster-uuid eaac9695-4265-4ca8-ac2a-f3a479c559b1 /dev/vdb
        ceph-disk -v prepare --fs-type xfs --data-dev --cluster ceph \
         --cluster-uuid eaac9695-4265-4ca8-ac2a-f3a479c559b1 /dev/vdc
        [...]
10. 激活分区：
    
        ceph-disk -v activate --mark-init systemd --mount /dev/vdb1
        ceph-disk -v activate --mark-init systemd --mount /dev/vdc1
11. 如果 SUSE Enterprise Storage 为 2.1 或更低版本，请创建默认存储池：
    
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin osd pool create .users.swift 16 16
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin osd pool create .intent-log 16 16
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin osd pool create .rgw.gc 16 16
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin osd pool create .users.uid 16 16
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin osd pool create .rgw.control 16 16
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin osd pool create .users 16 16
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin osd pool create .usage 16 16
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin osd pool create .log 16 16
        ceph --connect-timeout 5 --keyring /etc/ceph/ceph.client.admin.keyring \
         --name client.admin osd pool create .rgw 16 16
12. 根据引导密钥创建对象网关实例密钥：
    
        ceph --connect-timeout 5 --cluster ceph --name client.bootstrap-rgw \
         --keyring /var/lib/ceph/bootstrap-rgw/ceph.keyring auth get-or-create \
         client.rgw.0dc1e13033d2467eace46270f0048b39 osd 'allow rwx' mon 'allow rw' \
         -o /var/lib/ceph/radosgw/ceph-rgw.rgw_name/keyring
13. 启用并启动对象网关：
    
        systemctl enable ceph-radosgw@rgw.rgw_name
        systemctl start ceph-radosgw@rgw.rgw_name
14. （可选）根据引导密钥创建 MDS 实例密钥，然后启用并启动它：
    
        ceph --connect-timeout 5 --cluster ceph --name client.bootstrap-mds \
         --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create \
         mds.mds.rgw_name osd 'allow rwx' mds allow mon \
         'allow profile mds' \
         -o /var/lib/ceph/mds/ceph-mds.rgw_name/keyring
        systemctl enable ceph-mds@mds.rgw_name
        systemctl start ceph-mds@mds.rgw_name