cephfs客户端挂载

旧城等待， 2022-02-19 12:21 447阅读 0赞

#### Ceph 存储介绍 ####

Ceph 是一个开源的分布式存储系统，包括对象存储、块设备、文件系统。它可靠性高、管理方便、伸缩性强，能够轻松应对PB、EB级别数据。Ceph 存储体系中，核心为 RADOS，它是一个高可用分布式对象存储，该模块负责对集群众多 OSD 的运行，保证存储系统的可用性。同时该模块通过 LIBRADOS 的公共库对外提供存储服务，如对象存储、块设备存储。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1OTM0NDAx_size_16_color_FFFFFF_t_70]

#### 环境、软件准备 ####

要使用 Ceph 存储体系中的块设备、文件系统以及对象存储，必须保证已完成 Ceph 存储集群的搭建，并且保证 Ceph 存储集群处于 active + clean 状态。这里搭建过程可以参考[Centos7 Ceph 存储集群搭建][Centos7 Ceph] 文章

#### Ceph 文件系统 ####

Ceph 文件系统，我们一般称为 cephfs。接下来我们演示一下如何创建一个 cephfs 文件系统。注意：如果在新的节点上使用 cephfs 的话，需要通过 ceph-deploy 安装 ceph 到该节点上，这里就不在描述了，参照上边块设备第一部分安装即可。这里我还是在 admin-node 上创建文件系统。一个 Ceph 文件系统需要至少两个 RADOS 存储池，一个用于数据、一个用于元数据。接下来，我们先创建两个存储池。

$ ceph osd pool create cephfs_data 64
    pool 'cephfs_data' created
    $ ceph osd pool create cephfs_metadata 64
    pool 'cephfs_metadata' created
    
    创建完毕，就可以用 fs new ... 命令创建文件系统了。
    $ ceph fs new cephfs cephfs_metadata cephfs_data
    new fs with metadata pool 11 and data pool 10
    $ ceph fs ls
    name: cephfs, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
    
    OK，cephfs 文件系统已经创建完毕，接下来我们看下元数据 MDS 的状态，看看是否为 active 状态。
    
    $ ceph mds stat
    e2: 0/0/1 up

有两种方式挂载，一种是使用内核驱动挂载，一种是用户空间挂载。

###### 内核驱动挂载 ######

Ceph v0.55 及后续版本默认开启了 cephx 认证，所以在挂载时，需要指明其密钥，以便通过认证。这里的密钥环就是之前提到的 ceph.client.admin.keyring 文件。

# 复制密钥 key
    $ cat /etc/ceph/ceph.client.admin.keyring
    [client.admin]
        key = AQD/6ShariweMRAAkc1xN/H0ocAlpjp09z5blw==
        caps mds = "allow *"
        caps mon = "allow *"
        caps osd = "allow *"
    # 创建挂载目录
    $ sudo mkdir /mnt/cephfs
    # 挂载 cephfs 到该目录，并指明用户名和密钥
    $ sudo mount -t ceph 10.222.77.213:6789:/ /mnt/cephfs -o name=admin,secret=AQD/6ShariweMRAAkc1xN/H0ocAlpjp09z5blw==

不过这种方式，会把密钥显示留在了 Bash 命令里面，我们可以更安全的方式从文件读取。

# 将密钥 key 保存到文件中
    $ sudo vim /etc/ceph/admin.secret
    AQD/6ShariweMRAAkc1xN/H0ocAlpjp09z5blw==
    $ sudo mount -t ceph 10.222.77.213:6789:/ /mnt/cephfs -o name=admin,secretfile=/etc/ceph/admin.secret

很遗憾，执行报错 mount error 5 = Input/output error .这就是上边元数据 MDS 的状态那里出的问题。因为我们必须部署至少一个元数据服务器才能使用 CephFS 文件系统。接下来，我们就部署一个元数据服务器 MDS。

# 在 ceph-deploy (admin-node) 节点上执行
    $ ceph-deploy mds create admin node02 node03

创建成功，我们在看一下当前集群 MDS 状态。

$ ceph mds stat
    e6: 1/1/1 up {0=node0=up:active}, 1 up:standby

ok 没问题了。

$ df -h
    ...
    10.222.77.213:6789:/   66G   33G   33G   50% /mnt/cephfs

这里可以看到 cephfs 将两个节点 node0 和 node1 容量合并了。（我的虚拟机 node02、node03 / 根目录容量为 33 G，每个节点使用了 16G 左右。）  
最后，我们在测试一下生成一个 1G 大文件，看是否自动同步到 node0 和 node1 吧！  
`$ sudo dd if=/dev/zero of=testfs bs=1G count=1`  
记录了1+0 的读入  
记录了1+0 的写出  
1073741824字节(1.1 GB)已复制，9.0857 秒，118 MB/秒

$ df -h
    ...
    10.222.77.213:6789:/   66G   36G   30G   55% /mnt/cephfs

注意： 如需卸载 cephfs 文件系统，可以使用 sudo umount /mnt/cephfs 即可。  
设置开机自动挂载/etc/fstab,例如

10.100.101.82:6789,10.100.101.83:6789,10.100.101.84:6789:/    /data/WEBLOG/   ceph     name=admin,secret=AQC5GxxxxxxxxxxxIhtlf/qWNGF0ZtSrzg==,_netdev     0       0
    mount -a

##### 用户空间挂载 #####

安装ceph-fuse

##添加yum源
    cat /etc/yum.repos.d/ceph.repo
    [Ceph]
    name=Ceph packages for $basearch
    baseurl=http://download.ceph.com/rpm-jewel/el7/$basearch
    enabled=1
    gpgcheck=1
    type=rpm-md
    gpgkey=https://download.ceph.com/keys/release.asc
    priority=1
    ##添加epel-repository和Ceph存储库
    sudo yum -y install epel-release
    sudo rpm -Uhv http://download.ceph.com/rpm-jewel/el7/noarch/ceph-release-1-1.el7.noarch.rpm
    yum -y install ceph-fuse
    ## 将ceph.conf和ceph.client.admin.keyring 拷贝到服务器上进行用户空间文件系统挂载
    cat ceph.client.admin.keyring
    [client.admin]
            key = AQC5GwZbbwtcOhAAxxxWNGF0ZtSrzg==
            caps mds = "allow *"
            caps mon = "allow *"
            caps osd = "allow *"
    
    cat /etc/ceph/ceph.conf 
    [global]
    fsid = b15d02d9-1595-4b75-8b51-4da7f2c3e2fd
    mon_initial_members = beta-k8s-etcd-2, beta-k8s-etcd-3, beta-k8s-node-3
    mon_host = xx
    auth_cluster_required = cephx
    auth_service_required = cephx
    auth_client_required = cephx
    osd pool default size = 3
    public network = 10.100.xx.0/24
    mon_pg_warn_max_per_osd = 600

##### 挂载 #####

ceph-fuse -m  10.100.xx:6789,10.100.xx:6789,10.100.xx:6789 /mnt/

##### 设置开机自动挂载/etc/fstab #####

id=admin /mnt/ fuse.ceph  defaults    0       0
    mount -a

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI1OTM0NDAx_size_16_color_FFFFFF_t_70]: /images/20220219/dba211f86eea4f28a5ff29a63c5c1343.png
[Centos7 Ceph]: https://blog.csdn.net/qq_25934401/article/details/89341926