如何在ceph中找出存放的数据

我就是我 2022-06-06 14:13 882阅读 0赞

ceph的数据管理始于ceph client的写操作，鉴于ceph使用多副本及强一致性策略来保证数据的安全性和完整性，一个写请求的数据会首先被写入到primary OSD上去，然后primary OSD会进一步将数据复制到secondary和其它tertiary OSD上去并一直等待他们的完成通知，然后再将最终的完成确认发送给client。这篇文章主要从ceph数据管理这个方面入手，通过具体的实例介绍一下如何在ceph中找到数据的存放位置。

1、我们先创建一个包含数据的test文件、一个ceph pool并且设置pool的副本数为

$ echo "Hello ceph, I'm learning the data management part." > /tmp/testfile
    $ cat /tmp/testfile
        Hello ceph, I'm learning the data management part.
    $ ceph osd pool create helloceph 192 192
        pool 'helloceph' created
    $ ceph osd pool set helloceph size 3
       set pool 3 size to 3

2、 将文件写入到创建的pool中

$ rados -p helloceph put object1 /tmp/testfile
    $ rados -p helloceph ls
        object1

3、 查看object1的pg map

$ ceph osd map helloceph object1
        osdmap e8 pool 'helloceph' (3) object 'object1' -> pg 3.bac5debc (3.bc) -> up ([0,1,2], p0) acting ([0,1,2], p0)
    
    其中：
    osdmap e8 OSD map的版本号
    pool 'helloceph' (3)  pool的名字和ID
    object 'object1' object的名字
    pg 3.bac5debc (3.bc)      pg number，即3.bc
    up ([0,1,2], p0) OSD up set，因为我们设置的是3副本，所以每个pg都会被存放在3个OSD上
    acting ([0,1,2], p0) acting set，即OSD.0（primary）、OSD.1（secondary）和OSD.2（tertiary）

4、 查看三个OSD的信息，主要是host信息即OSD在哪个机器上

[root@admin-node osd]# ceph osd tree
    ID WEIGHT  TYPE NAME      UP/DOWN REWEIGHT PRIMARY-AFFINITY 
    -1 0.05589 root default -2 0.02190 host node2  0 0.01700         osd.0       up  1.00000          1.00000 
     3 0.00490         osd.3       up  1.00000          1.00000 
    -3 0.01700 host node3  1 0.01700         osd.1       up  1.00000          1.00000 
    -4 0.01700 host node1  2 0.01700         osd.2       up  1.00000          1.00000

5、 从osd中找出testfile文件（这里以osd.1为例）

$ ssh node1(osd.1所在机器)
    $ cd /var/lib/ceph/osd/ceph-0/current 
    $ cd 3.bc_head
    $ cat object1__head_BAC5DEBC__3
    Hello ceph, I'm learning the data management part. 同样，我们也可以在osd.0和osd.2中找到object1.