Docker安装部署Ceph

刺骨的言语ヽ痛彻心扉 2024-04-03 10:21 68阅读 0赞

参考 ：[使用Docker单机部署Ceph][Docker_Ceph]

[Centos7系统Docker Ceph 集群的安装配置][Centos7_Docker Ceph]

**三台虚拟机的部署情况如下表所示**：

<table> 
 <thead> 
  <tr> 
   <th>主机名称</th> 
   <th>主机IP</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Ceph1</td> 
   <td>202.205.161.81</td> 
   <td>容器主节点(Dashboard、mon、rgw、mgr、osd)</td> 
  </tr> 
  <tr> 
   <td>Ceph2</td> 
   <td>202.205.161.82</td> 
   <td>容器子节点(mon、rgw、mgr、osd)</td> 
  </tr> 
  <tr> 
   <td>Ceph3</td> 
   <td>202.205.161.83</td> 
   <td>容器子节点(mon、rgw、mgr、osd)</td> 
  </tr> 
 </tbody> 
</table>

### 0.清理现有环境:所有机器都执行： ###

rm -rf etc/ceph /var/lib/ceph /var/log/ceph

### 1.创建Ceph专用网络 ###

docker network create --driver bridge --subnet 172.20.0.0/16 ceph-network

### 2.拉取搭建用镜像(All) ###

docker pull ceph/daemon:latest-luminous
    
    ctr image pull docker.io/ceph/daemon:latest-luminous

### 3.搭建mon节点---Master ###

> 这个脚本是为了启动监视器，监视器的作用是维护整个Ceph集群的全局状态。一个集群至少要有一个监视器，最好要有奇数个监视器。方便当一个监视器挂了之后可以选举出其他可用的监视器。
> 
> 启动脚本说明：
> 
> 1.  name参数，指定节点名称，这里设为ceph-mon
> 2.  \-v xxx:xxx 是建立宿主机与容器的目录映射关系，包含 etc、lib、logs目录。
> 3.  `MON_IP`是Docker运行的IP地址(通过ifconfig来查询，取ens33里的inet那个IP),这里我们有3台服务器，那么MAN\_IP需要写上3个IP，如果IP是跨网段的`CEPH_PUBLIC_NETWORK`必须写上所有网段。
> 4.  `CEPH_PUBLIC_NETWORK`配置了运行Docker主机所有网段 这里必须指定nautilus版本，不然会默认操作最新版本ceph，mon必须与前面定义的name保持一致。

#首先启动主节点mon(master节点)
    docker run -d --name ceph-mon \
         --restart unless-stopped \
         --network host \
         -e CLUSTER=ceph -e WEIGHT=1.0 \
         -e MON_IP=202.205.161.81,202.205.161.82,202.205.161.83 \
         -e MON_NAME=ceph-mon \
         -e CEPH_PUBLIC_NETWORK=202.205.161.0/23 \
         -v /etc/ceph:/etc/ceph \
         -v /var/lib/ceph/:/var/lib/ceph/ \
         -v /var/log/ceph/:/var/log/ceph/ \
         -v /etc/localtime:/etc/localtime:ro \
         ceph/daemon:latest-luminous mon

![image.png][]

#生成文件
    docker exec ceph-mon ceph auth get client.bootstrap-osd -o /var/lib/ceph/bootstrap-osd/ceph.keyring			#在mon节点生成osd的密钥信息
    docker exec ceph-mon ceph auth get client.bootstrap-rgw -o /var/lib/ceph/bootstrap-rgw/ceph.keyring			#在mon节点生成rgw的密钥信息

![image.png][image.png 1]

#####修改配置文件
    
    # 修改配置文件以兼容etx4硬盘
    vim /etc/ceph/ceph.conf
    #在文件最后添加：
    osd max object name len = 256
    osd max object namespace len = 64
    
    # 容忍更多的时钟误差
    mon clock drift allowed = 2
    mon clock drift warn backoff = 30
    # 允许删除pool
    mon_allow_pool_delete = true
    
    [mgr]
    # 开启WEB仪表盘
    mgr modules = dashboard
    [client.rgw.ceph1]
    # 设置rgw网关的web访问端口
    rgw_frontends = "civetweb port=20003"

### 4.拷贝配置文件 ###

scp -pr  /etc/ceph/    ceph2:/et

[Docker_Ceph]: https://www.cnblogs.com/hackyo/p/13373340.html
[Centos7_Docker Ceph]: https://blog.csdn.net/hxx688/article/details/103440967
[image.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/2497c36fc09d4870af8cab4a592ee8b1.png
[image.png 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/21a046ff0cf24012b672df1cf2548452.png