Centos7下利用convoy+nfs实现container之间的共享存储

太过爱你忘了你带给我的痛 2022-06-03 06:05 117阅读 0赞

# 操作环境 #

[root@swarm-node1]# cat /etc/redhat-release 
    CentOS Linux release 7.4.1708 (Core)

[root@swarm-node1 ~]# docker version
    Client:
     Version:      1.13.1
     API version:  1.26
     Go version:   go1.7.5
     Git commit:   092cba3
     Built:        Wed Feb  8 06:38:28 2017
     OS/Arch:      linux/amd64
    
    Server:
     Version:      1.13.1
     API version:  1.26 (minimum version 1.12)
     Go version:   go1.7.5
     Git commit:   092cba3
     Built:        Wed Feb  8 06:38:28 2017
     OS/Arch:      linux/amd64
     Experimental: false

## 网络拓扑图 ##

两个Docker node分别连接NFS Server，并在node上安装convoy插件。

![Center][]

# 配置步骤 #

## 配置NFS Server ##

参考 [ 配置Docker使用Convoy存储插件][_Docker_Convoy]中配置nfs server的步骤

## 配置Convoy插件 ##

1.这里配置nfs的存储路径为10.10.200.224:/docker-nfs，分别在docker node1以及node2上创建docker-nfs目录，用来挂载nfs server

#mount -t nfs 10.10.200.224:/docker-nfs /docker-nfs

在fstab中配置nfs自动挂载

#
    # /etc/fstab
    # Created by anaconda on Thu Dec  7 01:30:28 2017
    #
    # Accessible filesystems, by reference, are maintained under '/dev/disk'
    # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
    #
    /dev/mapper/centos-root /                       xfs     defaults        1 1
    UUID=3a754ff1-9fd8-4879-a1fb-07fbeebf0da4 /boot                   xfs     defaults        1 2
    /dev/mapper/centos-swap swap                    swap    defaults        0 0
    10.10.200.224:/docker-nfs /docker-nfs           nfs     defaults        1 1

2.安装convoy

参考 [ 配置Docker使用Convoy存储插件][_Docker_Convoy]中配置convoy的步骤

3.分别在node1,、node2上启动convoy

#convoy daemon --drivers vfs --driver-opts vfs.path=/docker-nfs

配置convoy daemon开机启动

编写convoy.sh脚本

[root@swarm-node1 ~]# vi convoy.sh 
    #!/bin/bash
    convoy daemon --drivers vfs --driver-opts vfs.path=/docker-nfs

分别对/etc/rc.d/rc.local以及convoy.sh添加权限

[root@swarm-node1 ~]# chmod a+x convoy.sh 
    [root@swarm-node1 ~]# chmod +x /etc/rc.d/rc.local

在/etc/rc.d/rc.local中添加convoy.sh启动脚本

#!/bin/bash
    # THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES
    #
    # It is highly advisable to create own systemd services or udev rules
    # to run scripts during boot instead of using this file.
    #
    # In contrast to previous versions due to parallel execution during boot
    # this script will NOT be run after all other services.
    #
    # Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure
    # that this script will be executed during boot.
    
    touch /var/lock/subsys/local
    /root/convoy.sh

4.我们在node1上启动container：centos-2，使用convoy存储插件，卷名为datavol2

[root@swarm-node1 docker-nfs]# docker run -ti --volume-driver=convoy -v datavol2:/data --name centos-2 --hostname centos-2 centos
    [root@centos-2 /]# df
    Filesystem                         1K-blocks    Used Available Use% Mounted on
    overlay                            957611164 3392348 954218816   1% /
    tmpfs                                3996928       0   3996928   0% /dev
    tmpfs                                3996928       0   3996928   0% /sys/fs/cgroup
    10.10.200.224:/docker-nfs/datavol2  49775104 4192768  45582336   9% /data
    /dev/mapper/centos-root            957611164 3392348 954218816   1% /etc/hosts
    shm                                    65536       0     65536   0% /dev/shm
    tmpfs                                3996928       0   3996928   0% /sys/firmware

我们在node1上，查看convoy 卷

[root@swarm-node1 docker-nfs]# convoy list
    {
    ......
            "datavol1": {
                    "Name": "datavol1",
                    "Driver": "vfs",
                    "MountPoint": "/docker-nfs/datavol1",
                    "CreatedTime": "Wed Dec 20 14:16:41 +0800 2017",
                    "DriverInfo": {
                            "Driver": "vfs",
                            "MountPoint": "/docker-nfs/datavol1",
                            "Path": "/docker-nfs/datavol1",
                            "PrepareForVM": "false",
                            "Size": "0",
                            "VolumeCreatedAt": "Wed Dec 20 14:16:41 +0800 2017",
                            "VolumeName": "datavol1"
                    },
                    "Snapshots": {}
            },
            "datavol2": {
                    "Name": "datavol2",
                    "Driver": "vfs",
                    "MountPoint": "/docker-nfs/datavol2",
                    "CreatedTime": "Wed Dec 20 14:58:40 +0800 2017",
                    "DriverInfo": {
                            "Driver": "vfs",
                            "MountPoint": "/docker-nfs/datavol2",
                            "Path": "/docker-nfs/datavol2",
                            "PrepareForVM": "false",
                            "Size": "0",
                            "VolumeCreatedAt": "Wed Dec 20 14:58:40 +0800 2017",
                            "VolumeName": "datavol2"
                    },
                    "Snapshots": {}
    ......
    }

再node2上查看convoy，这里我们使用docker volume来查询，同样可以查询到datavol2

[root@swarm-node2 docker-nfs]# docker volume ls -f driver=convoy
    DRIVER              VOLUME NAME
    ......
    convoy              datavol1
    convoy              datavol2
    ......

在node2上，使用datavol2启动container

[root@swarm-node2 docker-nfs]# docker run -ti --volume-driver=convoy -v datavol2:/data --name centos-2 --hostname centos-2 centos
    [root@centos-2 /]# df
    Filesystem                                                                                     1K-blocks    Used Available Use% Mounted on
    /dev/mapper/docker-253:1-3488-c354148820fa89ab5f5d8bb1ece67d4607da28164cd4eac02718c7ffcdefedf0  10473472  253648  10219824   3% /
    tmpfs                                                                                            8125696       0   8125696   0% /dev
    tmpfs                                                                                            8125696       0   8125696   0% /sys/fs/cgroup
    10.10.200.224:/docker-nfs/datavol2                                                              49775104 4193024  45582080   9% /data
    /dev/mapper/centos-root                                                                        948886852 2104060 946782792   1% /etc/hosts
    shm                                                                                                65536       0     65536   0% /dev/shm
    tmpfs                                                                                            8125696       0   8125696   0% /sys/firmware

现在分别在node1、node2上使用同一个volume启动了2个container，我们在node1上的container中写入数据

[root@swarm-node1 docker-nfs]# docker attach centos-2
    [root@centos-2 /]# touch /data/test
    [root@centos-2 /]# echo hello_world > /data/test 
    [root@centos-2 /]# cat /data/test    
    hello_world

在进入node2中的container，看数据是否存在

[root@swarm-node2 docker-nfs]# docker attach centos-2
    [root@centos-2 /]# cat /data/test 
    hello_world

数据存在，这样就完成了，通过convoy+nfs实现了container之间的共享存储

[Center]: /images/20220603/41fc4d268131489bb453c845354c7177.png
[_Docker_Convoy]: http://blog.csdn.net/bobpen/article/details/78801574

发表评论取消回复

表情：

评论列表（有 0 条评论，117人围观）

还没有评论，来说两句吧...

相关阅读

相关 Linux篇（九）------Centos7下NFS+rpcbind实现服务器之间的目录挂载及文件共享

前言：在分布式项目中，项目可能部署在不同服务器上，但是需要访问到共同的文件资源，比如服务器A上次的的文件，要求服务器B也可以访问。因此就需要跨机器共享文件，在这里就

不念不忘少年蓝@/ 2023年06月23日 06:59/ 0 赞/ 4 阅读

相关 centos7共享网络盘_CentOS7 Linux访问Win7的共享文件夹

俗语说：活到老学到老才是人生，从事IT运维工作20多年，绝大部分技术工作主要针对IT网络产品硬件、Windows和相关的Win相关软件，面对这类的产品硬件故障、网络杂症、Hel

水深无声/ 2023年01月03日 05:59/ 0 赞/ 259 阅读

相关 centOs7下安装 MinIo（文件存储系统）

centOs7下安装 MinIo（文件存储系统） Minlo介绍安装注意事项 Minlo介绍简单介绍，MinIo是基于分布式

短命女/ 2022年11月17日 11:24/ 0 赞/ 885 阅读

相关 vmware centos7 共享文件夹

安装vmware tools 虚拟机上右键解压缩执行 install.pl文件 \-------------------- 安装 open-vm-tools

小灰灰/ 2022年10月23日 04:50/ 0 赞/ 190 阅读

相关在动态网络下实现分布式共享存储

在动态网络下实现分布式共享存储 [http://cacm.acm.org/magazines/2014/6/175173-implementing-distributed-s

素颜马尾好姑娘i/ 2022年08月24日 11:50/ 0 赞/ 125 阅读

相关 Linux CentOS 7 下通过Memcached实现Session共享

前言在做server集群和负载均衡等等之前首先要做的一件事就是session共享，否则集群也是无意义的根本无法使用，去年写过一篇window+tomcat-cluste

朱雀/ 2022年08月21日 07:53/ 0 赞/ 121 阅读

相关如何在VMWare vCenter环境下实现共享存储

题记在很多情况下，我们都会应用到共享存储，例如我们安装Oracle RAC时候，我们的控制文件，数据文件，日志文件都存储在共享存储上面；在物理环境我们很容易实现这种需求，但

桃扇骨/ 2022年07月15日 13:28/ 0 赞/ 1389 阅读

相关 CentOS 7 Samba 共享云

CentOS 7 Samba 共享云 > Samba是个跨平台的共享云，而且它是率先能在wind和Linux之间实现文件共享的软件，通过Samba共享的资源就像在本地访问

￡神魔★判官ぃ/ 2022年06月05日 10:38/ 0 赞/ 173 阅读

相关 Centos7下利用convoy+nfs实现container之间的共享存储

操作环境 [root@swarm-node1] cat /etc/redhat-release CentOS Linux release 7.4.170

太过爱你忘了你带给我的痛/ 2022年06月03日 06:05/ 0 赞/ 118 阅读

相关 centos7创建共享文件夹

0、检查是否已经安装samba rpm -qi samba 1、未安装，安装samba, 如果已安装，请忽略； yum -y install samba samba

我会带着你远行/ 2021年10月29日 16:04/ 0 赞/ 375 阅读