Centos7下GlusterFS 分布式文件系统环境搭建

浅浅的花香味﹌ 2022-06-04 01:27 323阅读 0赞

# Centos7下 GlusterFS 环境搭建 #

## 准备工作 ##

>  *  [glusterfs-3.6.9.tar.gz][]
>  *  [userspace-rcu-master.zip][]
>  *  三台服务器：`192.168.133.53`、`192.168.133.54`、`192.168.133.55`
>  *  如果您的环境没有网络，请先阅读[centos7 配置本地yum源][centos7 _yum]

<table> 
 <thead> 
  <tr> 
   <th align="center">以下出现的简写</th> 
   <th align="center">含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">53</td> 
   <td align="center">192.168.133.53：主节点</td> 
  </tr> 
  <tr> 
   <td align="center">54</td> 
   <td align="center">192.168.133.54：从节点</td> 
  </tr> 
  <tr> 
   <td align="center">55</td> 
   <td align="center">192.168.133.55：客户端</td> 
  </tr> 
  <tr> 
   <td align="center">（53）</td> 
   <td align="center">仅在53节点操作</td> 
  </tr> 
  <tr> 
   <td align="center">（53&amp;54）</td> 
   <td align="center">53和54两个节点均需操作</td> 
  </tr> 
  <tr> 
   <td align="center">（55）</td> 
   <td align="center">仅在55节点操作</td> 
  </tr> 
 </tbody> 
</table>

## 一、安装依赖（53&54） ##

> yum install -y flex bison openssl openssl-devel acl libacl libacl-devel sqlite-devel libxml2-devel python-devel make cmake gcc gcc-c++ autoconf automake libtool unzip zip  
> **注：以上是一条命令**

## 二、安装userspace-rcu-master（53&54） ##

1）创建`software`目录并将`glusterfs-3.6.9.tar.gz`和`userspace-rcu-master.zip`上传，如下图所示：  
![这里写图片描述][SouthEast]

2）解压并编译安装，命令如下：

>  *  unzip /usr/local/software/userspace-rcu-master.zip -d /usr/local/
>  *  cd /usr/local/userspace-rcu-master/
>  *  ./bootstrap
>  *  ./configure
>  *  make && make install
>  *  ldconfig

## 三、安装userspace-rcu-master（53&54） ##

1）解压并编译安装，命令如下：

tar -zxvf /usr/local/software/glusterfs-3.6.9.tar.gz -C /usr/local/
    cd /usr/local/glusterfs-3.6.9/
    ./configure --prefix=/usr/local/glusterfs
    make && make install

2）添加环境变量，命令和示例图如下所示：

> vi /etc/profile

#最上面添加如下配置
    export GLUSTERFS_HOME=/usr/local/glusterfs
    export PATH=$PATH:$GLUSTERFS_HOME/sbin

![这里写图片描述][SouthEast 1]

> source /etc/profile \#刷新配置使之生效

![这里写图片描述][SouthEast 2]

3）启动glusterfs

> /usr/local/glusterfs/sbin/glusterd

4）关闭防火墙

>  *  systemctl stop firewalld.service
>  *  systemctl disable firewalld.service

## 四、建立集群（53） ##

**为什么是53节点？没啥为什么，随便选一个。**

1）执行以下命令，将`192.168.133.54`节点加入到集群：

> gluster peer probe 192.168.133.54

![这里写图片描述][SouthEast 3]

2）查看集群状态：

> gluster peer status

![这里写图片描述][SouthEast 4]

3）查看 `volume` 信息（由于还没有创建volume所以显示的是暂无信息）：

> gluster volume info

![这里写图片描述][SouthEast 5]

4）创建数据存储目录(**在53和54两个节点上都运行**)：

> mkdir -p /opt/gluster/data

5）创建复制卷 `models`，指定刚刚创建的目录（replica 2表明存储2个备份，后面指定服务器的存储目录）

> gluster volume create models replica 2 192.168.133.53:/opt/gluster/data 192.168.133.54:/opt/gluster/data force

![这里写图片描述][SouthEast 6]

6）再次查看 `volume` 信息

> gluster volume info

![这里写图片描述][SouthEast 7]

7）启动 `models`

> gluster volume start models

![这里写图片描述][SouthEast 8]

8）gluster 性能调优

*  开启 指定 `volume` 的配额  
    `gluster volume quota models enable`  
    ![这里写图片描述][SouthEast 9]
 *  限制 `models` 总目录最大使用 `5GB` 空间（5GB并非绝对，您可根据实际硬盘大小配置）  
    `gluster volume quota models limit-usage / 5GB`  
    ![这里写图片描述][SouthEast 10]
 *  设置 cache 大小（128MB并非绝对，您可根据实际硬盘大小配置）

`gluster volume set models performance.cache-size 128MB`  
![这里写图片描述][SouthEast 11]

*  开启异步，后台操作  
    `gluster volume set models performance.flush-behind on`  
    ![这里写图片描述][SouthEast 12]
 *  设置 io 线程 32  
    `gluster volume set models performance.io-thread-count 32`  
    ![这里写图片描述][SouthEast 13]
 *  设置 回写 (写数据时间，先写入缓存内，再写入硬盘)  
    `gluster volume set models performance.write-behind on`  
    ![这里写图片描述][SouthEast 14]

9）查看调优之后的volume信息

> gluster volume info

![这里写图片描述][SouthEast 15]

## 五、部署客户端并挂载GlusterFS文件系统(55) ##

到目前为止，大部分工作已经做完了，接下来就是挂载一个目录，然后通过对这个挂载目录操作，实现数据同步至文件系统。写文件试试^\_^

1）安装gluster-client，命令如下：

> yum install -y glusterfs glusterfs-fuse

2）建立挂载点目录，命令如下：

> mkdir -p /opt/gfsmount

3）挂载，命令如下：

> mount -t glusterfs 192.168.133.53:models /opt/gfsmount/

![这里写图片描述][SouthEast 16]

4）令检查挂载情况，命令如下：

> df -h

![这里写图片描述][SouthEast 17]

5）测试

> time dd if=/dev/zero of=/opt/gfsmount/hello bs=10M count=1

![这里写图片描述][SouthEast 18]

> mkdir /opt/gfsmount/test

![这里写图片描述][SouthEast 19]  
6）查看集群存储情况 (**在53和54两个节点上都运行**)：

> cd /opt/gluster/data/ && ll

![这里写图片描述][SouthEast 20]

> 备注：查看得知gluster服务器的每个节点上都有备份，符合步骤`创建复制卷 models，指定刚刚创建的目录（replica 2表明存储2个备份）`

## 六、GlusterFS相关命令 ##

查看GlusterFS中所有的volume：

> gluster volume list

启动磁盘：

> gluster volume start models //启动名字为 `models` 的磁盘

停止磁盘：

> gluster volume stop models //停止名字为 `models` 的磁盘

删除磁盘：

> gluster volume delete models //删除名字为 `models` 的磁盘

## 七、结束语 ##

至此，GlusterFS的分布式环境已经搭建完成。

1.如果机器重启，

*  `glusterFS`服务需要启动
 *  磁盘`models`需要启动
 *  目录`/opt/gfsmount/`需要重新挂载
 *  挂载完目录`/opt/gfsmount/`需要重新进入

> systemctl stop firewalld.service  
> gluster volume start models  
> mount -t glusterfs 192.168.133.53:models /opt/gfsmount/  
> cd /opt/gfsmount/

注意：两个分区挂到同一个分区，第一个挂的那个不是被覆盖，而是被暂时隐藏。比如：你先挂的mount /dev/sda1 /opt/gfsmount/，又挂的mount /dev/sda2 /opt/gfsmount/，那/dev/sda1内的就暂时被隐藏，你只要umount /dev/sda2，把第二个分区卸载了，在cd /opt/gfsmount/就可以看到挂的第一个分区的内容了。

结合ftp、java实现文件上传下载删除等必将锦上添花：[Centos7搭建ftp服务器][Centos7_ftp]

[glusterfs-3.6.9.tar.gz]: https://download.gluster.org/pub/gluster/glusterfs/old-releases/3.6/3.6.9/glusterfs-3.6.9.tar.gz
[userspace-rcu-master.zip]: https://github.com/urcu/userspace-rcu/archive/master.zip
[centos7 _yum]: http://blog.csdn.net/no_ob/article/details/78668255
[SouthEast]: /images/20220604/b7992f0a187142bcb4db8276325e8ca3.png
[SouthEast 1]: /images/20220604/43b077328f4e419686781961c5e5c799.png
[SouthEast 2]: /images/20220604/f79e2d6fba294c6a9f04120f2e8645be.png
[SouthEast 3]: /images/20220604/7b8d7acf6d294a908fefaa62612a2be7.png
[SouthEast 4]: /images/20220604/ef3f10f1ed8746698acf046222df7a0e.png
[SouthEast 5]: /images/20220604/181d53fb4d444c9d8bda5dee3da4e9cd.png
[SouthEast 6]: /images/20220604/527472dd96014755bf1b12bbc2cebedc.png
[SouthEast 7]: /images/20220604/f4cb0a9bd5df4f0b820262e10b19f2cf.png
[SouthEast 8]: /images/20220604/fe5c68f98b9f4899b0b0dafc36292a2e.png
[SouthEast 9]: /images/20220604/f226f1d89c7b4b1da6bd85ddcd49f168.png
[SouthEast 10]: /images/20220604/653191583d3f4463831c3b118428ffb7.png
[SouthEast 11]: /images/20220604/15f49ea1a7034dc9ab24b50a7c0df299.png
[SouthEast 12]: /images/20220604/d884797bf63c49f8a69831ef32a0a820.png
[SouthEast 13]: /images/20220604/7774a284241246bc960eda4c0a4cb7a2.png
[SouthEast 14]: /images/20220604/25067f96abcd4249959b7706e7082c71.png
[SouthEast 15]: /images/20220604/9592fc4f0f9444438f23aee3bcb97890.png
[SouthEast 16]: /images/20220604/672ca2186dc0482ea20386f83574f788.png
[SouthEast 17]: /images/20220604/e72b1f9672884023957c0c196d0c0085.png
[SouthEast 18]: /images/20220604/13f39e7101f94a279c6531cdf87a68c2.png
[SouthEast 19]: /images/20220604/b3028c1d7f014ca7ab79154d9428c635.png
[SouthEast 20]: /images/20220604/b711588a74814255bb802e28ad9a2c43.png
[Centos7_ftp]: http://blog.csdn.net/no_ob/article/details/78657564