MFS分布式文件系统的部署

客官°小女子只卖身不卖艺 2022-01-17 11:51 370阅读 0赞

# MFS分布式文件系统的部署 #

# MFS简介 #

> MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。

*  MFS文件系统的组成。
    
        元数据服务器（master）：负责管理文件系统，维护元数据。
        
        元数据日志服务器（MetaLogger）：存放日志文件。
        
        数据存储服务器（Chunk Server）：真正存储数据的服务器。
        
        客户端（client）：用来挂载MFS文件文件系统的。
 *  MFS读取数据的处理过程。
    
        1. 客户端向元数据服务器发出读请求。
        
        2. 元数据服务器把所需数据存放的位置告知客户端。
        
        3. 客户端向已知的Chunk Server请求发送数据。
        
        4. Chunk Server向客户端发送数据。
 *  MFS写入数据的处理过程。
    
    1.  客户端向元数据服务器发送写入请求。
    2.  元数据服务器与（ChunkServer进行交互）。
    3.  元数据服务器告知客户端，可以在哪个Chunk Server的哪些Chunks写入数据。
    4.  客户端向指定的Chunk Server写入数据。
    5.  该Chunk Server 与其他Chunk Server进行数据同步，同步成功后Chunk Server告知客户端数据写入成功。
    6.  客户端告知元数据服务器本次写入完毕。

## 实验环境 ##

<table> 
 <thead> 
  <tr> 
   <th>主机名称及角色</th> 
   <th>IP地址</th> 
   <th>主要软件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>CentOS7-1（master）</td> 
   <td>172.16.10.138</td> 
   <td>mfs-1.6.27-5.tar.gz</td> 
  </tr> 
  <tr> 
   <td>CentOS7-2（MetaLogger）</td> 
   <td>172.16.10.137</td> 
   <td>mfs-1.6.27-5.tar.gz</td> 
  </tr> 
  <tr> 
   <td>CentOS7-3（chunkserever1）</td> 
   <td>172.16.10.133</td> 
   <td>mfs-1.6.27-5.tar.gz</td> 
  </tr> 
  <tr> 
   <td>CentOS7-4（chunkserever2）</td> 
   <td>172.16.10.136</td> 
   <td>mfs-1.6.27-5.tar.gz</td> 
  </tr> 
  <tr> 
   <td>CentOS7-6（client）</td> 
   <td>172.16.10.135</td> 
   <td>mfs-1.6.27-5.tar.gz、fuse-2.9.2.tar.gz</td> 
  </tr> 
 </tbody> 
</table>

## 实验部署 ##

## 搭建Master Server ##

*  首先安装环境包

> yum -y install zlib-devel gcc gcc-c++

*  创建管理用户

> useradd -s /sbin/nologin -M mfs

*  解压mfs软件、配置、编译安装

> tar xf mfs-1.6.27-5.tar.gz -C /opt  
> cd /opt/mfs-1.6.27-5/  
> ./configure \\  
> \--prefix=/usr/local/mfs \\ \#工作目录  
> \--with-default-user=mfs \\ \#运行masterserver的用户  
> \--with-default-group=mfs \\ \#运行masterserver的组  
> \--disable-mfschunkserver \\  
> \--disable-mfsmount \#关闭功能
> 
> make && make install \#编译安装

*  配置防断链

> cd /usr/local/mfs/var/mfs  
> cp metadata.mfs.empty metadata.mfs

*  复制配置文件（使模板生效）

> cd /usr/local/mfs/etc/mfs  
> cp mfsmaster.cfg.sample mfsmaster.cfg \#主配置文件  
> cp mfsexports.cfg.sample mfsexports.cfg \#被挂载目录及权限配置文件  
> cp mfstopology.cfg.sample mfstopology.cfg \#拓扑架构感知

*  开启master服务

> /usr/local/mfs/sbin/mfsmaster start \#开启服务

![MFS分布式文件系统的部署][MFS]

这里可以看到服务已经启动了，然后关闭服务可以使用/usr/local/mfs/sbin/mfsmaster -s

## 搭建MetaLogger server ##

*  首先安装环境包

> yum -y install zlib-devel gcc gcc-c++

*  创建管理用户

> useradd -s /sbin/nologin -M mfs

*  解压mfs软件、配置、编译安装

> tar zxvf mfs-1.6.27-5.tar.gz -C /opt  
> cd /opt/mfs-1.6.27-5/  
> ./configure \\  
> \--prefix=/usr/local/mfs \\  
> \--with-default-user=mfs \\  
> \--with-default-group=mfs \\  
> \--disable-mfschunkserver \\  
> \--disable-mfsmount
> 
> make && make install

*  配置防断链

> cd /usr/local/mfs/var/mfs/  
> cp metadata.mfs.empty metadata.mfs

*  复制配置文件（使模板生效）

> cd /usr/local/mfs/etc/mfs  
> cp mfsmaster.cfg.sample mfsmaster.cfg  
> cp mfsexports.cfg.sample mfsexports.cfg  
> cp mfsmetalogger.cfg.dist mfsmetalogger.cfg

*  修改配置文件使地址指向master服务器

> vim mfsmetalogger.cfg
> 
> MASTER\_HOST=172.16.10.138 \#指向master服务器

*  开启MetaLogger Server服务

> /usr/local/mfs/sbin/mfsmetalogger start \#开启服务

![MFS分布式文件系统的部署][MFS 1]

## 搭建chunkserver ##

*  首先安装环境包

> yum -y install zlib-devel gcc gcc-c++

*  创建管理用户

> useradd -s /sbin/nologin -M mfs

*  解压mfs软件、配置、编译安装

> tar zxvf mfs-1.6.27-5.tar.gz -C /opt  
> cd /opt/mfs-1.6.27-5/  
> ./configure \\  
> \--prefix=/usr/local/mfs \\  
> \--with-default-user=mfs \\  
> \--with-default-group=mfs \\  
> \--disable-mfsmaster \\  
> \--disable-mfsmount
> 
> make && make install

*  复制配置文件（使模板生效）

> cd /usr/local/mfs/etc/mfs  
> cp mfschunkserver.cfg.sample mfschunkserver.cfg  
> cp mfshdd.cfg.sample mfshdd.cfg

*  修改配置文件使地址指向master服务器

> vim mfschunkserver.cfg
> 
> MASTER\_HOST=172.16.10.138 \#指向master服务器

*  修改mfshdd.cfg,添加共享的文件目录

> vim mgshdd.cfg
> 
> /data \#添加

*  创建共享目录，修改属主属组

> mkdir /data
> 
> chown -R mfs:mfs /data

*  开启chunkserver服务

> /usr/local/mfs/sbin/mfschunkserver start \#开启服务

![MFS分布式文件系统的部署][MFS 2]

**注：另一台chunkserver服务器和这台配置一样**

## 搭建客户端client ##

*  首先安装环境包

> yum -y install zlib-devel gcc gcc-c++

*  创建管理用户

> useradd -s /sbin/nologin -M mfs

*  解压辅助工具

> tar xf fuse-2.9.2.tar.gz -C /opt  
> cd /opt/fuse-2.9.2/  
> ./configure  
> make && make install

*  添加环境变量，使系统识别

> vim /etc/profile  
> export PKG\_CONFIG\_PATH=/usr/local/lib/pkgconfig:$PKG\_CONFIG\_PATH \#添加
> 
> source /etc/profile \#刷新生效

*  搭建mfs客户端

> tar zxvf mfs-1.6.27-5.tar.gz -C /opt  
> cd /opt/mfs-1.6.27-5/  
> ./configure \\  
> \--prefix=/usr/local/mfs \\  
> \--with-default-user=mfs \\  
> \--with-default-group=mfs \\  
> \--disable-mfsmaster \\  
> \--disable-mfschunkserver \\  
> \--enable-mfsmount
> 
> make && make install

*  挂载MFS文件系统

> mkdir /opt/mfs //创建挂载点//  
> modprobe fuse //加载fuse模块到内核//  
> /usr/local/mfs/bin/mfsmount /opt/mfs -H 172.16.10.138 //挂载MFS

**如果要卸载MFS,使用命令umount /opt/mfs**

*  常用操作

> vim /etc/profile  
> export PATH=/usr/local/mfs/bin:$PATH \#添加环境变量，方便相关命令的使用
> 
> source /etc/profile

*  MFS网页监控

> /usr/local/mfs/sbin/mfscgiserv \#开启

![MFS分布式文件系统的部署][MFS 3]

*  测试

![MFS分布式文件系统的部署][MFS 4]

![MFS分布式文件系统的部署][MFS 5]

**至此实验成功，MFS分布式文件系统就全部介绍完了！！！**

转载于:https://blog.51cto.com/13659301/2153514

[MFS]: https://s1.51cto.com/images/blog/201807/30/d9aa0d7d55f2893f3f378ae03f79aa17.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[MFS 1]: https://s1.51cto.com/images/blog/201807/30/6e74f076599cbf04bfde13c097fa8192.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[MFS 2]: https://s1.51cto.com/images/blog/201807/30/358c9133470a929e7d631464ab47da82.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[MFS 3]: https://s1.51cto.com/images/blog/201807/30/04b95ddb3065f65943590997dbbb68b2.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[MFS 4]: https://s1.51cto.com/images/blog/201807/30/63ce554f229add915b046073a33c9a8f.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[MFS 5]: https://s1.51cto.com/images/blog/201807/30/dce55edcecced18b47b3e1b81fb670a0.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=