分布式文件系统之MogileFS

朴灿烈づ我的快乐病毒、 2022-08-05 00:42 192阅读 0赞

MogileFS 是一个开源的分布式文件系统,用于组建分布式文件集群,能够做到不需要特殊的核心组件、无单点失败、自动的文件复制、比RAID好多了、传输中立，无特殊协议(客户端可以通过NFS或HTTP来和MogileFS通 信)、简单的命名空间、不用共享任何东西、不需要RAID、不会碰到文件系统本身的不可知情况 等等优点。由 LiveJournal 旗下 Danga Interactive 公司开发,Danga 团队开发了包括Memcached、MogileFS、Perlbal 等不错的开源项目：(注：Perlbal 是一个强大的 Perl 写的反向代理服务器)。  
官网：[http://www.danga.com/mogilefs/][http_www.danga.com_mogilefs]  
**MogileFS特点**：  
1）.工作于应用层，没有特殊的组件要求；  
2）.无单点，tracker节点可以高可用，存储节点可以存储多个数据副本，对应数据库有高可用方案；  
3）.实现自动文件复制，默认副本是2份；建议存三份；  
4）.传输中立，无须特殊协议，MogileFS客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信，但首先需要告知跟踪器一下。  
5）.使用名称空间（命名空间），每个文件通过key来确定，domain，切割成不同的空间，单个空间的名称不重复，也可以根据应用来分空间；domain内部有多个小的组件组成，成为class类，整个空间由不同节点提供的，每个文件需要存副本，在数据库中保存元数据，也适用于存储海量小文件，class把多个文件合并起来当作一个复制最小单元；  
6）.无需raid，但比raid更优，MogileFS在不同的机器之间进行文件复制，因此文件始终是可用的。  
7）.不共享任何数据，MogileFS不需要依靠昂贵的SAN来共享磁盘，每个机器只用维护好自己的磁盘。

**MogileFS的结构：**

在使用前,我们需要对 MogileFS 有个基本的了解,就是他的三个大的部分,Tracker(Database) , Storage Nodes 和 Client 组成.有二个服务进程 MogileFSd 和 mogstored ，工作原理如图:

![Center][]

客户端连接到一个域,然后在域中拿着文件的 key 来查文件的位置,然后通过查到集群中的位置来打开这个文件。  
**MogileFS 的三个大的部分：**  
由 Tracker(Database) , Storage Nodes 和 Client 组成,我们这先不讲 Client.因为Client实际上是一个 Perl 的模块,可以写程序调用该模块来操作 MogileFS 系统,对整个系统进行读写操作.另外,象 nginx 之类有相关的客户端模块.另外也有做成象文件系统一样采用 fuse 方式挂载看起来象一个本地文件系统.其它语言的客户端也非常多.  
**Tracker（跟踪器 ,调度器）- (MogileFSd 进程-建议二个 tracker 实例)**  
这个是 MogileFS 的核心部分,通俗点讲,就他是一个调度器.MogileFSd 进程就是 trackers 进程程序,类似 MogileFS 的 wiki 上介绍的,trackers 做了很多工作,Replication ,Deletion,Query,Reaper,Monitor 等等.这个是基于事件的( event-based ) 父进程/消息总线来管理所有来之于客户端应用的交互(requesting operations to be performed), 包括将请求负载平衡到多个"query workers"中,然后让 MogileFSd 的子进程去处理.  
mogadm,mogtool 的所有操作都要跟 trackers 打交道,Client 的一些操作也需要定义好 trackers,因此最好同时运行多个 trackers 来做负载均衡.trackers 也可以只运行在一台机器 上,也可以跟其他程序运行在一起(不建议).  
tracker 配置文件： /etc/mogilefs/mogilefsd.conf  
**数据库（MySQL）部分**  
如上图所显示的,数据库用来存放 MogileFS 的元数据 (命名空间, 和文件在哪里). 是 Trackers 来操作和管理它.你可以用 mogdbsetup 程序来初始化数据库.因为数据库保存了MogileFS的所有元数据,如果这儿挂了,那么整个 MogileFS 将处于不可用状态.因此最好是HA结构.  
**存储节点(Storage Nodes )-(mogstored 进程, Apache 和 Nginx 等 – 所有的存储数据的节点)**  
实际文件存放的地方. 存储节点是一个 HTTP 服务器,用来做删除,存放,重命名等事情.任何 WebDAV 服务器都可以, 不过推荐使用 mogstored . MogileFSd 可以配置到两个机器上使用不同端口… mogstored 来进行所有的 DAV 操作和流量,IO监测, 并且你自己选择的 HTTP 服务器(默认为 perlbal)用来做 GET 操作给客户端提供文件.  
典型的应用是一个挂载点有一个大容量的 SATA 磁盘,它们被挂载到 /var/mogdata/devNN. 只要配置完配置文件后 mogstored 程序的启动将会使本机成为一个存储节点.当然还需要 mogadm 这个工具增加这台机器到 Cluster 中.  
mogstored 的配置文件: /etc/mogilefs/mogstored.conf

参考文章：

1.[分布式文件系统MogileFS安装手册][MogileFS]

2.[mfs权威指南(moosefs)分布式文件系统一站式解决方案(部署，性能测试)][mfs_moosefs]

3.[MogileFS学习文档][MogileFS 1]

4.[分布式文件系统之MogileFS的使用][MogileFS 2]

[http_www.danga.com_mogilefs]: http://www.danga.com/mogilefs/
[Center]: /images/20220805/c9c52aa068074060a66f251ed9dfb5f4.png
[MogileFS]: http://bbs.chinaunix.net/thread-1976725-1-1.html
[mfs_moosefs]: http://bbs.chinaunix.net/thread-1644309-1-1.html
[MogileFS 1]: http://blog.csdn.net/starxu85/article/category/482622
[MogileFS 2]: http://sohudrgon.blog.51cto.com/3088108/1610407