MongoDB GridFS介绍

分手后的思念是犯贱 2022-08-07 05:43 260阅读 0赞

GridFS是MongoDB的二进制数据存储在数据库中的解决方案，用来处理大文件。GridFS不是MongoDB自身特性，MongoDB没有实现它的代码，GridFS只是一种将大型文件存储在MongoDB的文件规范，所有官方支持的驱动均实现了GridFS规范。GridFS只是制定大文件在数据库中如何处理，是通过开发语言驱动来完成和通过API接口来存储检索大文件。按照设计，MongoDB文档(BSON对象)不能超过16M，这是为了使性能保持在最高水平。如果文档超过16M，当查询时将占用大量的内存。GridFS指定了将一个大文件分割成多个文档的机制。通过开发语言扩展来实现，例如java扩展，在存储时，分块存储，在检索时，合并分块。开发人员无需知道内部细节，存储和处理文件是一个透明高效的方式。  
GridFS存储在两个独立的集合中：文件和块。GridFS将文件分成大块，将每个大块存储为单独的文件.GridFS中限制chunk最大为256k。GridFS使用两个文档来存储文件，一个用来存储文件本身的块，另外一个用来存储分块的信息和文件的元数据，默认对应的集合分别为fs.chunks和fs.files.

Chunks集合：

{
    "_id" : ObjectId("4f4608844f9b855c6c35e299"),    //chunk的id
    "files_id" : ObjectId("4f4608844f9b855c6c35e298"),  //文件的id，对应fs.files中的对象，相当于fs.files集合的外键
    "n" : 0,     //文件的第几个chunk块，如果文件大于chunksize的话，会被分割成多个chunk块
    "data" : BinData(0,"QGV...")     //文件的二进制数据，这里省略了具体内容
    }

块集合中文档包含以下属性：chunk\_id:块ID。Chunks.files\_id:对应files集合中文档的\_id。Chunks.n：块的编号，由GridFS管理，从0开始。Chunks.data:文件数据，是BSON二进制类型。

Chunks集合使用files\_id和n作为混合索引，files集合：

{
    "_id" : ObjectId("4f4608844f9b855c6c35e298"),       //唯一id，可以是用户自定义的类型
    "filename" : "CPU.txt",      //文件名
    "length" : 778,      //文件长度
    "chunkSize" : 262144,    //chunk的大小
    "uploadDate" : ISODate("2012-02-23T09:36:04.593Z"), //上传时间
    "md5" : "e2c789b036cfb3b848ae39a24e795ca6",      //文件的md5值
    "contentType" : "text/plain"     //文件的MIME类型
    "meta" : null    //文件的其它信息，默认是没有”meta”这个key，用户可以自己定义为任意BSON对象
    }

Files集合中的文档包含以下属性，应用还可以创建额外任意的属性：files\_id：唯一的文件表示。MongoDB的默认值是BOSN ObjectID。 Files.length: 文件的字节数大小。Files.chunkSize:每个块的大小，默认为256KB，GridFS根据这个值将文件分成多个快，files.uploadDate:GridFS第一次存储此文件的时间，类型为ISODate。Files.md5:文件的md5散列值，是字符串。 Files.filename：可选。人类可读的文件名。Files.contentType:可选。合法的文件MIME类型。Files.aliases:可选。别名的字符串数组。Files.metadata:可选。自定义存储的文件元数据。

可以通过mongofiles工具或者MongoDB驱动程序来使用GridFS,GridFS主要提供5种操作接口：

List:获取文件列表  
Get:获取文件  
Put:写入文件  
Search:根据文件名搜索文件  
Delete:删除文件

**对比传统文件系统的优势**  
分布式：GridFS是基于MongoDB的分布式文件系统，可以直接使用MongoDB Replication和Sharding机制，数据可靠性和水平扩展性都得到保证。GridFS不产生磁盘碎片，因为MongoDB分配数据文件空间时以2GB为一块。  
MapReduce:可以进行复杂管理和查询分析。  
索引和缓存：元数据存储在MongoDB中，非常方便索引，并且可以对文件和文件元数据进行索引，能提高系统效率。  
Checksum: GridFS会为文件产生散列值，可用于校验文件以检查完整性。  
开发者友好：利用Grid可以简化需求，减小开发成本。要是已经用了MongoDB,GridFS就可以不需要使用独立文件存储架构，并且使代码和数据真正分离，方便管理。  
其他： GridFS可以避免用于存储用户上传内容的文件系统出现的某些问题。例如，GridFS在同一个目录下防止大量的文件是没有任何问题的。GridFS不产生磁盘碎片，因为MongoDB分配数据文件空间时以2GB为一块。

**使用场景**  
1) 有大量的上传图片(用户上传或者系统本身的文件发布等)  
2) 文件的量级处于飞速增长,有可能打到单机操作系统自己的文件系统的查询性能瓶颈,甚至超过单机硬盘的扩容范围.  
3) 文件的备份(不适用gridfs这种三方也可以做,但是不尽方便),文件系统访问的故障转移和修复..  
4) 文件的索引,存储除文件本身以外还需要关联更多的元数据信息(比如,不仅仅存储文件,还要保存一些文件的发布式作者/发布时间/文件tag属性等等自定义信息)并且需要索引的...  
5) 基于4),对文件的分类模糊,如果采用操作系统的文件系统,文件夹分类关系混乱或者无法分类时..  
6) 当前系统是基于web的,对图片的访问根据url了规则路由的..(普通文件系统也可以)  
7) 文件尺寸较小,而且众多,且文件有可能被迁移/删除等..

**在Mongodb中以GridFSB方式存放文件有两种方式  
1、命令行方式mongofiles**  
mongofiles命令行下向Mongodb数据库中插入文件数据。  
mongofiles  -host 127.0.0.1:27017 -d  mydb  put  文件名  
向数据库mydb中插入一个文件，其中put为命令，表示向Mongodb中上传文件，get、delete分别表示取得文件和删除文件。  
mongo自带有一个实现mongofliles，基本操作如下：  
列出所有文件：  
mongofiles list  
上传一个文件：  
mongofiles put xxx.txt  
下载一个文件：  
mongofiles get xxx.txt  
查找文件：  
mongofiles search xxx //会查找所有文件名中包含“xxx”的文件  
mongofiles list xxx //会查找所有文件名以“xxx”为前缀的文件  
参数说明：  
–d 指定数据库 ，默认是fs，Mongofiles list –d testGridfs  
\-u –p 指定用户名，密码  
\-h 指定主机  
\-port 指定主机端口  
\-c 指定集合名，默认是fs  
\-t 指定文件的MIME类型，默认会忽略  
  
**2、使用API来存取文件**  
基于java的存取请参考下一节文章。