MongoDB集群配置

小咪咪 2022-04-23 10:58 458阅读 0赞

**一、mongodb分布式应用原理**

MongoDB集群包括一定数量的mongod（分片存储数据）、mongos（路由处理）、config server（配置节点）、clients（客户端）、arbiter（仲裁节点：为了选举某个分片存储数据节点那台为主节点）。

![1364349823_6398.png][]

1、shards：一个shard为一组mongod，通常一组为两台，主从或互为主从，这一组mongod中的数据时相同的，具体可见《mongodb分布式之数据复制》。数据分割按有序分割方式，每个分片上的数据为某一范围的数据块，故可支持指定分片的范围查询，这同google的BigTable 类似。数据块有指定的最大容量，一旦某个数据块的容量增长到最大容量时，这个数据块会切分成为两块；当分片的数据过多时，数据块将被迁移到系统的其他分片中。另外，新的分片加入时，数据块也会迁移。

2、mongos：可以有多个，相当于一个控制中心，负责路由和协调操作，使得集群像一个整体的系统。mongos可以运行在任何一台服务器上，有些选择放在shards服务器上，也有放在client 服务器上的。mongos启动时需要从config servers上获取基本信息，然后接受client端的请求，路由到shards服务器上，然后整理返回的结果发回给client服务器。

3、config server：存储集群的信息，包括分片和块数据信息。主要存储块数据信息，每个config server上都有一份所有块数据信息的拷贝，以保证每台config server上的数据的一致性。

4、shard key：为了分割数据集，需要制定分片key的格式，类似于用于索引的key格式，通常由一个或多个字段组成以分发数据，比如：

\{ name : 1 \}

\{ \_id : 1 \}

\{ lastname : 1, firstname : 1 \}

\{ tag : 1, timestamp : -1 \}

mongoDB的分片为有序存储(1为升序，-1为降序)，shard key相邻的数据通常会存在同一台服务（数据块）上。

**二、mongodb集群配置步骤**

我配置的集群是测试用的，没有复制。只是简单的分片存储数据进行测试。配置完成后的结构图如下：

![1364351019_5337.jpg][]

用到了两个节点sg201 和sg202,两台都为64位的。

sg201上配置了shard11和config

sg202上配置了shard21和mongos

1.软件下载：从官网上下载[http://www.mongodb.org/][http_www.mongodb.org]

2.在两台节点上分别配置shard11和sard21

在sg201上执行：

mkdir -p /data/shard11
    mkdir -p /data/logs
    bin/mongod -shardsvr -port 27017 -dbpath=/data/shard11/  -logpath=/data/logs/shard11.log --fork

在sg202上执行：

mkdir -p /data/shard21
    mkdir -p /data/logs
    bin/mongod -shardsvr -port 27017 -dbpath=/data/shard21/ -logpath=/data/logs/shard21.log --fork

3.在sg201上配置conf

[root@sg201 mongodb]# bin/mongod -configsvr -dbpath=/data/config -port 20000 -logpath=/data/logs/config.log --fork
    about to fork child process, waiting until server is ready for connections.
    forked process: 8563
    all output going to: /data/logs/config.log
    child process started successfully, parent exiting

4.在sg202上配置mongos

[root@sg202 mongodb]# bin/mongos -configdb 172.16.48.201:20000 -port 30000 -chunkSize 512 -logpath=/data/logs/mongos.log --fork
    Wed Mar 27 09:13:14.174 warning: running with 1 config server should be done only for testing purposes and is not recommended for production
    about to fork child process, waiting until server is ready for connections.
    forked process: 5464
    all output going to: /data/logs/mongos.log
    child process started successfully, parent exiting

注：这里的172.16.48.201:2000  为你启动conf那台机器的ip和port

5.把分片加入集群，让mongos进程知道哪些机器是需要加入分片的

[root@sg201 mongodb]# bin/mongo 172.16.48.202:30000/admin
    MongoDB shell version: 2.4.1
    connecting to: 172.16.48.202:30000/admin
    Welcome to the MongoDB shell.
    For interactive help, type "help".
    For more comprehensive documentation, see
    	http://docs.mongodb.org/
    Questions? Try the support group
    	http://groups.google.com/group/mongodb-user
    mongos> db.runCommand({"addshard":"172.16.48.201:27017"})
    { "shardAdded" : "shard0000", "ok" : 1 }
    mongos> db.runCommand({"addshard":"172.16.48.202:27017"})
    { "shardAdded" : "shard0001", "ok" : 1 }

6.制定分片规则

mongos> db.runCommand({"shardcollection":"dbname.tablename","key":{"primaryKey":1}})
    { "ok" : 0, "errmsg" : "sharding not enabled for db" }

7.激活分片设置

mongos> db.runCommand({"enablesharding":"ndmongo"})
    { "ok" : 1 }

OK到这里已经成功配置了分片。  
8.测试集群

mongos> db.printShardingStatus()
    --- Sharding Status --- 
      sharding version: {
    	"_id" : 1,
    	"version" : 3,
    	"minCompatibleVersion" : 3,
    	"currentVersion" : 4,
    	"clusterId" : ObjectId("515247aa0fda6a76801fc33b")
    }
      shards:
    	{  "_id" : "shard0000",  "host" : "172.16.48.201:27017" }
    	{  "_id" : "shard0001",  "host" : "172.16.48.202:27017" }
      databases:
    	{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }
    	{  "_id" : "dbname",  "partitioned" : false,  "primary" : "shard0000" }
    	{  "_id" : "ndmongo",  "partitioned" : true,  "primary" : "shard0000" }

db.runCommand({enablesharding:'test'}) 
    printShardingStatus() 
    db.runCommand({shardcollection:'test.auto_increment_id', key:{_id:1}, unique : true}) 
    db.runCommand({shardcollection:'test.c1', key:{_id:1}, unique : true}) 
    for (var i = 1; i <= 100; i++)db.c1.save({id:i,value1:"1234567890",value2:"1234567890",value3:"1234567890",value4:"1234567890"}) 
    db.c1.stats() 
    db.createCollection("cap_coll", {capped:true, size:100000, max:100}); 
    db.mycoll.validate();

9.管理

show dbs
    use admin
    show collections
    db.serverStatus()
    db.shutdownServer()
    exit;

10.索引

db.product_data.ensureIndex({data_id: 1}, {unique: true,dropDups: true}); #创建索引
    db.product_data.dropIndexes();  #删除索引

[1364349823_6398.png]: https://img-my.csdn.net/uploads/201303/27/1364349823_6398.png
[1364351019_5337.jpg]: https://img-my.csdn.net/uploads/201303/27/1364351019_5337.jpg
[http_www.mongodb.org]: http://www.mongodb.org/