Mongodb分片配置

墨蓝 2022-01-21 03:35 231阅读 0赞

一、     部署环境、

1.     结构图

![20130618092830531][]

2.     节点分配

一共使用了三个节点

Sg206(172.16.48.206  root/201314) ： shard11、shard32、config、mongos

Sg207(172.16.48.207  root/201314) ： shard21、shard12、config、mongos

Sg208(172.16.48.208  root/201314) ： shard31、shard22、config、mongos

3.     配置目录

安装文件：/home/mongodb-linux-x86\_64-2.4.1

安装目录：

sg206:  /home/mongodb-data/shard11  \#数据目录

/home/mongodb-data/shard32  \#数据目录

/home/mongodb-data/conf    \#config数据目录

Sg207:  /home/mongodb-data/shard21   \#数据目录

/home/mongodb-data/shard12   \#数据目录

/home/mongodb-data/conf    \#config数据目录

Sg208:  /home/mongodb-data/shard31   \#数据目录

/home/mongodb-data/shard22   \#数据目录

/home/mongodb-data/conf    \#config数据目录

二、     部署流程

1.     创建数据目录

Sg206:

mkdir -p /home/mongodb-data/shard11

mkdir -p /home/mongodb-data/shard32

mkdir -p /home/mongodb-data/conf

mkdir -p /home/mongodb-data/shard23

sg207:

mkdir -p /home/mongodb-data/shard21

mkdir -p /home/mongodb-data/shard12

mkdir -p /home/mongodb-data/conf

mkdir -p /home/mongodb-data/shard33

sg208:

mkdir -p /home/mongodb-data/shard31

mkdir -p /home/mongodb-data/shard22

mkdir -p /home/mongodb-data/conf

mkdir -p /home/mongodb-data/shard13

2.     配置shard1所用到的replica sets

**Sg206:**

cd /home/mongodb-linux-x86\_64-2.4.1

bin/mongod -shardsvr -replSet shard1 -port 27017 -dbpath /home/mongodb-data/shard11 -oplogSize 50000 -maxConns 600 -logpath=/home/mongodb-data/shar11.log  -logappend -fork

**sg207:**

cd /home/mongodb-linux-x86\_64-2.4.1

bin/mongod -shardsvr -replSet shard1 -port 27017 -dbpath /home/mongodb-data/shard12 -oplogSize 50000 -maxConns 600 -logpath=/home/mongodb-data/shar12.log  -logappend     -fork

**sg208:**

cd /home/mongodb-linux-x86\_64-2.4.1

bin/mongod -shardsvr -replSet shard1 -port 27017 -dbpath /home/mongodb-data/shard13 -maxConns 600 -logpath=/home/mongodb-data/shar13.log  \-logappend -fork

**初始化replica set:**

用mongo连接其中一个mongod执行：

>config=\{\_id:'shard1',members:\[

\{\_id:0,host:'172.16.48.206:27017',priority:2\},

\{\_id:1,host:'172.16.48.207:27017',priority:1\},

\{\_id:2,host:'172.16.48.208:27017',arbiterOnly:true \}\]

>rs.initiate(config);

3.     配置shard2所用到的replica sets

**Sg207:**

cd /home/mongodb-linux-x86\_64-2.4.1

bin/mongod -shardsvr -replSet shard2 -port 27018 -dbpath /home/mongodb-data/shard21 -oplogSize 50000 -maxConns 600 -logpath=/home/mongodb-data/shar21.log -logappend  -fork

**sg208:**

cd /home/mongodb-linux-x86\_64-2.4.1

bin/mongod -shardsvr -replSet shard2 -port 27018 -dbpath /home/mongodb-data/shard22 -oplogSize 50000 -maxConns 600 -logpath=/home/mongodb-data/shar22.log  -logappend  -fork

**sg206:**

cd /home/mongodb-linux-x86\_64-2.4.1

bin/mongod -shardsvr -replSet shard2 -port 27018 -dbpath /home/mongodb-data/shard23 -maxConns 600 -logpath=/home/mongodb-data/shar23.log  \-logappend -fork

**初始化replica set:**

用mongo连接其中一个mongod执行：

>config=\{\_id:'shard2',members:\[

\{\_id:0,host:'172.16.48.207:27018' ,priority:2\},

\{\_id:1,host:'172.16.48.208:27018',priority:1\},

\{\_id:2,host:'172.16.48.206:27018',arbiterOnly:true \}\]

>rs.initiate(config);

4.     配置shard3所用到的replica sets

**Sg208:**

cd /home/mongodb-linux-x86\_64-2.4.1

bin/mongod -shardsvr -replSet shard3 -port 27019 -dbpath /home/mongodb-data/shard31 -oplogSize 50000 -maxConns 600 -logpath=/home/mongodb-data/shar31.log  -logappend -fork

**sg206:**

cd /home/mongodb-linux-x86\_64-2.4.1

bin/mongod -shardsvr -replSet shard3 -port 27019 -dbpath /home/mongodb-data/shard32 -oplogSize 50000 -maxConns 600  -logpath=/home/mongodb-data/shar32.log  -logappend  -fork

**sg207:**

cd /home/mongodb-linux-x86\_64-2.4.1

bin/mongod -shardsvr -replSet shard3 -port 27019 -dbpath /home/mongodb-data/shard33 -maxConns 600 -logpath=/home/mongodb-data/shar33.log  \-logappend -fork

**初始化replica set:**

用mongo连接其中一个mongod执行：

>config=\{\_id:'shard3',members:\[

\{\_id:0,host:'172.16.48.208:27019' ,priority:2\},

\{\_id:1,host:'172.16.48.206:27019',priority:1\},

\{\_id:2,host:'172.16.48.207:27019',arbiterOnly:true \}\]

>rs.initiate(config);

5.     配置三台config server

在sg206，sg207，sg208上分别执行：

bin/mongod -configsvr -dbpath=/home/mongodb-data/conf -port 20000 -logpath=/home/mongodb-data/config.log -logappend -fork

6.     配置mongos

在sg206，sg207，sg208上分别执行:

bin/mongos -configdb 172.16.48.206:20000,172.16.48.207:20000,172.16.48.208:20000 -port 30000 -chunkSize 256 -logpath=/home/mongodb-data/mongos.log -logappend -fork

7.      Configuring the shard cluster

连接到其中一个mongos进程，并切换到admin数据库做以下配置：

1）          连接到mongos，并切换到admin

bin/mongo 172.16.48.206:30000/admin

>db

admin

2）          加入shards

Shard是单台服务器用>db.runCommand(\{addshard:”<serverhostname>\[:<port>\]”\})这样的命令加入，如果shard是replica sets用replicaSetName/<serverhostname>\[:port\]\[,serverhostname2\[:port\],…\]这样的格式表示。

这里我们执行如下命令：

>db.runCommand(\{addshard:"shard1/172.16.48.206:27017,172.16.48.207:27017",name:"shard1",maxsize:204800\});

>db.runCommand(\{addshard:"shard2/172.16.48.207:27018,172.16.48.208:27018",name:"shard2",maxsize:204800\});

>db.runCommand(\{addshard:"shard3/172.16.48.208:27019,172.16.48.206:27019",name:"shard3",maxsize:204800\});

注：name:用于指定每个shard的名字，不指定的话系统将自动分配

maxsize:指定各个shard可使用的最大磁盘空间，单位megabytes

3）           Listing shards

>db.runCommand(\{listshards:1\})

如果列出了以上三个你加的shards，表示shard已经配置成功

8.     激活数据库分片

命令:

>db.runCommand(\{enablesharding:”<dbname>”\});

Eg: >db.runCommand(\{enablesharding:"ycsb"\});

通过执行以上命令，可以让数据库跨shard,如果不执行这步，数据库只会存放在一个shard,一旦激活数据库分片，数据库中不同的Collection将被存放在不同的shard上，但一个collection仍旧存放在同一个shard上，要使单个collection也分片，还需单独对collection作些操作。

9.     激活Collection分片

要使单个collection也分片存储，需要给collection一个分片key，通过以下命令操作：

>db.runCommand(\{shardcollection:”<namespace>”,key:<shardkeypatternobject>\});

注：a. 分片的collection系统会自动创建一个索引(最好提前创建好)

b. 分片的collection只能有一个在分片key上的唯一索引，其他唯一索引不被允许。

例子：

>db.runCommand(\{shardcollection:"ycsb.usertable",key:\{\_id:1\}\});

>for (var i=1;i<=200003;i++) db.c1.save(\{id:i,value1:”1234567890”,value2:”1234567890”,value3:”1234567890”,value4:”1234567890”\});

>db.c1.stats()

for (var i = 1; i <= 20000000; i++)  db.usertable.save(\{age:i\})

[20130618092830531]: /images/20220121/8e930f1b266d43d0b778fa0aa8a7a271.png