linux下磁盘镜像软件DRBD的使用

绝地灬酷狼 2022-09-13 15:17 162阅读 0赞

**一、 什么是DRBD**

DRBD的全称为：Distributed Replicated BlockDevice (DRBD)分布式块设备复制,DRBD是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。它允许用户在远程机器上建立一个本地块设备的实时镜像。与心跳连接结合使用，也可以把它看作是一种网络RAID。

**二、DRBD是如何工作的**  
 Drbd 负责接收数据，把数据写到本地磁盘，然后发送给另一个主机。另一个主机再将数据存到自己的磁盘中。目前，drbd 每次只允许对一个节点进行读写访问，这对于通常的故障切换高可用性集群来讲已经足够用了。以后的版本将支持两个节点进行读写存取。

**三、 drbd与现在的HA集群的关系**

一个drbd系统由两个以上节点构成，与HA集群类似，也有主用节点和备用节点之分，在带有主要设备的节点上，应用程序和操作系统可以运行和访问drbd设备（/dev/nbX）。  
在主节点写入的数据通过drbd设备存储到主节点的磁盘设备中，同时，这个数据也会自动发送到备用节点相应的drbd设备，最终写入备用节点的磁盘设备中，在备用节点上，drbd只是将数据从drbd设备写入到备用节点的磁盘设备中。  
大部分现行高可用性集群都会使用共享存储，而Drbd也可以作为一个共享存储设备，使用drbd不需要任何硬件的投资。因为它在IP网络中运行，所以，利用drbd作为共享存储设备，要节约很多成本，因为在价格上IP网络要比专用的存储网络经济的多。

**四、 DRBD实现原理图**  
DRBD是linux的内核的存储层中的一个分布式存储系统，可用使用DRBD在两台linux服务器之间共享块设备，共享文件系统和数据。类似于一个网络RAID1的功能，如图1所示：

![20130926155211687][]

图1

**五、DRDB的安装**  
从官方网站下载源码包来编译或直接使用yum源来安装，这里以CentOS为例说明安装过程，其它系统类似。  
\[root@drbd1 ~\]\# uname -a  
Linux drbd1 2.6.18-194.11.1.el5 \#1 SMP Tue Aug 10 19:09:06 EDT 2010 i686 i686i386 GNU/Linux  
通过yum安装DRBD服务：  
\[root@drbd1 ~\]\# yum -y install kmod-drbd83 drbd83  
检查DRBD是否安装成功：  
\[root@drbd1 ~\]\# lsmod | grep -i drbd  
drbd 228528 3  
\[root@drbd1 ~\]\# modprobe -l | grep -i drbd  
/lib/modules/2.6.18-194.11.1.el5/weak-updates/drbd83/drbd.ko  
安装成功之后/sbin目录下面有drbdadm，drbdmeta，drbdsetup命令，以及/etc/init.d/drbd启动脚本。

**六、配置DRDB**  
DRBD运行需要读取/etc/drbd.conf配置文件，下面是两台主机节点配置的drbd.conf文件的简单示例：  
\[root@drbd1 ~\]\#cat /etc/drbd.conf  
\#  
\# drbd.conf  
\#  
\# create by [ jackbillow@gmail.com][jackbillow_gmail.com]at 2010-08-12  
global \{  
\# minor-count 64;  
\# dialog-refresh 5; \# 5 seconds  
\# disable-ip-verification;  
usage-count no;  
\#是否参加DRBD使用者统计，默认yes  
\}

common \{  
syncer \{ rate 200M; \}  
\#设置主备节点同步时的网络速率最大值，单位是字节。  
\}

resource r0 \{  
\#资源名字为r0.  
protocol C;  
\# 使用drbd的第三种同步协议,表示收到远程主机的写入确认后,则认为写入完成.  
handlers \{  
pri-on-incon-degr "echo o > /proc/sysrq-trigger ;halt -f";  
pri-lost-after-sb "echo o > /proc/sysrq-trigger ;halt -f";  
local-io-error "echo o > /proc/sysrq-trigger ; halt-f";  
fence-peer "/usr/lib64/heartbeat/drbd-peer-outdater -t5";  
pri-lost "echo pri-lost. Have a look at the log files.| mail -s 'DRBD Alert' root";  
split-brain "/usr/lib/drbd/notify-split-brain.shroot";  
out-of-sync "/usr/lib/drbd/notify-out-of-sync.shroot";  
\}

net \{  
\#timeout 60;  
\# connect-int 10;  
\#ping-int 10;  
\# max-buffers 2048;  
\# max-epoch-size 2048;  
cram-hmac-alg "sha1";  
shared-secret "MySQL-HA";  
\# DRBD同步时使用的验证方式和密码信息。  
\}

disk \{  
on-io-error detach;  
fencing resource-only;  
\#使用dpod功能（drbdoutdate-peer daemon)保证在数据不同步时不进行切换。  
\}

startup \{  
wfc-timeout 120;  
degr-wfc-timeout 120;  
\}

device /dev/drbd0;  
  
on dbm157 \{  
\#每个主机的说明以on开头,后面是hostname（uname -n），在后面的\{\}中为这个主机的配置。  
disk /dev/sda2;  
\#/dev/drbd0使用的磁盘分区是/dev/sda2。  
address 192.168.0.157:7788;  
\#设置DRBD的监听端口,用于与另一台主机通信。  
meta-disk internal;  
\}  
on dbm158 \{  
disk /dev/sda2;  
\#/dev/drbd0使用的磁盘分区是/dev/sda2。  
address 192.168.0.158:7788;  
\#设置DRBD的监听端口,用于与另一台主机通信。  
meta-disk internal; \#drbd的元数据存放方式。  
\}

\}  
将上面这个drbd.conf文件分别复制到两台主机的/etc目录下。drbd.conf的配置参数很多，有兴趣的话可以使用命令：man drbd.conf来查看了解更多的参数说明。

**七、启动DRBD**

1 在两个节点执行  
在启动DRBD之前,你需要分别在两台主机的hdb1分区上,创建供DRBD记录信息的数据块.分别在两台主机上执行:  
\[root@drbd1 ~\]\# drbdadm create-md r0 或者执行drbdadmcreate-md all  
\[root@drbd2 ~\]\# drbdadm create-md r0

2在两个节点启动服务  
\[root@drbd1 ~\]\#/etc/init.d/drbd start  
\[root@drbd2 ~\]\#/etc/init.d/drbd start  
最好同时启动

3在任意节点查看节点状态  
\[root@drbd1 ~\]\# cat /proc/drbd  
1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent Cr----  
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:boos:2007644  
对输出的含义解释如下：  
ro表示角色信息，第一次启动drbd时，两个drbd节点默认都处于Secondary状态，  
ds是磁盘状态信息，“Inconsistent/Inconsisten”，即为“不一致/不一致”状态，表示两个节点的磁盘数据处于不一致状态。  
Ns表示网络发送的数据包信息。  
Dw是磁盘写信息  
Dr是磁盘读信息

4设置主节点  
由于默认没有主次节点之分，因而需要设置两个主机的主次节点，选择需要设置为主节点的主机，然后执行如下命令：  
\[root@drbd1 ~\]\#drbdsetup /dev/drbd0 primary –o  
或者执行下面命令也是可以的  
\[root@drbd1 ~\]\#drbdadm -- --overwrite-data-of-peer primary all  
第一次执行完此命令后，在后面如果需要设置哪个是主节点时，就可以使用另外一个命令：  
\[root@drbd1 ~\]\#/sbin/drbdadm primary r0或者/sbin/drbdadmprimary all  
执行此命令后，开始同步两台机器对应磁盘的数据  
\[root@drbd1 ~\]\#cat /proc/drbd  
1: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r----  
ns:576224 nr:0 dw:0 dr:581760 al:0 bm:34 lo:84 pe:369 ua:256ap:0 ep:1 wo:b oos:1443196  
\[====>...............\] sync'ed:28.4% (1443196/2007644)K delay\_probe: 69  
finish: 0:03:56 speed: 6,024 (5,876)K/sec  
从输出可知：  
“ro状态现在变为“Primary/Secondary”，“ds”状态也变为“UpToDate/Inconsistent”，也就是“实时/不一致”状态，现在数据正在主备两个主机的磁盘间进行同步，且同步进度为28.4%，同步速度每秒5.8M左右。  
等待片刻，再次查看同步状态，输出如下：  
\[root@drbd1 ~\]\#cat /proc/drbd  
1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r----  
ns:2007644 nr:0 dw:0 dr:2007644 al:0 bm:123 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0  
可以看到同步完成了，并且“ds“状态也变为“UpToDate/UpToDate”了。即为“实时/实时”状态了。  
如果第一次设置主备节点时使用“/sbin/drbdadm primary r0”命令，那么会提示如下错误：  
0: State change failed: (-2) Need access to UpToDate data  
Command '/sbin/drbdsetup 0 primary' terminated with exit code 17  
只要第一次用上面命令成功后，以后就可以用“/sbin/drbdadm primary r0”命令了。  
5格式化文件系统  
由于mount操作只能在主节点进行，所以只有设置了主节点后才能格式化磁盘分区，然后挂载：  
\[root@drbd1 ~\]\#mkfs.ext3 /dev/drbd0  
\[root@drbd1 ~\]\#mount /dev/drbd0 /mnt

**八、 DRBD主备节点切换**  
主备节点切换有两种方式，分别是停止drbd服务切换和正常切换，依次介绍：

1停止drbd服务切换  
关闭主节点服务，此时挂载的drbd分区就自动在主节点卸载了，然后在备用节点执行切换命令：  
\[root@drbd2 ~\]\#drbdadm primary all  
此时会报错：  
2: State change failed: (-7) Refusing to be Primary while peer is not outdated  
Command 'drbdsetup 2 primary' terminated with exit code 11  
因此，必须在备用节点执行如下命令：  
\[root@drbd2 ~\]\#drbdsetup /dev/drbd0 primary –o  
或者  
\[root@drbd2~\]\#drbdadm -- --overwrite-data-of-peer primary all  
此时就可以正常切换了。  
当在备用节点执行切换到主节点命令后，原来的主用节点自动变为备用节点。无需在主用节点再次执行切换到备用节点的命令。

2正常切换  
在主节点卸载磁盘分区，然后执行  
\[root@drbd1 ~\]\#drbdadm secondary all  
如果不执行这个命令，直接在备用节点执行切换到主节点的命令，会报错：  
2: State change failed: (-1) Multiple primaries not allowed by config  
Command 'drbdsetup 2 primary' terminated with exit code 11  
接着，在备用节点执行  
\[root@drbd2 ~\]\#drbdadm primary all  
最后在备用节点挂载磁盘分区即可：  
\[root@drbd2 ~\]\#mount /dev/drbd2 /mnt

[20130926155211687]: /images/20220828/5b298ed3232045d89f142d50c49fec62.png
[jackbillow_gmail.com]: mailto:jackbillow@gmail.com