KVM虚拟机实现在线热迁移

迈不过友情╰ 2023-05-29 09:11 88阅读 0赞

> 博文大纲：
> 
>  *  一、KVM虚拟机的迁移方式及需要注意的问题
>  *  二、kvm虚拟机热迁移配置实例

## 一、KVM虚拟机的迁移方式及需要注意的问题 ##

> KVM虚拟机的迁移有两种方法：  
> 1、静态迁移（冷迁移）：对于冷迁移，就是在虚拟机关闭状态下，将虚拟机的磁盘文件及.xml配置文件（这两个文件组成了一个虚拟机）复制到要迁移到的目标主机上，然后在目标主机上使用“virsh define \*.xml”命令重新定义虚拟机即可。  
> 2、动态迁移（热迁移）：对于热迁移，比较常用，通常是这台服务器上正在跑着一些业务，而这些业务又不允许中断，那么就需要使用热迁移了，这篇博文将详细写出热迁移的步骤。

### 1、冷迁移 ###

通常我们存放虚拟机磁盘的目录都是挂在的一个nfs文件系统的磁盘，而这个磁盘通常是LVM文件系统。所以需要进行冷迁移时，只要在目标主机上挂载这个nfs文件系统，就可以看到要迁移的那个虚拟机的磁盘文件，通常以.qcow2或.raw结尾的，然后，只需将虚拟机的.xml配置文件发送到目标服务器上，然后重新定义一下即可通过“virsh list --all”命令查看到迁移过来的虚拟机。

### 2、热迁移 ###

如果源宿主机和目的宿主机共享存储系统，则只需要通过网络发送客户机的 vCPU 执行状  
态、内存中的内容、虚机设备的状态到目的主机上。否则，还需要将客户机的磁盘存储发到目的主  
机上。共享存储系统指的是源和目的虚机的镜像文件目录是在一个共享的存储上的。

在基于 共享存储系统 时，KVM 动态迁移的具体过程为：  
1、迁移开始时，客户机依然在宿主机上运行，与此同时，客户机的内存页被传输到目的主机上。  
2、QEMU/KVM 会监控并记录下迁移过程中所有已被传输的内页的任何修改，并在所有内存页都传输完成后即开始传输在前面过程中内存页的更改内容。  
3、QEMU/KVM 会估计迁移过程中的传输速度，当剩余的内存数据量能够在一个可以设定的时间周期（默认 30 毫秒）内传输完成时，QEMU/KVM 会关闭源宿主机上的客户机，再将剩余的数据量传输到目的主机上，最后传输过来的内存内容在目的宿主机上恢复客户机的运行状态。  
4、至此，KVM 的动态迁移操作就完成了。迁移后的客户机尽可能与迁移前一致，除非目的主机上缺少一些配置，比如网桥等。注意，当客户机中内存使用率非常大而且修改频繁时，内存中数据不断被修改的速度大于KVM能够传输的内存速度时，动态迁移的过程是完成不了的，这时候只能静态迁移。

### 3、迁移的注意事项 ###

无论是冷迁移还是热迁移，注意事项大都差不多。

> 迁移前目标服务器的要求如下：
> 
>  *  最好迁移的服务器cpu品牌一样；
>  *  64位只能在64位宿主机间迁移，32位可以迁移32位和64位宿主机；
>  *  宿主机中的虚拟机名字不能冲突；
>  *  目的宿主机和源宿主机软件配置尽可能的相同，如 有相同的桥接网卡，资源池等；
>  *  两台迁移的主机 cat /proc/cpuinfo |grep nx 的设置是相同的NX，全名为“No eXecute”，即“禁止运行”，是应用在CPU的一种技术，用作把存储器区域分隔为只供存储处理器指令集，或只供数据使用。任何使用NX技术的存储器，代表仅供数据使用，因此处理器的指令集并不能在这些区域存储。这种技术可防止大多数的缓冲溢出，即一些恶意程序，把自身的恶意指令集放在其他程序的数据存储区并运行，从而把整台计算机控制。

**小结：**

> 1、静态迁移
> 
>  *  拷贝镜像文件和虚拟机配置文件；
>  *  重新定义此虚拟机。  
>     2、动态迁移
>  *  创建共享存储；
>  *  两台机器挂载共享存储(手工挂载；使用资源池)；
>  *  启动动态迁移；
>  *  创建迁移后的虚拟机配置文件；
>  *  重新定义虚拟机。

## 二、kvm虚拟机热迁移配置实例 ##

### 1、环境准备： ###

> 我这里的环境如下：
> 
>  *  三台Linux服务器，其中两台是KVM服务器，IP是192.168.20.2和192.168.20.3。一台是NFS服务器，IP是192.168.20.4，用来做共享存储（要求三台服务器可互相ping通）；
>  *  两台KVM虚拟机必须都有KVM环境。

我这的KVM环境是现成的，这里就不展示了，如果没有KVM环境，可以参考博文：[KVM虚拟化基础管理][KVM]进行搭建（很简单，yum安装一些包，启动“libvirtd”服务即可，可能需要重启服务器）。

### 2、配置NFS共享存储 ###

nfs服务器192.168.20.4配置如下：

[root@nfs ~]# yum -y install nfs-utils rpcbind                 #安装所需软件包
    [root@localhost ~]# systemctl enable nfs                               #设置NFS开机自启
    [root@localhost ~]# systemctl enable rpcbind                       #设置rpcbind开机自启
    [root@nfs ~]# mkdir -p /nfsshare                  #创建需要共享的目录
    [root@nfs ~]# vim /etc/exports       #编辑NFS的配置文件，默认为空
    /nfsshare       *(rw,sync,no_root_squash)
    #第一列代表共享的目录
    #第二列的星号代表允许所有网络访问；
    #rw代表读写权限；sync代表同步写入磁盘；
    #no_root_squash表示当前客户机以root身份访问时赋予本地root权限
    #（默认是root_squash，将作为nfsnobody用户对待），若不加no_root_squash，
    #可能会导致被降权，而无法进行读写（wr）。
    [root@nfs ~]# systemctl restart rpcbind      #启动该服务
    [root@nfs ~]# systemctl restart nfs      #启动该服务
    [root@nfs ~]# netstat -anpt | grep rpc      #确认服务已启动
    [root@nfs ~]# showmount -e         #查看本机共享的目录
    Export list for nfs:
    /nfsshare *
    [root@nfs ~]# firewall-cmd --add-service=rpc-bind --permanent 
    [root@nfs ~]# firewall-cmd --add-service=nfs --permanent 
    [root@nfs ~]# firewall-cmd --add-service=mountd --permanent 
    [root@nfs ~]# systemctl restart firewalld     #重启防火墙，使配置生效

NFS服务器至此配置完成！！！

我这里的迁移操作依赖于桌面图形化环境，若需要使用命令迁移，可以[下载][Link 1]这个文档进行参考，我没有研究过使用命令迁移。

两台KVM服务器配置如下（两台kvm主机都需要进行下面的配置）：

1.安装rpcbind软件包，并启动rpcbind服务，为了使用showmount查询工具，所以将nfs-utils也一起装上：

[root@localhost ~]# yum -y install nfs-utils rpcbind 
    [root@localhost ~]# systemctl enable rpcbind
    [root@localhost ~]# systemctl start rpcbind
    [root@kvm ~]# showmount -e 192.168.20.4    #查询nfs服务器共享的目录
    Export list for 192.168.20.4:
    /nfsshare *
    [root@kvm ~]# mount -t nfs 192.168.20.4:/nfsshare /kvm/disk/   #进行挂载
    [root@kvm ~]# df -hT /kvm/disk/
    文件系统               类型  容量  已用  可用 已用% 挂载点
    192.168.20.4:/nfsshare nfs4   50G   33M   50G    1% /kvm/disk
    #在其中一台服务器上写入一个测试文件，看看在其他服务器上是否可以看到
    [root@kvm1 ~]# touch /kvm/disk/test        #在其中一个kvm服务器上创建测试文件
    [root@kvm2 ~]# ls /kvm/disk         #保证在第二台kvm服务器的目录下也可以看到
    test

至此，就保证了两台kvm服务器使用的目录都是同一块磁盘存储的**（注意：两台kvm虚拟机的挂载nfs文件系统的目录路径必须一致，我这里两台kvm虚拟机都是挂载到了/kvm/disk/目录下，否则会在后面的操作中发生错误）**。

### 3、在两个kvm服务器上分别创建存储卷： ###

[root@kvm1 ~]# virt-manager         #打开虚拟机控制台

![KVM虚拟机实现在线热迁移][KVM 1]  
![KVM虚拟机实现在线热迁移][KVM 2]

![KVM虚拟机实现在线热迁移][KVM 3]

**下面对话框中，目标路径是KVM本机的“/kvm/disk”，主机名写的是nfs服务器的IP地址，源路径是nfs服务器共享的目录。**

![KVM虚拟机实现在线热迁移][KVM 4]

![KVM虚拟机实现在线热迁移][KVM 5]

**以上操作同样需要在第二台KVM上进行操作，最好定义的存储池名字等都一致。以免发生不必要的麻烦。**

### 3、在kvm1上新建一个虚拟机以便进行迁移测试 ###

![KVM虚拟机实现在线热迁移][KVM 6]：

![KVM虚拟机实现在线热迁移][KVM 7]  
![KVM虚拟机实现在线热迁移][KVM 8]  
自行上传一个centos的iso系统文件，这里需要指定要安装的iso文件：  
![KVM虚拟机实现在线热迁移][KVM 9]![KVM虚拟机实现在线热迁移][KVM 10]![KVM虚拟机实现在线热迁移][KVM 11]![KVM虚拟机实现在线热迁移][KVM 12]![KVM虚拟机实现在线热迁移][KVM 13]![KVM虚拟机实现在线热迁移][KVM 14]  
至此，正常的自行安装虚拟机即可。  
![KVM虚拟机实现在线热迁移][KVM 15]

### 4、将新建的虚拟机网络配置为Bridge模式，可以ping通外网 ###

以下操作主要是为了模拟虚拟机为公网用户提供服务中进行热迁移。

1）kvm1操作如下：

[root@kvm ~]#  systemctl stop NetworkManager    #停止此服务
    [root@kvm ~]# virsh iface-bridge ens33 br0    #执行此命令时，若提示以下信息，不用在意，因为其已经存在了
    使用附加设备 br0 生成桥接 ens33 失败
    已启动桥接接口 br0
    [root@kvm ~]# ls /etc/sysconfig/network-scripts/ | grep br0   
    ifcfg-br0        #确定有此文件就行
    [root@kvm ~]# virsh destroy centos7.0     #关闭新建的虚拟机
    域 centos7.0 被删除
    [root@kvm ~]# virsh edit centos7.0      #编辑虚拟机的配置文件，定位到interface
    <interface type='bridge'>      #将此处改为bridge
     <mac address='52:54:00:a9:cc:5f'/>      #删除Mac地址这行
          <source bridge='br0'/>          #将此处更改为这样
    #保存退出即可
    [root@kvm1 ~]# virsh start centos7.0 
    域 centos7.0 已开始

开启虚拟机后，配置虚拟机的网卡配置文件，默认网卡文件为ifcfg-eth0：  
![KVM虚拟机实现在线热迁移][KVM 16]  
重启网络服务，并且确认IP地址：  
![KVM虚拟机实现在线热迁移][KVM 17]

现在可以在虚拟机上执行“ping www.baidu.com” 命令，使其持续ping公网。  
![KVM虚拟机实现在线热迁移][KVM 18]  
2）kvm2操作如下：

[root@kvm ~]#  systemctl stop NetworkManager    #停止此服务
    [root@kvm ~]# virsh iface-bridge ens33 br0    #执行此命令时，若提示以下信息，不用在意，因为其已经存在了
    使用附加设备 br0 生成桥接 ens33 失败
    已启动桥接接口 br0
    [root@kvm ~]# ls /etc/sysconfig/network-scripts/ | grep br0   
    ifcfg-br0        #确定有此文件就行
    #由于kvm2没有虚拟机，所以只需将网络更改为桥接模式即可，。
    #以上配置是为了防止虚拟机迁移到这台服务器后，无法和公网进行联系。

### 5、开始准备对新建的centos 7进行热迁移 ###

1）kvm1服务器上进行以下操作：

[root@kvm1 ~]# virt-manager         #打开虚拟机控制台

![KVM虚拟机实现在线热迁移][KVM 19]

填写如下，填写完成后，单击“连接”：  
![KVM虚拟机实现在线热迁移][KVM 20]

会提示需要安装以下软件包：  
![KVM虚拟机实现在线热迁移][KVM 21]

进行安装：

[root@kvm1 ~]# yum -y install openssh-askpass

![KVM虚拟机实现在线热迁移][KVM 22]

根据弹出的对话框提示，输入“yes”：  
![KVM虚拟机实现在线热迁移][KVM 23]

输入目标主机的root密码：  
![KVM虚拟机实现在线热迁移][KVM 24]

![KVM虚拟机实现在线热迁移][KVM 25]

### 6、开始进行热迁移 ###

![KVM虚拟机实现在线热迁移][KVM 26]

![KVM虚拟机实现在线热迁移][KVM 27]

等待迁移完成，这个过程很快：  
![KVM虚拟机实现在线热迁移][KVM 28]

迁移完成：  
![KVM虚拟机实现在线热迁移][KVM 29]

现在去目标kvm服务器上，打开新迁移过去的虚拟机（会发现ping命令还在继续，压根就没有中断过）：

![KVM虚拟机实现在线热迁移][KVM 30]

可以自行使用“virsh list --all”分别在两台kvm服务器上进行确认，这个虚拟机是否真的迁移到第二台kvm服务器上了。

———————— 本文至此结束，感谢阅读 ————————

[KVM]: https://blog.51cto.com/14154700/2440947
[Link 1]: https://pan.baidu.com/s/1VRyLHpU6MkjVhyTCVANCiA
[KVM 1]: https://s1.51cto.com/images/blog/201910/11/ad001e4b9b115bc63025460de5aabd1b.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 2]: https://s1.51cto.com/images/blog/201910/11/918a53f17d2432bcf9f6ddfe65ddf2d0.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 3]: https://s1.51cto.com/images/blog/201910/11/5b893c3e9bc05c517ae208631433e483.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 4]: https://s1.51cto.com/images/blog/201910/11/d82b72d53bd0544ef6f2d20612a70d58.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 5]: https://s1.51cto.com/images/blog/201910/11/1e779ced4cb8990369f8e3be6e5394f9.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 6]: https://s1.51cto.com/images/blog/201910/11/11ec1791edf7f05b32a4742ec0e51f59.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 7]: https://s1.51cto.com/images/blog/201910/11/3b6400de30edbd6ecea8f1e52dff5f6a.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 8]: https://s1.51cto.com/images/blog/201910/11/f0ed33e81c431b883cf2e1f6f7cd6f43.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 9]: https://s1.51cto.com/images/blog/201910/11/983a19aa14fb3cc6653f47e5f3b47e19.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 10]: https://s1.51cto.com/images/blog/201910/11/093290b51e550bad64c6085c9619768d.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 11]: https://s1.51cto.com/images/blog/201910/11/f5a26873ee40170e2199db85da80c8ad.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 12]: https://s1.51cto.com/images/blog/201910/11/af4d856156fd6b5b32f11e7846b7410b.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 13]: https://s1.51cto.com/images/blog/201910/11/75a64b84009aac49b46585912d742584.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 14]: https://s1.51cto.com/images/blog/201910/11/c386e9b4aa8cab1a3def4e93bf0cdbf5.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 15]: https://s1.51cto.com/images/blog/201910/11/99f5d4da48a9e90ed60c0494e2ab769b.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 16]: https://s1.51cto.com/images/blog/201910/11/3d25e2fcc06901b174177d734bd72bcf.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 17]: https://s1.51cto.com/images/blog/201910/11/43083061776adb97ed824a4687be9a65.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 18]: https://s1.51cto.com/images/blog/201910/11/2fa128979bad31ae3f89dd5f0b404f6a.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 19]: https://s1.51cto.com/images/blog/201910/11/a34aa7190643db5fd4a3fc700fe96905.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 20]: https://s1.51cto.com/images/blog/201910/11/7a7af67df3f0d49dc81bcdf900413cf2.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 21]: https://s1.51cto.com/images/blog/201910/11/f0790ac4ad9ea7587d391250db9592ea.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 22]: https://s1.51cto.com/images/blog/201910/11/7977aa08d8b647a516af95372b36188c.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 23]: https://s1.51cto.com/images/blog/201910/11/024e0bad76c2f47c29ef4dbcf3c6bc52.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 24]: https://s1.51cto.com/images/blog/201910/11/aacc1f5efa769cbd60fa9ed642ba184b.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 25]: https://s1.51cto.com/images/blog/201910/11/a5fa3b3f33df395aa43665e159a809cc.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 26]: https://s1.51cto.com/images/blog/201910/11/1b74d40dab7e763d75c27582cefc8a1c.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 27]: https://s1.51cto.com/images/blog/201910/11/84212fb496ef7cec21fd63c3eaf1e719.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 28]: https://s1.51cto.com/images/blog/201910/11/267e6859b0aa0203bb1430361b5bdfed.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 29]: https://s1.51cto.com/images/blog/201910/11/21eb4ba5a28059d9cf80cb5431bb4373.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=
[KVM 30]: https://s1.51cto.com/images/blog/201910/11/2df300dabaa0bce6c211fbc2bfd9304b.png?x-oss-process=image/watermark,size_16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=