跨宿主机- 如何实现 Docker 容器的通讯？（Docker-Swarm）

￡神魔★判官ぃ 2022-09-01 08:43 313阅读 0赞

之前在 [Docker篇（五）：容器之间该如何通讯？][Docker]中，讲到了运行多个容器时的网络通信方式，但那些容器都是运行在同一台物理机的

在实际项目中，我们往往需要部署多套软件，比如组件需要使用**集群化部署**，或者一个项目程序本身就依赖了很多组件，为了存储与运行效率等方面，往往需要**跨主机部署**。那么，**该如何实现跨主机容器之间的网络通讯呢？**

哎，你想到的，`Docker` 也想到啦，或者说本来就存在着一种通用的方案吧

# 一、理论：Docker 如何实现跨主机网络？ #

## 1、认识 Docker Overlay ##

`Overlay 网络`是为特定目的在物理（底层）网络之上创建的逻辑网络。`Docker` 可以创建容器之间的 `Overlay 网络`，从而实现跨主机的容器之间的沟通

也就是说，只要几台物理机之间本身是可以通信的，那么只要在这些机器上建立好一个 `Overlay 网络`把需要相互通讯的容器，直接部署在这个网络之上，最终的效果就类似于将这些容器部署在同一台物理机一样，进行**任意通信**啦

比如说我们需要实现一个 `Elasticsearch` 集群，那么我们只需要把各个节点部署在预先创建好的一个 `Overlay 网络`上就可以实现通信啦

## 2、稍微具体一点 ##

你可能还会有疑惑，为什么 `Overlay 网络`就可以实现多台物理机之间的网络互通呢？实际上它是在 `Docker` 集群节点间的加入了一层虚拟网络，它有独立的虚拟网段。`Docker` 容器发送的请求，会先发送到**虚拟子网**，再由**虚拟子网**包装为宿主机的**真实网址**进行发送

## 3、Swarm 是什么？ ##

而今天要介绍的 `Docker Swarm`，则是 `Docker Overlay` 网络的一种简易实现方式，它是 `Docker` 开发的容器集群管理工具， 与 `Docker API` 兼容性很好

并且 `Linux` 中安装了 `Docker`,也默认会安装 `Swarm`。因此，在这里，我们采用 `Swarm` 实现 集群间的网络通信

接下来，让我们通过实战真正了解一下使用`Docker Swarm` 如何实现Docker 容器的跨主机通信吧

# 二、实战一：实现集群之间的通信 #

还是拿那个老例子来讲一下

在文章[Docker篇（五）：容器之间该如何通讯？][Docker]中，我们分别将 **Spring Boot 后端程序** `druid_demo` 和 `mariadb` 分别运行在不同容器中，成功实现了他们之间的通讯

那么，接下来，我们将他们分别部署在两台机器上

机器配置如下：

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>节点角色</th> 
   <th>ip地址</th> 
   <th>容器名称</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>manager</td> 
   <td>10.10.10.100</td> 
   <td>druid_demo</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>worker</td> 
   <td>10.10.10.88</td> 
   <td>mariadb</td> 
  </tr> 
 </tbody> 
</table>

说明：使用 Swarm 建立跨主机的网络，实际上总共分为如下几步：

1.  在 **manager** 创建一个 `Swarm` 集群
2.  将其他集群分别加进来
3.  在 **manager** 创建一个 `Overlay` 网络
4.  启动各个容器时，指定这个 `Overlay` 网络

具体，往下看

## 1、在 manager 节点创建 Swarm 集群 ##

执行命令：

docker swarm init --advertise-addr=10.10.10.100

效果如下：

docker swarm init --advertise-addr=10.10.10.100
    
    [root@localhost ~]# docker swarm init --advertise-addr=10.10.10.100
    Swarm initialized: current node (maw28ll7mlxuwp47z5c5vo2v1) is now a manager.
     
     
    To add a worker to this swarm, run the following command:
     
    docker swarm join --token SWMTKN-1-2bdwwlo8xvdskil05itg66l63dpi931oqnt5gvehlnf1it1auo-2uvypbiu0hpcn1e06hrhctbe8 10.10.10.100:2377
     
    To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

显示了 worker节点加入到该集群的命令，只需要执行

docker swarm join --token SWMTKN-1-2bdwwlo8xvdskil05itg66l63dpi931oqnt5gvehlnf1it1auo-2uvypbiu0hpcn1e06hrhctbe8 10.10.10.100:2377

即可

## 2、在 worker 节点上执行命令，将自己加入集群 ##

docker swarm join --token SWMTKN-1-2bdwwlo8xvdskil05itg66l63dpi931oqnt5gvehlnf1it1auo-2uvypbiu0hpcn1e06hrhctbe8 10.10.10.100:2377

![2021072711592019.gif][]

image.png

## 3、在 manager 节点，查看当前网络集群的节点情况 ##

执行 **docker node ls**

![2021072711592015.gif][]

image.png

## 4、在 manager 节点，创建 overlay   网络 ##

docker network create -d overlay  --attachable  demo

**说明：**

`--attachable` 声明当前创建的网络为：其他节点可以访问的网络

## 5、在 worker 节点的网络列表，是否多了这个网络 ##

docker network ls

**说明：**正常情况，执行完第4步之后，这里就会在原来的基础上多一个 `demo` 网络

## 6、在 worker 节点启动 mariadb 容器，指定该 overlay 网络 ##

sudo docker run -itd  -v /usr/local/mysqldata:/var/lib/mysql -h mariadb --name=mariadb --net=demo --privileged=true mariadb:latest /sbin/init

说明：`--net=demo` ：指定该集群间的网络（overlay ）：`demo`

## 7、在 manager 节点，启动 durid\_demo 程序 ##

接下来，在 **manager** 节点，启动 **Spring Boot** 后端程序 **druid\_demo** 的容器，并指定 **demo** 网络

docker run -it  -p 8888:8080 
    -h druid_demo
    --name druid_demo 
    --net=demo 
    --privileged=true druid_demo:0.0.1-SNAPSHOT /sbin/init

此时，请求接口，验证网络是否互通

![2021072711592016.gif][]

image.png

接口正常返回，说明我们已经实现了 **druid\_demo** 应用程序容器与 **mariadb** 容器之间的通讯

## 8、退出集群 ##

执行 **docker swarm leave**，即可实现各节点退出集群网络的操作

那么，现在你知道 `Docker` 实现跨主机通讯的步骤了

接下来，趁热打铁，我们再一起来进行 `Elasticsearch` (后续简称为 `ES`)集群搭建，真正实践一番

`注意：`

如果你之前没怎么使用过 **ES** ，也没有关系，我会推出相应的文章来介绍它。在这里，你只需要掌握 **Docker** 在多台机器部署项目的方式以及实现跨主机通信的思想，我们的目的就达到啦

# 三、实战二：Elasticsearch集群搭建 #

在进入集群搭建之前，我们先来看看如何启动一个单机 `ES`

## 1、单机方式 ##

docker run -itd --name elastic -v /usr/local/es/data:/var/lib/elasticsearch -v /usr/local/es/logs:/var/log/elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" --restart=always elasticsearch:v7.9.1

说明：

1）**-v** :指定挂载目录（分别将 `ES` 的数据目录和日志目录映射到宿主机上，这样即使容器挂掉了再重启，日志也不会丢失）

其中，在容器目录的 **/etc/elasticsearch/elasticsearch.yml** 中分别配置了 **path.data** 和 **path.logs** 。分别为

/var/lib/elasticsearch
    
    /usr/local/es/logs

2）**-p**:指定映射端口（将容器中的端口映射到了宿主机上）

3）**-e**:指定配置（指定es当前是以单个节点的方式启动）

4）**--restart=alway**:总是会自动重启

启动之后，登录 **Es-Head** ，发现可以连接上，那么表示启动成功

![图片][1208e3727a9d54025834165cb282b4f5.png]

image.png

单机模式很简单，只要分别配置好挂载目录**path.data** 和 **path.logs** ，指定为单机模式启动就好了

集群模式相应的也不复杂，配置与单机模式基本一致。除了需要部署多台台物理机以外，再注意一下各节点之间的相互关联方式就好了。而这相互关联方式，则包括：`网络的互通` 和 `确定集群的节点成员`

## 2、集群方式 ##

我们来搭建一个集群模式为 **1 master + 3 data** 节点，机器分配为：

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>节点角色</th> 
   <th>ip地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>elastic-master</td> 
   <td>10.10.10.88</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>elastic-data01</td> 
   <td>10.10.10.76</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>elastic-data02</td> 
   <td>10.10.10.77</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>elastic-data03</td> 
   <td>10.10.10.78</td> 
  </tr> 
 </tbody> 
</table>

**1）配置集群网络 demo**

对，就是参考第一步，为三台机器配置集群网络

其中，网络节点角色如下：

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>节点角色</th> 
   <th>ip地址</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>manager</td> 
   <td>10.10.10.88</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>worker</td> 
   <td>10.10.10.76</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>worker</td> 
   <td>10.10.10.77</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>worker</td> 
   <td>10.10.10.78</td> 
  </tr> 
 </tbody> 
</table>

**2）分别修改各节点的配置文件 `elasticsearch.yml`**

**a. elastic-master**

`vi /usr/local/es/config/elastic-master/elasticsearch.yml`

# ======================== Elasticsearch Configuration =========================
    #
    # NOTE: Elasticsearch comes with reasonable defaults for most settings.
    # Before you set out to tweak and tune the configuration, make sure you
    # understand what are you trying to accomplish and the consequences.
    #
    # The primary way of configuring a node is via this file. This template lists
    # the most important settings you may want to configure for a production cluster.
    #
    # Please consult the documentation for further information on configuration options:
    # https://www.elastic.co/guide/en/elasticsearch/reference/index.html
    #
    # ---------------------------------- Cluster -----------------------------------
    #
    # Use a descriptive name for your cluster:
    #
    cluster.name: my-application
    #
    # ------------------------------------ Node ------------------------------------
    #
    # Use a descriptive name for the node:
    #
    node.name: elastic-master
    node.master: true
    node.data: fasle
    #
    # Add custom attributes to the node:
    #
    #node.attr.rack: r1
    #
    # ----------------------------------- Paths ------------------------------------
    #
    # Path to directory where to store the data (separate multiple locations by comma):
    #
    path.data: /var/lib/elasticsearch
    #
    # Path to log files:
    #
    path.logs: /var/log/elasticsearch
    #
    # ----------------------------------- Memory -----------------------------------
    #
    # Lock the memory on startup:
    #
    #bootstrap.memory_lock: true
    #
    # Make sure that the heap size is set to about half the memory available
    # on the system and that the owner of the process is allowed to use this
    # limit.
    #
    # Elasticsearch performs poorly when the system is swapping the memory.
    #
    # ---------------------------------- Network -----------------------------------
    #
    # Set the bind address to a specific IP (IPv4 or IPv6):
    #
    network.host: 0.0.0.0
    #
    # Set a custom port for HTTP:
    #
    #http.port: 9200
    #
    # For more information, consult the network module documentation.
    #
    # --------------------------------- Discovery ----------------------------------
    #
    # Pass an initial list of hosts to perform discovery when this node is started:
    # The default list of hosts is ["127.0.0.1", "[::1]"]
    #
    discovery.seed_hosts: ["elastic-master", "elastic-data01","elastic-data02","elastic-data03"]
    #
    # Bootstrap the cluster using an initial set of master-eligible nodes:
    #
    cluster.initial_master_nodes: ["elastic-master"]
    #
    # For more information, consult the discovery and cluster formation module documentation.
    #
    # ---------------------------------- Gateway -----------------------------------
    #
    # Block initial recovery after a full cluster restart until N nodes are started:
    #
    #gateway.recover_after_nodes: 3
    #
    # For more information, consult the gateway module documentation.
    #
    # ---------------------------------- Various -----------------------------------
    #
    # Require explicit names when deleting indices:
    #
    #action.destructive_requi
    http.cors.enabled: true
    http.cors.allow-origin: "*"

**说明：**

*  **cluster.name**: **my-application** \#集群名称，各个节点保持一致即可
 *  **node.name**: **elastic-master** \#节点名称，各个节点必须独一无二
 *  **node.master**: **demo** \#是master节点
 *  **node.data**: demo \#不是data节点
 *  **path.data**: **/var/lib/elasticsearch** \#data存储目录（无特殊需求，直接使用默认的即可）
 *  **path.logs**: **/var/log/elasticsearch** \#日志存储目录（无特殊需求，直接使用默认的即可）
 *  **discovery.seed\_hosts**: **\["elastic-master", "elastic-data01","elastic-data02","elastic-data03"\]**

\#可发现的节点（配置四个节点的主机名称或者ip即可，docker部署，建议直接配置主机名称）

*  **cluster.initial\_master\_nodes**: \["elastic-master"\] \#初始化集群节点，直接配置master节点的主机名即可

**b.elastic-data01**

`vi /usr/local/es/config/elastic-data01/elasticsearch.yml`

# ======================== Elasticsearch Configuration =========================
    #
    # NOTE: Elasticsearch comes with reasonable defaults for most settings.
    # Before you set out to tweak and tune the configuration, make sure you
    # understand what are you trying to accomplish and the consequences.
    #
    # The primary way of configuring a node is via this file. This template lists
    # the most important settings you may want to configure for a production cluster.
    #
    # Please consult the documentation for further information on configuration options:
    # https://www.elastic.co/guide/en/elasticsearch/reference/index.html
    #
    # ---------------------------------- Cluster -----------------------------------
    #
    # Use a descriptive name for your cluster:
    #
    cluster.name: my-application
    #
    # ------------------------------------ Node ------------------------------------
    #
    # Use a descriptive name for the node:
    #
    node.name: elastic-data01
    node.master: false
    node.data: true
    #
    # Add custom attributes to the node:
    #
    #node.attr.rack: r1
    #
    # ----------------------------------- Paths ------------------------------------
    #
    # Path to directory where to store the data (separate multiple locations by comma):
    #
    path.data: /var/lib/elasticsearch
    #
    # Path to log files:
    #
    path.logs: /var/log/elasticsearch
    #
    # ----------------------------------- Memory -----------------------------------
    #
    # Lock the memory on startup:
    #
    #bootstrap.memory_lock: true
    #
    # Make sure that the heap size is set to about half the memory available
    # on the system and that the owner of the process is allowed to use this
    # limit.
    #
    # Elasticsearch performs poorly when the system is swapping the memory.
    #
    # ---------------------------------- Network -----------------------------------
    #
    # Set the bind address to a specific IP (IPv4 or IPv6):
    #
    network.host: 0.0.0.0
    #
    # Set a custom port for HTTP:
    #
    #http.port: 9200
    #
    # For more information, consult the network module documentation.
    #
    # --------------------------------- Discovery ----------------------------------
    #
    # Pass an initial list of hosts to perform discovery when this node is started:
    # The default list of hosts is ["127.0.0.1", "[::1]"]
    #
    discovery.seed_hosts: ["elastic-master", "elastic-data01","elastic-data02","elastic-data03"]
    #
    # Bootstrap the cluster using an initial set of master-eligible nodes:
    #
    cluster.initial_master_nodes: ["elastic-master"]
    #
    # For more information, consult the discovery and cluster formation module documentation.
    #
    # ---------------------------------- Gateway -----------------------------------
    #
    # Block initial recovery after a full cluster restart until N nodes are started:
    #
    #gateway.recover_after_nodes: 3
    #
    # For more information, consult the gateway module documentation.
    #
    # ---------------------------------- Various -----------------------------------
    #
    # Require explicit names when deleting indices:
    #
    #action.destructive_requi
    http.cors.enabled: true
    http.cors.allow-origin: "*"

**说明：**

**a.** **elastic-data01** 的配置文件，与 **elastic-master** 的配置文件中，只有以下三项内容不同，其余均相同

**node.name: elastic-data01** \#节点名称，各个节点必须独一无二

**node.master: false** \#不是master节点

**node.data: true** \#是data节点

**b.** **elastic-data02**、**elastic-data03** 的配置，与 **elastic-data01** 的配置，除了 **node.name** 的值不一致以外，其余均相同

**3）启动**

分别在各个主机上，执行 **docker** 启动命令，进行各个节点的启动

docker run -itd --name elastic-master -h elastic-master --net=demo -v /usr/local/es/data:/var/lib/elasticsearch -v /usr/local/es/logs:/var/log/elasticsearch -v /usr/local/es/plugins:/usr/share/elasticsearch/plugins -v /usr/local/es/config/elastic-master/elasticsearch.yml:/etc/elasticsearch/elasticsearch.yml:ro -p 9200:9200 -p 9300:9300 -e cluster.initial_master_nodes=elastic-master --restart=always elasticsearch:v7.9.1 /sbin/init

docker run -itd --name elastic-data01 -h elastic-data01 --net=demo -v /usr/local/es/data:/var/lib/elasticsearch -v /usr/local/es/logs:/var/log/elasticsearch -v /usr/local/es/plugins:/usr/share/elasticsearch/plugins -v /usr/local/es/config/elastic-data01/elasticsearch.yml:/etc/elasticsearch/elasticsearch.yml:ro -p 9200:9200 -p 9300:9300 -e cluster.initial_master_nodes=elastic-master --restart=always elasticsearch:v7.9.1 /sbin/init

docker run -itd --name elastic-data02 -h elastic-data02 --net=demo -v /usr/local/es/data:/var/lib/elasticsearch -v /usr/local/es/logs:/var/log/elasticsearch -v /usr/local/es/plugins:/usr/share/elasticsearch/plugins -v /usr/local/es/config/elastic-data02/elasticsearch.yml:/etc/elasticsearch/elasticsearch.yml:ro -p 9200:9200 -p 9300:9300 -e cluster.initial_master_nodes=elastic-master --restart=always elasticsearch:v7.9.1 /sbin/init

docker run -itd --name elastic-data03 -h elastic-data03 --net=demo -v /usr/local/es/data:/var/lib/elasticsearch -v /usr/local/es/logs:/var/log/elasticsearch -v /usr/local/es/plugins:/usr/share/elasticsearch/plugins -v /usr/local/es/config/elastic-data03/elasticsearch.yml:/etc/elasticsearch/elasticsearch.yml:ro -p 9200:9200 -p 9300:9300 -e cluster.initial_master_nodes=elastic-master --restart=always relasticsearch:v7.9.1 /sbin/init

**4）验证**

请求地址：`http://10.10.10.88:9200/_cat/nodes` 查看节点列表

![2021072711592017.gif][]

image.png

可以看到，集群中，如期展示了 `4` 个节点，其中 `1` 个 **master** 节点和 `3` 个 **data** 节点（带 \* 号的为 **master** 节点）

集群成功搭建完毕！可喜可贺！

**5）项目中集成 ES 配置**

经测试，只需要配置一个 **master** 节点的地址即可

spring.elasticsearch.rest.uris=http://10.10.10.88:9200

注：这里只是说明了如何搭建一个 **`ES`** 集群，实现集群间网络通信的方式。后面会专门有文章，介绍 **`ES`** 的理论知识，与具体实战知识，敬请期待

# 四、总结 #

好了，总得来说，`Docker` 是通过搭建 `Overlay` 网桥，然后把各个主机的容器都统一放在这个网桥上就实现了 `Docker` 容器的跨主机通讯

恭喜你又掌握了一个新技能。当然，如果想要真正掌握的话，也建议大家真正实战一次，毕竟实战与理解是不同阶段，对于知识的掌握程度也是不同级别的哦

[Docker]: https://mp.weixin.qq.com/s?__biz=MzIwMTY3NjY3MA==&mid=2247484964&idx=1&sn=e0450cccf55b7c49e4b938742a7ffaad&chksm=96eb0435a19c8d23e03097f4fd17a951556f008b9020d4b8cf927af3b221f549510c5fdd2349&token=513527546&lang=zh_CN&scene=21#wechat_redirect
[2021072711592019.gif]: /images/20220829/04abc64365c84f7987e5d7342e74c985.png
[2021072711592015.gif]: /images/20220829/779f8289a7904bb18aa381d1de255440.png
[2021072711592016.gif]: /images/20220829/da35f3ac113e448da9249b3e34dc359d.png
[1208e3727a9d54025834165cb282b4f5.png]: /images/20220829/b5840657ab774f1fa80c1c024bb57112.png
[2021072711592017.gif]: /images/20220829/a0da08ff74b844138672760bbddbf9a4.png