docker的网络架构配置

系统管理员 2022-06-10 02:50 220阅读 0赞

本文转自 http://xiaorenwutest.blog.51cto.com/12754924/1926456

默认情况下，容器可以建立到外部网络的连接，但是外部网络无法连接到容器。

Docker 允许通过外部访问容器或容器互联的方式来提供网络服务  
  
外部访问容器:  
  
容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过  -P  或  -p  参数来指定端口映射。  
  
大写的“P”表示随机分配端口和docker容器内的端口进行映射，  
  
小写的“p”表示指定端口和docker容器内的端口进行绑定映射。  
  
docker的网络配置：  
  
Docker 四种网络模式  
  
docker run 创建 Docker 容器时，可以用 --net 选项指定容器的网络模式，Docker 有以下 4 种网络模式：  
  
· host 模式，使用 --net=host 指定。  
  
· container 模式，使用 --net=container:NAMEorID 指定。  
  
· none 模式，使用 --net=none 指定。  
  
bridge 模式，使用 --net=bridge 指定，默认设置。  
   
 host 模式  
  
如果启动容器的时候使用 host 模式，那么这个容器将不会获得一个独立的 Network Namespace，而是和宿主机共用一个 Network Namespace。容器将不会虚拟出自己的网卡，配置自己的 IP 等，而是使用宿主机的 IP 和端口。  
  
例如，我们在192.168.10.1/24 的机器上用 host 模式启动一个含有 web 应用的 Docker 容器，监听 tcp 80 端口。当我们在容器中执行任何类似 ifconfig 命令查看网络环境时，看到的都是宿主机上的信息。而外界访问容器中的应用，则直接使用192.168.10.1:80 即可，不用任何 NAT 转换，就如直接跑在宿主机中一样。但是，容器的其他方面，如文件系统、进程列表等还是和宿主机隔离的。  
启动容器前，执行pgrep http查看宿主机httpd进程  
 ![wKiom1kbIKySAH8nAAACic8-42s563.png-wh\_50][wKiom1kbIKySAH8nAAACic8-42s563.png-wh_50]  
 上面显示结果说明宿容器主机没有httpd进程运行  
  
用 host 模式启动一个含有 web 应Docker用的  
![wKiom1kbIMCTxxS0AAAoM3TkBPY857.png-wh\_50][wKiom1kbIMCTxxS0AAAoM3TkBPY857.png-wh_50]    
  
 用浏览器访问宿主机地址的80端口  
注意防火墙：  
![wKioL1kbIOTg9355AAFE4xAGiWE874.png-wh\_50][wKioL1kbIOTg9355AAFE4xAGiWE874.png-wh_50]  
  
 container 模式  
  
这个模式指定 新创建的容器和已经存在的一个容器共享一个 Network Namespace，而不是和宿主机共享。新创建的容器不会创建自己的网卡，配置自己的 IP，而是和一个指定的容器共享 IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过 lo 网卡设备通信 。  
运行一个容器：查看容器的IP  
  ![wKiom1kbIPqxRrZ8AABCO6OKcJM432.png-wh\_50][wKiom1kbIPqxRrZ8AABCO6OKcJM432.png-wh_50]   
  
 将容器切换到后台运行:ctrl+p  ctrl+q  
  
  
再运行一个容器使用container模式：查看新容器的地址  
![wKioL1kbIQuyEU-VAAA-OiQAGzM565.png-wh_500x0-wm_3-wmp_4-s_2378200509.png][]  
  
 none模式  
  
这个模式和前两个不同。在这种模式下， Docker 容器拥有自己的 Network Namespace，但是，并不为 Docker容器进行任何网络配置。也就是说，这个 Docker 容器没有网卡、IP、路由等信息。需要我们自己为 Docker 容器添加网卡、配置 IP 等。  
  
  
bridge模式  
  
当 docker 启动时，会在主机上创建一个 docker0 的虚拟网卡。他随机挑选 RFC1918 私有网络中的一段地址给 docker0 。比如 172.17.0.1/16,16 位掩码的网段可以拥有 65534 个地址可以使用，这对主机和容器来说应该足够了。  
  
docker0  不是普通的网卡，他是桥接到其他网卡的虚拟网卡，容器使用它来和主机相互通信。当创建一个 docker 容器的时候，它就创建了一个对接口，当数据包发送到一个接口时，另外一个接口也可以收到相同的数据包，它们是绑在一起的一对孪生接口。 这对接口在容器中那一端的的名字是 eth0 ，宿主主机端的会指定一个唯一的名字，比如 vethAQI2QT 这样的名字。  
  
所有的 veth\* 的接口都会桥接到 docker0 ，这样 docker 就创建了在主机和所有容器之间一个虚拟共享网  
   
 ![wKiom1kbISLwzO\_FAAD4IicS0ks446.png-wh\_50][wKiom1kbISLwzO_FAAD4IicS0ks446.png-wh_50]   
  
 bridge 模式是 Docker 默认的网络设置，此模式会为每一个容器分配 Network Namespace、设置 IP 等，并将一个主机上的 Docker 容器连接到一个虚拟网桥上 。当 Docker server 启动时，会在主机上创建一个名为 docker0 的虚拟网桥，此主机上启动的 Docker 容器会连接到这个虚拟网桥上。虚拟网桥的工作方式和物理交换机类似，这样主机上的所有容器就通过交换机连在了一个二层网络中。接下来就要为容器分配 IP 了， Docker 会从 RFC1918 所定义的私有 IP 网段中，选择一个和宿主机不同的IP地址和子网分配给 docker0，连接到 docker0 的容器就从这个子网中选择一个未占用的 IP 使用。 如一般 Docker 会使用 172.17.0.0/16 这个网段，并将 172.17.0.1/16 分配给 docker0 网桥（在主机上使用 ifconfig 命令是可以看到 docker0 的，可以认为它是网桥的管理接口，在宿主机上作为一块虚拟网卡使用）    
  
  
 ![wKiom1kbITPzNeJPAABs0ju69Io610.png-wh\_50][wKiom1kbITPzNeJPAABs0ju69Io610.png-wh_50]  
  
 Docker完成以上网络配置的过程大致是这样的：  
  
  
1.在主机上创建一对虚拟网卡veth pair设备。veth设备总是成对出现的，它们组成了一个数据的通道，数据从一个设备进入，就会从另一个设备出来。因此，veth设备常用来连接两个网络设备。  
  
2.Docker将veth pair设备的一端放在新创建的容器中，并命名为eth0。另一端放在主机中，以veth65f9这样类似的名字命名，并将这个网络设备加入到docker0网桥中，可以通过brctl show命令查看。  
  
注： brctl 工具依赖 bridge-utils 软件包  
 ![wKioL1kbIUiCRAtbAAALb20Z4O4624.png-wh\_50][wKioL1kbIUiCRAtbAAALb20Z4O4624.png-wh_50]  
 3.从docker0子网中分配一个IP给容器使用，并设置docker0的IP地址为容器的默认网关。  
  
容器内部访问外网以及容器和主机之间的端口映射都是通过Iptables实现的，可以查看Iptables表分析。  
  查看当前 docker0地址  
![wKiom1kbIVmgfWjOAAAbVtqQM04132.png-wh\_50][wKiom1kbIVmgfWjOAAAbVtqQM04132.png-wh_50]    
  
 在容器运行时，每个容器都会分配一个特定的虚拟机口并桥接到 docker0。每个容器都会配置同 docker0 ip 相同网段的专用 ip 地址，docker0 的 IP 地址被用于所有容器的默认网关。  
运行一个容器：  
![wKiom1kbIWnz\_J6AAAAGrNUkTAQ897.png-wh\_50][wKiom1kbIWnz_J6AAAAGrNUkTAQ897.png-wh_50]    
 查看当前运行的容器：  
  ![wKiom1kbIXjyis8VAAAPv3j2J8c391.png-wh\_50][wKiom1kbIXjyis8VAAAPv3j2J8c391.png-wh_50]   
 通过 brctl show 命令查看  
 ![wKioL1kbIYqSjUuGAAAIdG0chaw148.png-wh\_50][wKioL1kbIYqSjUuGAAAIdG0chaw148.png-wh_50]  
 以上, docker0 扮演着6d51c11aa19b和e6901fb7ab36这两个容器的虚拟接口 vethxx interface 桥接的角色。  
   
执行docker  network  inspect  bridge查看桥接网络的详细信息  
 ![wKiom1kbIZ7QaU0BAABEkPdOJwY398.png-wh\_50][wKiom1kbIZ7QaU0BAABEkPdOJwY398.png-wh_50]  
  
 自定义网桥  
除了默认的  docker0  网桥，用户也可以指定网桥来连接各个容器。 在启动 Docker 服务的时候，使用  -b BRIDGE  或 --bridge=BRIDGE  来指定使用的网桥。  
  
Docker 允许你管理 docker0 桥接或者通过-b选项自定义桥接网卡，需要安装bridge-utils软件包。  
  
基本步骤如下：  
1.确保 docker 的进程是停止的  
2.创建自定义网桥  
3.给网桥分配特定的 ip  
4.以 -b 的方式指定网桥  
   
具体操作步骤：  
如果服务已经运行，那需要先停止服务，并删除旧的网桥  
 ![wKioL1kbIbHx15TIAAARZZQCrno624.png-wh\_50][wKioL1kbIbHx15TIAAARZZQCrno624.png-wh_50]  
 然后创建一个网桥  bridge0，给网桥分配特定的 ip  
 ![wKioL1kbIcSigY\_vAAAHX8uECLI123.png-wh\_50][wKioL1kbIcSigY_vAAAHX8uECLI123.png-wh_50]  
查看确认网桥创建并启动  
 ![wKiom1kbIdWiBI3wAAAF7CJV\_Bo163.png-wh\_50][wKiom1kbIdWiBI3wAAAF7CJV_Bo163.png-wh_50]    
或者  
 ![wKiom1kbIeaRb2hcAAAi43\_jbpQ526.png-wh\_50][wKiom1kbIeaRb2hcAAAi43_jbpQ526.png-wh_50]  
 修改/etc/sysconfig/docker文件  
修改前：  
![wKioL1kbIfbjVdCSAAAECKtvxIo972.png-wh\_50][wKioL1kbIfbjVdCSAAAECKtvxIo972.png-wh_50]    
  
 修改后：添加前面所新建的网桥   
 ![wKioL1kbIh-SRzAoAAAIcpyL\_dg176.png-wh\_50][wKioL1kbIh-SRzAoAAAIcpyL_dg176.png-wh_50]   
 启动  Docker  服务。   
  ![wKiom1kbIjLS1cx\_AAAD3DEO-5Q100.png-wh\_50][wKiom1kbIjLS1cx_AAAD3DEO-5Q100.png-wh_50]   
 新建一个容器，可以看到它已经桥接到了  bridge0  上。  
  ![wKiom1kbIkTyjxr6AAAQl9U0RGg900.png-wh\_50][wKiom1kbIkTyjxr6AAAQl9U0RGg900.png-wh_50]   
  进入容器，查看容器的IP   
![wKiom1kbIlWTFgSHAAAy3ZlE-to664.png-wh\_50][wKiom1kbIlWTFgSHAAAy3ZlE-to664.png-wh_50]    
docker 服务启动成功并绑定容器到新的网桥，新建一个容器，你会看到它的 ip 是我们的设置的新 ip段， docker 会自动检测到它。  
  
 用 brctl show 可以看到容器启动或则停止后网桥的配置变化，在容器中使用 ip a 和 ip r 来查看 ip 地址配置和路由信息。  
   
让我们回顾一些基础知识：  
  
机器需要一个网络接口来发送和接受数据包，路由表来定义如何到达哪些地址段。这里的网络接口可以不是物理接口。事实上，每个 linux 机器上的 lo 环回接口（ docker  容器中也有）就是一个完全的linux 内核虚拟接口，它直接复制发送缓存中的数据包到接收缓存中。  
  
  docker 让宿主主机和容器使用特殊的虚拟接口来通信 -- 通信的 2 端叫“ peers“，他们在主机内核中连接在一起，所以能够相互通信。创建他们很简单，前面介绍过了。  
  
docker 创建容器的步骤如下：  
  
创建一对虚拟接口  
其中宿主主机一端使用一个名字比如 veth65f9 ，他是唯一的 , 另外一端桥接到默认的 docker0, 或其它你指定的桥接网卡。  
  
主机上的 veth65f9 这种接口映射到新的新容器中的名称通常是 eth0, 在容器这个隔离的 networknamespace  中，它是唯一的，不会有其他接口名字和它冲突。  
  
从主机桥接网卡的地址段中获取一个空闲地址给 eth0 使用，并设定默认路由到桥接网卡。  
  
完成这些之后，容器就可以使用这eth0 虚拟网卡来连接其他容器和其他网络。  
  
你也可以为特殊的容器设定特定的参数，在 docker run 的时候使用 --net ，它有 4 个可选参数：  
  
\--net=bridge ：默认连接到 docker0 网桥。  
  
\--net=host ：告诉 docker 不要将容器放到隔离的网络堆栈中。尽管容器还是有自己的文件系统、进程列表和资源限制。 但使用 ip addr 命令这样命令就可以知道实际上此时的的容器处于和 docker  宿主主机的一样的网络级别，它拥有完全的宿主主机接口访问权限。虽然它不允许容器重新配置主机的网络堆栈，除非 --privileged=true ，—但是容器进程可以跟其他 root 进程一样可以打开低数字的端口，可以访问本地网络服务比如 D-bus ，还可以让容器做一些意想不到的事情，比如重启主机，使用这个选项的时候要非常小心！  
  
\--net=container:NAME\_or\_ID ：告诉 docker 将新容器的进程放到一个已经存在的容器的网络堆栈中，新容器进程有它自己的文件系统、进程列表和资源限制， 但它会和那个已经存在的容器共享 ip 地址和端口，他们之间来可以通过环回接口通信。  
  
\--net=none ：告诉 docker 将新容器放到自己的网络堆栈中，但是不要配置它的网络。  
   
下面通过配置一个以 --net=none 启动的容器，使他达到跟平常一样具有访问网络的权限。来介绍docker 是如何连接到容器中的。  
   
启动一个运行 /bin/bash的容器，并指定 --net=none  
   
 ![wKioL1kbImmDGLkLAAAoBkfozto295.png-wh\_50][wKioL1kbImmDGLkLAAAoBkfozto295.png-wh_50]   
  
 再开启一个新的终端，查找这个容器的进程 id ，然后创建它的命名空间，后面的 ip netns 会用到   
  
 ![wKiom1kbInvDKY4qAAAIZGgooJY681.png-wh\_50][wKiom1kbInvDKY4qAAAIZGgooJY681.png-wh_50]   
  
 ![wKioL1kbIo6y1nuHAAAIwV9hJL0195.png-wh\_50][wKioL1kbIo6y1nuHAAAIwV9hJL0195.png-wh_50]   
  检查桥接网卡的 ip 和子网掩码   
   ![wKiom1kbIqHCmhQWAAASJaPWvWg286.png-wh\_50][wKiom1kbIqHCmhQWAAASJaPWvWg286.png-wh_50]   
 创建一对” peer“接口 A 和 B ，绑定 A 到网桥，并启用它   
  ![wKioL1kbIsOjOXnlAAAPaweKlsQ838.png-wh\_50][wKioL1kbIsOjOXnlAAAPaweKlsQ838.png-wh_50]   
 将 B 放到容器的网络命名空间，命名为 eth0, 配置一个空闲的 ip  
 ![wKioL1kbItOzhd96AAAICrQ5EqE740.png-wh\_50][wKioL1kbItOzhd96AAAICrQ5EqE740.png-wh_50]  
  自此，你又可以像平常一样使用网络了   
 ![wKiom1kbIubwqI62AAAZvsISDxY103.png-wh\_50][wKiom1kbIubwqI62AAAZvsISDxY103.png-wh_50]  
  
 当你退出容器后， docker 清空容器，容器的 eth0 随网络命名空间一起被摧毁， A  接口也被自动从docker0 取消注册。不用其他命令，所有东西都被清理掉了！  
  
注意 ip netns exec 命令，它可以让我们像 root 一样配置网络命名空间。但在容器内部无法使用，因为统一的安全策略， docker 限制容器进程配置自己的网络。  
  
 使用 ip netns exec  可以让我们不用设置 --privileged=true 就可以完成一些可能带来危险的操作。  
  
  
扩展：创建一个点到点连接  
  
默认情况下，Docker 会将所有容器连接到由  docker0  提供的虚拟子网中。  
  
用户有时候需要两个容器之间可以直连通信，而不用通过主机网桥进行桥接。  
  
解决办法很简单：创建一对  peer  接口，分别放到两个容器中，配置成点到点链路类型即可。  
  
首先启动 2 个容器：  
  
\#docker run -i -t --rm --net=none 镜像id/bin/bash  
  
root@1f1f4c1f931a:/\#  
  
\# docker run -i -t --rm --net=none镜像id/bin/bash  
  
root@12e343489d2f:/\#  
  
找到进程号，然后创建网络名字空间的跟踪文件。  
  
\# docker inspect -f '\{ \{.State.Pid\}\}' 1f1f4c1f931a  
  
2989  
\# docker inspect -f '\{ \{.State.Pid\}\}' 12e343489d2f  
  
3004  
  
\# mkdir -p /var/run/netns  
\#ln -s /proc/2989/ns/net /var/run/netns/2989  
  
\#ln -s /proc/3004/ns/net /var/run/netns/3004  
  
创建一对  peer  接口，然后配置路由  
  
\# ip link add A type veth peer name B  
   
\#ip link set A netns 2989  
\#ip netns exec 2989 ip addr add 10.1.1.1/32 dev A  
\#ip netns exec 2989 ip link set A up  
\#ip netns exec 2989 ip route add 10.1.1.2/32 dev A  
   
\#ip link set B netns 3004  
\#ip netns exec 3004 ip addr add 10.1.1.2/32 dev B  
\#ip netns exec 3004 ip link set B up  
\#ip netns exec 3004 ip route add 10.1.1.1/32 dev B  
  
现在这 2 个容器就可以相互 ping 通，并成功建立连接。点到点链路不需要子网和子网掩码  
   
   
DNS/HOSTNAME自定义  
  
Docker 没有为每个容器专门定制镜像，那么怎么自定义配置容器的主机名和 DNS 配置呢？秘诀就是它利用虚拟文件来挂载到来容器的 3 个相关配置文件。  
  
在容器中使用 mount 命令可以看到挂载信息：注（mount命令软件包util-linux）  
\# mount  
   
这种机制可以让宿主主机 DNS 信息发生更新后，所有 Docker 容器的 dns 配置通过 /etc/resolv.conf文件立刻得到更新。  
如果用户想要手动指定容器的配置，可以利用下面的选项。  
\-h HOSTNAME or --hostname=HOSTNAME 设定容器的主机名，它会被写到容器内的/etc/hostname 和 /etc/hosts。但它在容器外部看不到，既不会在 docker ps 中显示，也不会在其他的容器的 /etc/hosts 看到。

[wKiom1kbIKySAH8nAAACic8-42s563.png-wh_50]: /images/20220610/2a62d74c416a4c169b760d51d2aa3adc.png
[wKiom1kbIMCTxxS0AAAoM3TkBPY857.png-wh_50]: /images/20220610/f4b09387d27f44c39611afd922b70943.png
[wKioL1kbIOTg9355AAFE4xAGiWE874.png-wh_50]: /images/20220610/2ae93085c362443a88377b23f338d729.png
[wKiom1kbIPqxRrZ8AABCO6OKcJM432.png-wh_50]: /images/20220610/2ccbf2cff2274de6b046e453cd0f2245.png
[wKioL1kbIQuyEU-VAAA-OiQAGzM565.png-wh_500x0-wm_3-wmp_4-s_2378200509.png]: /images/20220610/006c26bebb2340c4ac15fe66adbb5e31.png
[wKiom1kbISLwzO_FAAD4IicS0ks446.png-wh_50]: /images/20220610/e942ffbb279b47aebf73423f5bb6a81c.png
[wKiom1kbITPzNeJPAABs0ju69Io610.png-wh_50]: /images/20220610/3022901455384f2b8b740fb23ac86c98.png
[wKioL1kbIUiCRAtbAAALb20Z4O4624.png-wh_50]: /images/20220610/2aa2319ab9db43aea44f5e853abd50af.png
[wKiom1kbIVmgfWjOAAAbVtqQM04132.png-wh_50]: /images/20220610/958316850e984bb6851fbdcc27c17d59.png
[wKiom1kbIWnz_J6AAAAGrNUkTAQ897.png-wh_50]: /images/20220610/71adcb26a7464e71966c9a5f496af86b.png
[wKiom1kbIXjyis8VAAAPv3j2J8c391.png-wh_50]: /images/20220610/3412702ae64e424e9adc862c636296e7.png
[wKioL1kbIYqSjUuGAAAIdG0chaw148.png-wh_50]: /images/20220610/7b6d6e587082427b9b1dd3eadb2d1674.png
[wKiom1kbIZ7QaU0BAABEkPdOJwY398.png-wh_50]: /images/20220610/1f0b07ed70be4d4ead5392c575614894.png
[wKioL1kbIbHx15TIAAARZZQCrno624.png-wh_50]: /images/20220610/006d1dbb8a95452abb8df8453c153724.png
[wKioL1kbIcSigY_vAAAHX8uECLI123.png-wh_50]: /images/20220610/d139e6281d3241fb844294bdc41a8f6b.png
[wKiom1kbIdWiBI3wAAAF7CJV_Bo163.png-wh_50]: /images/20220610/bf8d6763435541709395ba3aa82ef193.png
[wKiom1kbIeaRb2hcAAAi43_jbpQ526.png-wh_50]: /images/20220610/9a64c7056d9a4ed08d4766f45a1dfc08.png
[wKioL1kbIfbjVdCSAAAECKtvxIo972.png-wh_50]: /images/20220610/dfb375bbf84e45698d41166dad422f06.png
[wKioL1kbIh-SRzAoAAAIcpyL_dg176.png-wh_50]: /images/20220610/122e91cabb5b445f8a7d1c1a3f4d36d0.png
[wKiom1kbIjLS1cx_AAAD3DEO-5Q100.png-wh_50]: /images/20220610/b191aa20b22e4772921cd557f37fd51a.png
[wKiom1kbIkTyjxr6AAAQl9U0RGg900.png-wh_50]: /images/20220610/f27fd28784794f07947c96363e6b77a2.png
[wKiom1kbIlWTFgSHAAAy3ZlE-to664.png-wh_50]: /images/20220610/8c4bd5cf4fe645b2acabad439d4f842d.png
[wKioL1kbImmDGLkLAAAoBkfozto295.png-wh_50]: /images/20220610/21300b02ea52487f9616a2457ab0a60e.png
[wKiom1kbInvDKY4qAAAIZGgooJY681.png-wh_50]: /images/20220610/f9ca69ffc81c4e66b7b6b619c092e971.png
[wKioL1kbIo6y1nuHAAAIwV9hJL0195.png-wh_50]: /images/20220610/4e3ec69d8b39443da213ff8a1cb34752.png
[wKiom1kbIqHCmhQWAAASJaPWvWg286.png-wh_50]: /images/20220610/5c847f6bc8e34022b24818365ef0abf3.png
[wKioL1kbIsOjOXnlAAAPaweKlsQ838.png-wh_50]: /images/20220610/4f4f676966814187af657c5a93b8284f.png
[wKioL1kbItOzhd96AAAICrQ5EqE740.png-wh_50]: /images/20220610/81e4859493dd4f80a1b80abaa99bfda0.png
[wKiom1kbIubwqI62AAAZvsISDxY103.png-wh_50]: /images/20220610/36518713c2b540e499b44802a3051231.png