【docker】docker之swarm集群（二） 柔情只为你懂 2022-02-01 10:59 280阅读 0赞 如何安装docker，参阅 [docker centos7上的安装][docker centos7] *现在系统架构强调的是高可用，显然单机版的docker只能玩玩，无法胜任生产任务。那么docker怎么 进行集群呢？* *使用Swarm* 从docker入门到实践一书中找点swarm相关**概念**： **Swarm** 是使用 SwarmKit 构建的 Docker 引擎内置（原生）的集群管理和编排工具。 使用 Swarm 集群之前需要了解以下几个概念。 \-------------------基本概念------------- **节点** 运行 Docker 的主机可以主动初始化一个 Swarm 集群或者加入一个已存在的 Swarm 集群，这样这个运行 Docker 的主机就成为一个 Swarm 集群的节点 ( node ) 。 节点分为管理 ( manager ) 节点和工作 ( worker ) 节点。 **管理节点**用于 Swarm 集群的管理， docker swarm 命令基本只能在管理节点执行（节点退出集群命令 docker swarm leave 可以在工作节点执行）。一个 Swarm 集群可以有多个管理节点，但只有一个管理节点可以成为 leader ， leader 通过 raft 协议实现。 **工作节点**是任务执行节点，管理节点将服务 ( service ) 下发至工作节点执行。管理节点默认也作为工作节点。你也可以通过配置让服务只运行在管理节点。 来自 Docker 官网的这张图片形象的展示了集群中管理节点与工作节点的关系。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70][] **服务和任务** **任务 （ Task ）**是 Swarm 中的最小的调度单位，目前来说就是一个单一的容器。 **服务 （ Services ）** 是指一组任务的集合，服务定义了任务的属性。服务有两种模式： replicated services 按照一定规则在各个工作节点上运行指定个数的任务。 global services 每个工作节点上运行一个任务 两种模式通过 docker service create 的 --mode 参数指定。 来自 Docker 官网的这张图片形象的展示了容器、任务、服务的关系。 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 1][] \-------------------准备------------- **环境：** **docker版本：**18.09.6 **操作系统：**centos7 64位 **操作系统权限：**root 三台装有docker的服务器：192.168.157.134（管理节点）、 192.168.157.131（工作节点）、 192.168.157.132（工作节点） \-------------------创建Swarm集群------------- 1. 确保所有服务器上的docker均已启动，如未启动，在root权限下用如下命令启动 systemctl start docker 2. 初始化swarm集群，创建主节点，服务器ip地址为192.168.157.134。为了便于初始化swarm前后进行对比，在执行初始化命令docker swarm init之前，用docker info命令查看swarm的相关信息。下图中信息显示swarm未被启用 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 2][] 下面来执行如下命令进行swarm初始化 $ docker swarm init Swarm initialized: current node (jmlk4z4np9pzd9m2yg5s6t6tt) is now a manager. To add a worker to this swarm, run the following command: docker swarm join --token SWMTKN-1-11lzbs0646hms49rdb223kkto75vm1qxr3h2n5h1bxgbt3401y-9utzokk6mu6ddte5k42obpomu 192.168.157.134:2377 To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions. 上面的信息也告诉如何进行工作节点的增加：** docker swarm join --token SWMTKN-1-11lzbs0646hms49rdb223kkto75vm1qxr3h2n5h1bxgbt3401y-9utzokk6mu6ddte5k42obpomu 192.168.157.134:2377** **上述token一定要保存好，以后增加节点要用的！！！！** 如果你的 Docker 主机有多个网卡，拥有多个 IP，必须使用 --advertise-addr 指定 IP。如：docker swarm init --advertise-addr 192.168.99.100 执行 docker swarm init 命令的节点自动成为管理节点。 下面再用docker info命令查看docker swarm状态，显示了swarm处于启用状态，当前服务器为管理节点，仅有1个管理节点和工作节点 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 3][] 3. 添加工作节点（服务器ip地址192.168.157.131），执行如下命令 [root@bogon ~]# docker swarm join --token SWMTKN-1-11lzbs0646hms49rdb223kkto75vm1qxr3h2n5h1bxgbt3401y-9utzokk6mu6ddte5k42obpomu 192.168.157.134:2377 This node joined a swarm as a worker. 出现This node joined a swarm as a worker表明工作节点添加成功，在该工作节点服务器上使用docker info命令查看信息。 可以看到当前工作节点的服务器地址为：192.168.157.131，该节点不是管理节点，管理节点的地址为：192.168.157.134:2377 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 4][] 现在切换到管理节点192.168.157.134服务器上，运行docker info查看有什么变化，发现工作节点为2 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 5][] 用同样的方法将192.168.157.132也加到工作节点 ![20190514131511850.png][] 4. 管理节点退出 Swarm 集群 如果 **管理节点**想要退出 Swarm 集群， 在 Manager Node 上执行如下命令： docker swarm leave 就可以退出集群，如果集群中还存在其它的 Worker Node，还希望 Manager 退出集群，则加上一个强制选项，命令行如下所示： docker swarm leave --force 至此swarm集群部署完毕，下面是docker swarm集群常用命令 \-------------------Docker Swarm集群常用命令，这些命令只能运行在**管理节点**上------------- 接着上面的步骤进行 1. 查看集群节点。hostname相同时因为我本地的linux系统是通过虚拟软件克隆了三份 #该命令用于查询swarm集群工作节点，且命令必须在管理节点上运行 [root@bogon ~]# docker node ls ID HOSTNAME STATUS AVAILABILITY MANAGER STATUS ENGINE VERSION jmlk4z4np9pzd9m2yg5s6t6tt * bogon Ready Active Leader 18.09.6 q35e63xnq55uy4zi4swrig4u5 bogon Ready Active 18.09.6 q5xzaozvi4a5vckn6mtaczmrm bogon Ready Active 18.09.6 #下面是docker node命令 [root@bogon ~]# docker node --help Usage: docker node COMMAND Manage Swarm nodes Commands: demote Demote one or more nodes from manager in the swarm 将管理节点降级为工作节点 inspect Display detailed information on one or more nodes 查看节点详细信息 ls List nodes in the swarm 列出swarm集群中的素有节点 promote Promote one or more nodes to manager in the swarm 将工作节点升级为管理节点 ps List tasks running on one or more nodes, defaults to current node 列出节点上运行的任务，默认是当前节点 rm Remove one or more nodes from the swarm 从swarm集群中移除某个节点 update Update a node 更新某个节点 2. 部署服务。使用 docker service 命令来管理 Swarm 集群中的服务 \#新建服务 [root@bogon ~]# docker service create --replicas 3 -p 80:80 --name nginx nginx:1.13.7-alpine 上述命令中，如果镜像nginx不存在，则会自动从docker仓库进行下载 --replicas 任务数量即服务运行的个数。本例子为3个 -p 设置节点端口。 本例子端口为80 --name 服务名称。本例子服务名称为nginx nginx:1.13.7-alpine 为镜像。格式为：镜像名称:tag 如果想看create用法，可以使用命令 docker service create --help 接下来可以通过docker container ls命令，可以看到刚才的3台docker节点中都已启动了nginx容器 [root@bogon ~]# docker container ls CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 8d64b2e77d09 nginx:1.13.7-alpine "nginx -g 'daemon of…" 28 minutes ago Up 28 minutes 80/tcp nginx.3.vtofowd9du942qn6547kdzbkn \#查看服务 #使用 docker service ls 来查看当前 Swarm 集群运行的服务。 #REPLICAS 3/3 前面的3表示运行中的服务数量，后面的3表示总的服务数量 [root@bogon ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 3/3 nginx:1.13.7-alpine *:80->80/tcp #使用 docker service ps 来查看某个服务的详情（如部署在哪个节点，服务状态，镜像等等），nginx为服务名称 [root@bogon ~]# docker service ps nginx ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS vrr8jqjixy34 nginx.1 nginx:1.13.7-alpine bogon Running Running about an hour ago cjdf4zf09n4z \_ nginx.1 nginx:1.13.7-alpine bogon Shutdown Rejected about an hour ago "No such image: nginx:1.13.7-a…" s7v4xqx1f4jd \_ nginx.1 nginx:1.13.7-alpine bogon Shutdown Rejected about an hour ago "No such image: nginx:1.13.7-a…" slydwoksuwye \_ nginx.1 nginx:1.13.7-alpine bogon Shutdown Rejected about an hour ago "No such image: nginx:1.13.7-a…" 728g11dbvwqh nginx.2 nginx:1.13.7-alpine bogon Running Running 43 minutes ago 6hzkwzofdl7i \_ nginx.2 nginx:1.13.7-alpine bogon Shutdown Rejected about an hour ago "No such image: nginx:1.13.7-a…" h7d88zvj8du4 \_ nginx.2 nginx:1.13.7-alpine bogon Shutdown Rejected about an hour ago "No such image: nginx:1.13.7-a…" vtofowd9du94 nginx.3 nginx:1.13.7-alpine bogon Running Running about an hour ago qmn5hvrwtkh6 \_ nginx.3 nginx:1.13.7-alpine bogon Shutdown Rejected about an hour ago "No such image: nginx:1.13.7-a…" ne0wrosgtmhy \_ nginx.3 nginx:1.13.7-alpine bogon Shutdown Rejected about an hour ago "No such image: nginx:1.13.7-a…" [root@bogon ~]# #查看正在运行的某个服务在每个节点的运行情况 [root@manager ~]# docker service ps -f "DESIRED-STATE=Running" nginx ID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR PORTS sk8xr6an4btt nginx.1 nginx:1.13.7-alpine node2 Running Running 13 minutes ago f8oon9lvw09a nginx.2 nginx:1.13.7-alpine manager Running Running 14 minutes ago to1tilzsomjb nginx.3 nginx:1.13.7-alpine node1 Running Running 13 minutes ago 849634w1moma nginx.4 nginx:1.13.7-alpine node2 Running Running 13 minutes ago 0t9sgrtd8kiy nginx.5 nginx:1.13.7-alpine manager Running Running 13 minutes ago shz0rlutr8c3 nginx.6 nginx:1.13.7-alpine node1 Running Running 14 minutes ago #使用 docker service logs 来查看某个服务的日志。nginx为服务名称 [root@bogon ~]# docker service logs nginx \#删除服务 #使用 docker service rm 来从 Swarm 集群移除某个服务。 #移除服务之前，先看下当前有什么服务 [root@bogon ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS rb529p6g55ya mongo replicated 1/2 mongo:latest io27pypwapy4 nginx replicated 3/3 nginx:1.13.7-alpine *:80->80/tcp #删除mongo服务 [root@bogon ~]# docker service rm mongo mongo #再次查看服务，发现mongo已被删除 [root@bogon ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 3/3 nginx:1.13.7-alpine *:80->80/tcp [root@bogon ~]# \#调整服务数量 docker service scale SERVICE=REPLICAS [SERVICE=REPLICAS...] #本例子将原来nginx服务个数由3个调整为2个 #查看下原来的服务数 [root@bogon ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 3/3 nginx:1.13.7-alpine *:80->80/tcp #调整服务为2 [root@bogon ~]# docker service scale nginx=2 nginx scaled to 2 overall progress: 2 out of 2 tasks 1/2: running [==================================================>] 2/2: running [==================================================>] verify: Service converged [root@bogon ~]# #再次查看服务数 [root@bogon ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 2/2 nginx:1.13.7-alpine *:80->80/tcp [root@bogon ~]# 通过docker container ls在三台docker服务器上分别查看运行的容器发现有一台已经没有nginx服务了。 #接下来思考一下如果将服务副本数调整为5个，现在只有三台docker服务器，那么调整后会出现什么情况呢？ [root@bogon ~]# docker service scale nginx=5 nginx scaled to 5 overall progress: 5 out of 5 tasks 1/5: running [==================================================>] 2/5: running [==================================================>] 3/5: running [==================================================>] 4/5: running [==================================================>] 5/5: running [==================================================>] verify: Service converged [root@bogon ~]# 通过docker container ls 再次查看，发现有两台服务器上启动两个nginx服务，说明如果有三台docker服务器并且启动的服务数正好也是三个，则每个docker服务器分别分配一个服务 \#停止集群中的服务 可以通过docker service scale nginx=0，将nginx服务个数设置为0 #停止之前，查看服务运行情况 [root@bogon ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 5/5 nginx:1.13.7-alpine *:80->80/tcp #开始停止服务 [root@bogon ~]# docker service scale nginx=0 nginx scaled to 0 overall progress: 0 out of 0 tasks verify: Service converged #再次查看服务运行情况，发现已经没有正在运行的服务了 [root@bogon ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 0/0 nginx:1.13.7-alpine *:80->80/tcp #通过docker container ls查看运行的docker容器，发现也没了 [root@bogon ~]# docker container ls CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 当然也可以通过停止正在运行的容器来停止具体某个机器上的服务 docker stop 容器ID或容器名 #停止之前先看下服务运行状态 verify: Service converged [root@bogon ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 5/5 nginx:1.13.7-alpine *:80->80/tcp #选择要停止服务的服务器，查看运行的容器 [root@bogon ~]# docker container ls CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 4e642b530568 nginx:1.13.7-alpine "nginx -g 'daemon of…" 5 minutes ago Up 5 minutes 80/tcp nginx.4.3r68n9z4jyuydeqyshq1iqkku 21de546363bd nginx:1.13.7-alpine "nginx -g 'daemon of…" 5 minutes ago Up 5 minutes 80/tcp nginx.1.ovyg8ma03iutfle6r8qv7cyj4 #选中一台4e642b530568进行停止操作，docker stop 容器ID或容器名 [root@bogon ~]# docker stop 4e642b530568 4e642b530568 #再次查看该服务器运行容器 [root@bogon ~]# docker container ls CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 21de546363bd nginx:1.13.7-alpine "nginx -g 'daemon of…" 5 minutes ago Up 5 minutes 80/tcp nginx.1.ovyg8ma03iutfle6r8qv7cyj4 [root@bogon ~]# #回到管理节点，查看服务数量，发现少了一个 [root@bogon ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 4/5 nginx:1.13.7-alpine *:80->80/tcp [root@bogon ~]# \#更新服务 #将nginx的版本升级到1.13.8-alpine #先看下当前运行的服务使用的镜像 [root@manager ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 5/6 nginx:1.13.7-alpine *:80->80/tcp #执行服务镜像更新。默认配置下，Swarm 一次只更新一个副本，并且两个副本之间没有等待时间。 #nginx为服务名 [root@manager ~]# docker service update --image nginx:1.13.8-alpine nginx nginx overall progress: 0 out of 6 tasks overall progress: 0 out of 6 tasks overall progress: 1 out of 6 tasks 1/6: running [==================================================>] 2/6: preparing [=================================> ] 3/6: No such image: nginx:1.13.8-alpine@sha256:c8ff0187cc75e1f5002c7ca9841cb191… 6/6: service update paused: update paused due to failure or early termination of task iyomg9d9pd0lqwr7kvp2yvvj1 #再次查看运行的服务使用的镜像，镜像已更新为nginx:1.13.8-alpine [root@manager ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 5/6 nginx:1.13.8-alpine *:80->80/tcp \#回滚服务 如果更新后的镜像有问题，那么如何回滚？ 方式一：使用docker service update --rollback nginx 请注意，`--rollback` 只能回滚到上一次执行 `docker service update` 之前的状态，并不能无限制地回滚。 #先看下原来的服务使用的镜像 [root@manager ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 6/6 nginx:1.13.8-alpine *:80->80/tcp #执行回滚操作 [root@manager ~]# docker service update --rollback nginx nginx rollback: manually requested rollback overall progress: rolling back update: 6 out of 6 tasks 1/6: running [> ] 2/6: running [> ] 3/6: running [> ] 4/6: running [> ] 5/6: running [> ] 6/6: running [> ] verify: Service converged #再次查看服务镜像，发现已回滚到上次使用udpate时的镜像 [root@manager ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 6/6 nginx:1.13.7-alpine *:80->80/tcp #那么再次执行回滚看看效果，发现又回滚到nginx:1.13.8-alpine [root@manager ~]# docker service update --rollback nginx nginx rollback: manually requested rollback overall progress: rolling back update: 6 out of 6 tasks 1/6: running [> ] 2/6: running [> ] 3/6: running [> ] 4/6: running [> ] 5/6: running [> ] 6/6: running [> ] verify: Service converged [root@manager ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 6/6 nginx:1.13.8-alpine *:80->80/tcp [root@manager ~]# #那么再次执行回滚看看效果，发现又回滚到nginx:1.13.7-alpine [root@manager ~]# docker service update --rollback nginx nginx rollback: manually requested rollback overall progress: rolling back update: 6 out of 6 tasks 1/6: running [> ] 2/6: running [> ] 3/6: running [> ] 4/6: running [> ] 5/6: running [> ] 6/6: running [> ] verify: Service converged [root@manager ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 6/6 nginx:1.13.7-alpine *:80->80/tcp #上述实验说明，--rollback操作只会回滚到上一次更新的镜像 方式二：还是通过docker service update --image nginx:1.13.7-alpine nginx 指定更新到原来的镜像 #先看下当前运行的服务使用的镜像 [root@manager ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 6/6 nginx:1.13.8-alpine *:80->80/tcp #执行更新服务命令 [root@manager ~]# docker service update --image nginx:1.13.7-alpine nginx nginx overall progress: 6 out of 6 tasks 1/6: running [==================================================>] 2/6: running [==================================================>] 3/6: running [==================================================>] 4/6: running [==================================================>] 5/6: running [==================================================>] 6/6: running [==================================================>] verify: Service converged #查看当前运行的服务使用的镜像 [root@manager ~]# docker service ls ID NAME MODE REPLICAS IMAGE PORTS io27pypwapy4 nginx replicated 6/6 nginx:1.13.7-alpine *:80->80/tcp Docker常用命令总结：[https://blog.csdn.net/coolcoffee168/article/details/90237427][https_blog.csdn.net_coolcoffee168_article_details_90237427] docker命令官网教程：[https://docs.docker.com/engine/reference/commandline/swarm\_leave/][https_docs.docker.com_engine_reference_commandline_swarm_leave] [https://www.cnblogs.com/bigberg/p/8761226.html][https_www.cnblogs.com_bigberg_p_8761226.html] -------------------- ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 6][] [docker centos7]: https://blog.csdn.net/coolcoffee168/article/details/90174478 [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70]: /images/20220201/2a0aa48c61ef4701b992be6484f4e570.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 1]: /images/20220201/0ac1ca77044c4dc3bc7cea62d580f5fd.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 2]: /images/20220201/4441a81cabee4d29abe3180ac8e40202.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 3]: /images/20220201/1011288cffe94ebeb0bd52bbd2049434.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 4]: /images/20220201/ce7bdf92403f49db963b36cc631d2e30.png [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 5]: /images/20220201/058da1a274274ebfa8572efdedb8b807.png [20190514131511850.png]: /images/20220201/cb1da43129b847f8b9c887b75f30bf3d.png [https_blog.csdn.net_coolcoffee168_article_details_90237427]: https://blog.csdn.net/coolcoffee168/article/details/90237427 [https_docs.docker.com_engine_reference_commandline_swarm_leave]: https://docs.docker.com/engine/reference/commandline/swarm_leave/ [https_www.cnblogs.com_bigberg_p_8761226.html]: https://www.cnblogs.com/bigberg/p/8761226.html [watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Nvb2xjb2ZmZWUxNjg_size_16_color_FFFFFF_t_70 6]: /images/20220201/36278d979aa44b4890d489d6e3d4a28a.png
还没有评论，来说两句吧...