DevOps概念及搭建全过程（Jenkins、Harbor、SonarQube、K8s）

谁践踏了优雅 2024-03-26 21:55 23阅读 0赞

## DevOps入门及过程搭建 ##

> 在如今互联网的格局下，抢占市场变得尤为重要，因此敏捷开发越来越被大家所推崇。于是，慢慢的有了DevOps这个概念，大致意思是开发-运维一体化。

### 1 DevOps概念 ###

#### 1.1 基本概念 ####

![在这里插入图片描述][ce602ec2031348d481286a2f72dfb50d.png]

> 可以看到上图是一个无穷大的一个符号，Dev对应开发，Ops对应运维。
> 
>  *  DevOps的方式可以让公司能够更快地应对更新和市场发展变化，开发可以快速交付，部署也更加稳定。
>  *  核心就在于简化Dev和Ops团队之间的流程，使整体软件开发过程更快速。

#### 1.2 流程 ####

DevOps的开发过程及常用工具：  
![在这里插入图片描述][452bdc4db9b048e4bdf86091f2211ff9.png]  
整体的软件开发流程包括：

*  PLAN：开发团队根据客户的目标制定开发计划
 *  CODE：根据PLAN开始编码过程，需要将不同版本的代码存储在一个库中。
 *  BUILD：编码完成后，需要将代码构建并且运行。
 *  TEST：成功构建项目后，需要测试代码是否存在BUG或错误。
 *  DEPLOY：代码经过手动测试和自动化测试后，认定代码已经准备好部署并且交给运维团队。
 *  OPERATE：运维团队将代码部署到生产环境中。
 *  MONITOR：项目部署上线后，需要持续的监控产品。
 *  INTEGRATE：然后将监控阶段收到的反馈发送回PLAN阶段，整体反复的流程就是**DevOps**的核心，即持续集成、持续部署。

> 总的来说就是：
> 
> 1.  Code阶段（编码）：Git+GitLab
> 2.  Build阶段（构建）：Maven或Gradle
> 3.  Operate（运行）：Docker
> 4.  Integrate（集成）：Jenkins
>     
>      *  CI/CD(持续集成)：操作Jenkins，编写对应脚本文件
>      *  Code review（代码质量检测）：Jenkins集成Sonar Qube
>      *  自定义镜像：Harbor
>      *  Jenkins流水线操作
>      *  WebHook：通知操作，如：钉钉机器人通知
> 5.  K8S编排：更加方便我们管理容器

### 2 搭建DevOps环境 ###

> 本项目全部采用docker安装，如果服务器上没有docker环境的，  
> 参考:https://editor.csdn.net/md/?articleId=127816970安装即可。
> 
>  *  也可以参考本文档的2.2 Docker 章节

#### 2.1 GitLab ####

> 在项目的Code（编码）阶段，我们需要将不同版本的代码存储到一个仓库中，常见的版本控制工具就是SVN或者Git，这里我们采用Git作为版本控制工具，GitLab作为远程仓库。

git的安装：参考官网，无脑下一步即可
    官网地址：https://git-scm.com/

GitLab安装：

1.  查看docker上gitlab的镜像,并拉取

# 查看镜像
    docker search gitlab
    
    # 拉取镜像
    docker pull gitlab/gitlab-ce

1.  准备docker-compose.yml文件

> 文档中的external\_url等参考自己服务器上的ip

version: '3.1'
    services:
      gitlab:
        image: 'gitlab/gitlab-ce:latest'
        container_name: gitlab
        restart: always
        environment:
          GITLAB_OMNIBUS_CONFIG: |
            external_url 'http://192.168.11.11:8929'
            gitlab_rails['gitlab_shell_ssh_port'] = 2224
        ports:
          - '8929:8929'
          - '2224:2224'
        volumes:
          - './config:/etc/gitlab'
          - './logs:/var/log/gitlab'
          - './data:/var/opt/gitlab'

1.  启动容器，并访问

# 启动容器
    docker-compose up -d

访问：http://192.168.11.11:8929即可。  
效果：  
![在这里插入图片描述][2772a9e7c220461382114b7a93f12417.png]  
4. 查看初始的用户名和密码

docker exec -it gitlab cat /etc/gitlab/initial_root_password

![在这里插入图片描述][d00d48777e164eb5a3896addfcb916df.png]  
5. 登录并修改密码

> 以root身份登录gitlab，首次登录需要修改密码

![在这里插入图片描述][49389f4db784420dbdb6bd2956b419bf.png]  
![在这里插入图片描述][cddfd4f36c0142da9e2a40c225bafaa7.png]

> 然后我们就可以像GitHub、Gitee一样操作GitLab了

#### 2.2 Docker ####

> 构建Java项目的工具一般有两种选择，一个是Maven，一个是Gradle。
> 
>  *  这里我们选择Maven作为项目的编译工具。
>  *  具体安装Maven流程不做阐述，但是需要确保配置好Maven仓库私服以及JDK编译版本。

部署过程，会采用Docker进行部署，暂时只安装Docker即可，后续还需安装Kubenetes

##### 2.2.1 Docker安装 #####

①准备测试环境&生产环境

②下载Docker依赖组件

yum -y install yum-utils device-mapper-persistent-data lvm2

③设置下载Docker的镜像源为阿里云

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

④安装docker服务

yum -y install docker-ce

⑤设置docker开机自启

# 启动Docker服务
    systemctl start docker
    # 设置开机自动启动
    systemctl enable docker

⑥测试安装成功

docker version

##### 2.2.2 Docker-compose安装 #####

*  下载Docker/Compose：https://github.com/docker/compose
 *  将下载好的docker-compose-Linux-x86\_64文件移动到Linux操作系统：……
 *  设置docker-compose-Linux-x86\_64文件权限，并移动到$PATH目录中

# 设置文件权限
    chmod a+x docker-compose-Linux-x86_64
    # 移动到/usr/bin目录下，并重命名为docker-compose
    mv docker-compose-Linux-x86_64 /usr/bin/docker-compose

#### 2.3 Jenkins ####

##### 2.3.1 介绍 #####

> 在DevOps中持续集成和持续部署是很重要的一个环节，类似的工具也有很多，其中Jenkins是一个开源的持续集成平台。  
> Jenkins涉及到将编写完毕的代码发布到测试环境和生产环境的任务，并且还涉及到了构建项目等任务。

Jenkins需要大量的插件保证工作，安装成本较高，下面会基于Docker搭建Jenkins。

>  *  Jenkins是一个开源项目，基于Java开发的
>  *  大多数互联网公司都是采永Jenkins配合GitLab、Docker、K8s作为DevOps的核心工具
>  *  Jenkins官方提供了大量的插件库，用于完成自动化的CI/CD过程。

![在这里插入图片描述][4867ea38bc6f44329b9f088325bf1842.png]  
Jenkins主要工作：

1.  拉取GitLab上的代码并进行构建
2.  根据流程可以选择发布到测试环境或是生产环境

> GitLab上的代码经过大量测试后，确定发型版本，再发布到生产环境

![在这里插入图片描述][868d7c3cff7e4e119c6dc3b0ef4988f6.png]  
CI/CD概念：

*  CI过程：JenKins将代码拉取、构建、制作镜像交给测试人员
    
     *  持续集成：让软件代码可以持续的集成到主干上，并自动构建和测试
 *  CD过程：通过Jenkins将打好标签的发行版本代码进行拉取、构建、制作镜像后交给运维人员部署
    
     *  持续交付：让经过持续集成的代码可以进行手动部署
     *  持续部署：让可以持续交付的代码随时随地的自动化部署

##### 2.3.2 Jenkins安装 #####

1.  拉取镜像

docker pull jenkins/jenkins

1.  编写对应的docker-compose.yml

version: "3.1"
    services:
      jenkins:
        image: jenkins/jenkins
        container_name: jenkins
        ports:
          - 8080:8080
          - 50000:50000
        volumes:
          - ./data/:/var/jenkins_home/

1.  设置数据卷data目录的权限，否则会包没有对应权限

chmod -R a+w data/

1.  设置Jenkins的下载地址

> 重新启动Jenkins容器后，由于Jenkins需要下载大量内容，但是由于默认下载地址下载速度较慢，需要重新设置下载地址为国内镜像站

# 修改数据卷中的hudson.model.UpdateCenter.xml文件
    <?xml version='1.1' encoding='UTF-8'?>
    <sites>
      <site>
        <id>default</id>
        <url>https://updates.jenkins.io/update-center.json</url>
      </site>
    </sites>
    # 将下载地址替换为http://mirror.esuni.jp/jenkins/updates/update-center.json
    <?xml version='1.1' encoding='UTF-8'?>
    <sites>
      <site>
        <id>default</id>
        <url>http://mirror.esuni.jp/jenkins/updates/update-center.json</url>
      </site>
    </sites>
    # 清华大学的插件源也可以https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json

1.  再次重启Jenkins容器，访问JenKins  
    ![在这里插入图片描述][504d30c49275421e9eb926297553028a.png]
2.  查看JenKins登录密码，并登录JenKins然后安装对应插件

docker exec -it jenkins cat /var/jenkins_home/secrets/initialAdminPassword

输入管理员密码 - 选择插件来安装 - 选择对应的插件进行安装

> 推荐安装：  
> ①Git Parameter  
> ②Publish Over SSH

![在这里插入图片描述][98fae69d9d3a48969553eeeeef1257d4.png]  
然后等待插件安装成功进入首页。（可能会出现下载失败的插件，重新下载即可）  
7. 创建管理员用户，设置Jenkins URL  
![在这里插入图片描述][3f90bceb79ea45518cd8c03242690048.png]

##### 2.3.3 Jenkins实现拉取-构建-发布 #####

> 准备好GitLab仓库中的项目，并且通过Jenkins配置实现当前项目的DevOps流程。（Idea创建之后推送到远程即可）

1.  构建Maven工程发布到GitlLab、Gitee、GitHub均可
2.  点击Jenkins左侧新建任务（选择自由风格的项目）
3.  配置源码拉取地址  
    ![在这里插入图片描述][c8e99b6cfbbd4216a9e9b6b2aa677725.png]
4.  点击立即构建，查看构建日志  
    ![在这里插入图片描述][83ccf0858f88454b906c1d1b1e1ab956.png]  
    ![在这里插入图片描述][c1ea70184d58472d84ceea2524691103.png]
5.  配置Maven构建代码

> 代码拉取到Jenkins本地后，需要在Jenkins中对代码进行构建，这里需要Maven的环境，而Maven需要Java的环境，接下来需要在Jenkins中安装JDK和Maven，并且配置到Jenkins服务。

*  准备jdk、maven压缩包，通过数据卷映射到Jenkins容器内部  
    ![在这里插入图片描述][7f61283a69a548ad8b528f77302de205.png]
 *  解压压缩包，并配置Maven的settings.xml

<mirror>  
        <id>alimaven</id>  
        <name>aliyun maven</name>  
        <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
        <mirrorOf>central</mirrorOf>          
    </mirror>
    
    <profile>
        <id>jdk-1.8</id>
        <activation>
            <activeByDefault>true</activeByDefault>
            <jdk>1.8</jdk>
        </activation>
        <properties>
            <maven.compiler.source>1.8</maven.compiler.source>
            <maven.compiler.target>1.8</maven.compiler.target>
            <maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
        </properties>        
    </profile>

*  Jenkins配置JDK&Maven并保存  
    ![在这里插入图片描述][49e6f698b78041438403255ceeb124de.png]  
    maven配置同理
 *  配置Jenkins任务构建代码  
    ![在这里插入图片描述][42e02058302e4ac595d6e35866f09d18.png]
 *  立即构建测试，查看target下的jar包  
    ![在这里插入图片描述][1e878f5b128f4f1cb8a9ae5ce2e8bb73.png]

1.  配置Publish发布&远程操作

> jar包构建好后，就可以根据情况发布到测试或者生产环境，此处需要用到之前下载好的插件Publish Over SSH

*  配置Publish Over SSH连接测试环境、生产环境  
    ![在这里插入图片描述][252efd0c6f8c4375a2f557ecbce0faf1.png]
 *  配置任务构建后的操作，发布jar包到目标服务  
    ![在这里插入图片描述][b71ecbe3ad314a9f8aa1a1908044e9b9.png]

![在这里插入图片描述][5cb69f30f48d438f98092abaea3fe56e.png]

*  立即构建任务，并去目标服务查看  
    ![在这里插入图片描述][2fb1d1d217bd441a803fe0d796b226b6.png]

##### 2.3.4 CI/CD操作 #####

*  基于Jenkins拉取GitLab的SpringBoot代码进行构建发布到测试环境实现持续集成
 *  基于Jenkins拉取GitLab指定发行版本的SpringBoot进行构建发布到生产环境实现CD（持续部署）

> 为了让程序代码可以自动推送到测试环境基于Docker服务运行，需要添加Docker配置和脚本文件让程序可以在集成到主干的同时运行起来。

①持续集成

1.  添加Dockerfile文件  
    ![在这里插入图片描述][4f24fdbbbe0a42508ced457ccfc344d6.png]
2.  添加docker-compose.yml文件  
    ![在这里插入图片描述][99149edb11f5495b81f09c41fc7f2c18.png]
3.  追加Jenkins构建后操作脚本命令  
    ![在这里插入图片描述][114b786786c84031b8ebddbb3db757d4.png]
4.  发布到GitLab后由Jenkins立即构建并推送到目标服务器  
    ![在这里插入图片描述][edf1b88a4064441099911a59ba562a61.png]
5.  测试部署到目标服务器程序  
    ![在这里插入图片描述][fc27100f271f419aade922a500cf3811.png]  
    ②持续交付、部署

> 程序代码在经过多次集成操作到达最终可以交付，持续交付整体流程和持续集成类似，不过需要选取指定的发行版本

*  下载Git Parameter插件  
    ![在这里插入图片描述][348ba01375274a77a69eaaacc7700a91.png]
 *  设置项目参数化构建  
    ![在这里插入图片描述][1a2debd129464f5c8c2f453e7d7e2322.png]  
    ![在这里插入图片描述][3fd26e862bd2488d949a49f1aef34877.png]
 *  在GitLab上给项目添加tag版本  
    ![在这里插入图片描述][71560899b2204102b615a9aa54ad32e4.png]
 *  任务构建时，采用Shell方式构建，拉取指定tag版本  
    ![在这里插入图片描述][7b7a2da84cb04dfdbd051b1bb0498c19.png]
 *  基于Parameter构建任务，任务发布到目标服务器  
    ![在这里插入图片描述][f3494db0fe964a8eae6c8cfdd2f0bf19.png]

#### 2.4 Sonar Qube ####

##### 2.4.1 Sonar Qube介绍与安装 #####

> Sonar Qube是一个开源的代码分析平台，支持Java、Python、PHP、JavaScript、CSS等25种以上的语言，可以检测出重复代码、代码漏洞、代码规范和安全性漏洞的问题。
> 
>  *  Sonar Qube可以与多种软件整合进行代码扫描，比如：Maven、Gradle、Git、Jenkins等，并且会将代码检测结果推送回Sonar Qube，进而在系统提供的UI界面上显示出来。

![在这里插入图片描述][586ca9d84b794e73936fcdd0cd069e6f.png]  
安装过程：

> Sonar Qube在7.9版本中已经放弃了对MySQL的支持，并且建议在商业环境中采用PostgreSQL，那么安装Sonar Qube时需要依赖PostgreSQL。

①拉取PostgreSQL镜像

docker pull postgres
    docker pull sonarqube:8.9.3-community

②编写docker-compose.yml

> 更易管理

version: "3.1"
    services:
      db:
        image: postgres
        container_name: db
        ports:
          - 5432:5432
        networks:
          - sonarnet
        environment:
          POSTGRES_USER: sonar
          POSTGRES_PASSWORD: sonar
      sonarqube:
        image: sonarqube:8.9.3-community
        container_name: sonarqube
        depends_on:
          - db
        ports:
          - "9000:9000"
        networks:
          - sonarnet
        environment:
          SONAR_JDBC_URL: jdbc:postgresql://db:5432/sonar
          SONAR_JDBC_USERNAME: sonar
          SONAR_JDBC_PASSWORD: sonar
    networks:
      sonarnet:
        driver: bridge

③设置sysctl.conf文件信息，并启动容器  
![在这里插入图片描述][aa0ced63a635438084671c0b71b7315f.png]

> 设置`vm.max_map_count=262144`，至少是这个数

# 执行命令进行刷新
    sysctl -p
    
    # 启动容器
    docker-compose up -d

> 重新启动需要一定时间，可以查看容器日志，如果看到如下内容代表启动成功

![在这里插入图片描述][7c0ae3dc8962427f9cfb8e0349ba6022.png]  
④访问Sonar Qube首页  
![在这里插入图片描述][28353cf2ee0947dd9301e3b1bf98c4d1.png]

> 登录成功之后，会要求我们修改默认密码

首页图片：  
![在这里插入图片描述][b689b48951bc4b84803a2e2db2758f98.png]

*  安装中文插件  
    ![在这里插入图片描述][c2955c7fe4e349849343b2df98ff54c7.png]

> 安装成功后需要重启，若安装失败，重新点击install即可

##### 2.4.2 Sonar Qube基本使用 #####

> Sonar Qube的使用方式很多，Maven可以整合，也可以采用sonar-scanner的方式，再查看Sonar Qube的检测效果

###### ①Maven实现代码检测 ######

*  修改配置文件信息

> 修改本地Maven的settings.xml文件，配置Sonar Qube信息

<profile>
        <id>sonar</id>
        <activation>
            <activeByDefault>true</activeByDefault>
        </activation>
        <properties>
            <sonar.login>admin</sonar.login>
            <sonar.password>123456789</sonar.password>
            <sonar.host.url>http://192.168.11.11:9000</sonar.host.url>
        </properties>
    </profile>

*  在代码所在位置的cmd执行命令`mvn sonar:sonar`  
    ![在这里插入图片描述][355d9b00e99844a1b3fddd1e2e93259c.png]
 *  检测结果：  
    ![在这里插入图片描述][b2b46f7c101e4ac6a6458fb912441b35.png]

###### ②Sonar-scanner实现代码检测 ######

*  下载对应版本

>  *  下载Sonar-scanner：https://binaries.sonarsource.com/Distribution/sonar-scanner-cli/
>  *  下载4.6.x版本即可，要求Linux版本

*  解压并配置sonar服务端信息

> 下载下来的Sonar-scanner是zip压缩包，因此需要在linux上安装unzip插件

# 安装unzip解压插件
    yum -y install unzip
    
    # 解压压缩包
    unzip sonar-scanner-cli/sonar-scanner-cli-4.6.0.2311-linux.zip

> 配置sonarQube服务端地址，修改conf下的sonar-scanner.properties  
> ![在这里插入图片描述][9b1431c1e967498c9aee9137bfe10a5a.png]

*  执行命令检测代码

# 在项目所在目录执行以下命令
    ~/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=demo -Dsonar.projectKey=java -Dsonar.java.binaries=target/

![在这里插入图片描述][6046022fc65942f5aea55599a0b8e023.png]

*  查看SonarQube界面检测结果  
    ![在这里插入图片描述][aa6abbfc20054c22982336cdf4939d63.png]

###### ③Jenkins集成Sonar Qube ######

> Jenkins集成Sonar Qube实现代码扫描需要下载整合插件

1.  Jenkins安装插件【系统管理-插件管理】
2.  安装SonarQube Scanner插件  
    ![在这里插入图片描述][b5d112da1f224fc1b59f25c15fc8e622.png]
3.  Jenkins配置Sonar Qube

> 在SonarQube中开启Sonar Qube的权限验证  
> ![在这里插入图片描述][c6a6c1fb7d6e4dcb8cbd4d25eace2696.png]  
> 在Sonar Qube中生成一个令牌，获取Sonar Qube的令牌  
> ![在这里插入图片描述][3c0880e99f1341f1a11b7c8ce9e71bff.png]

*  在Jenkins中配置Sonar Qube信息

> Dashboard - 系统配置

![在这里插入图片描述][31abacd56fb84ca382de8b3c672918c9.png]  
![在这里插入图片描述][b982e875109647a586f2a5e5bf47842a.png]

*  在Jenkins中配置Sonar-scanner

> 将Sonar-scanner添加到Jenkins数据卷中并全局配置  
> ![在这里插入图片描述][7786533e88b546918145fe3b5ff94aef.png]

*  配置任务的Sonar-scanner  
    ![在这里插入图片描述][2789e3c5042f4b31940cc389a6f6f50b.png]

1.  构建任务

Jenkins界面：  
![在这里插入图片描述][74e43abc68dd4085aeeea04e40d66d2a.png]  
SonarQube界面：  
![在这里插入图片描述][c9d1231266e349d9aedd514792565e0b.png]

#### 2.5 Harbor（镜像仓库） ####

#### 2.5.1 Harbor介绍与安装 ####

*  介绍

> 前面我们在部署时，主要流程如下：
> 
> 1.  Jenkins推送jar包到服务器
> 2.  通过脚本命令让目标服务器对当前jar进行部署
> 
> 但是这种方式在项目比较多的时候，每个服务器都需要将jar包制作成自定义镜像，然后再通过docker进行启动，重复操作较多，降低部署效率。

Harbor：私有的Docker镜像仓库。我们可以让Jenkins统一将项目打包并制作成Docker镜像发布到Harbor仓库中。然后我们只需要通知目标服务，让目标服务统一去Harbor仓库上拉取镜像并在本地部署即可。

*  安装（通过原生的方式安装）

1.  下载Harbor安装包  
    https://github.com/goharbor/harbor/releases/download/v2.3.4/harbor-offline-installer-v2.3.4.tgz
2.  传送到linux上并解压

# 通过xftp或其他方式将压缩包传送到linux上
    # 解压
    tar -zxvf harbor-offline-installer-v2.3.4.tgz -C /usr/local/

1.  修改Harbor配置文件

> 设置harbor地址，注释https，查看密码

# 备份原有配置
    cp harbor.yml.tmpl harbor.yml

![在这里插入图片描述][ade9122241ef4595b8f18d61a2f69bbb.png]  
4. 启动Harbor并登录Harbor

# 启动Harbor
    ./install.sh

![在这里插入图片描述][492e49e2f8a14aeabafea266a669c1b9.png]  
首页信息：  
![在这里插入图片描述][a6f3d29c5ada49c089215e1e2d90fc98.png]

#### 2.5.2 Harbor基础使用 ####

> Harbor作为镜像仓库，主要的交互方式就是将镜像上传到Harbor，以及从Harbor上下载拉取指定版本的镜像。
> 
>  *  在传输镜像前，可以先使用Harbor提供的权限管理，将项目设置为私有项目，并对不同用户设置不同角色，从而更方便管理镜像。

##### ①添加用户构建项目 #####

*  创建用户

> 系统管理-用户管理-创建用户  
> ![在这里插入图片描述][1e6cb4521f3d4deba9448985ec9def27.png]

*  构建项目（设置为私有）  
    ![在这里插入图片描述][6e7fc07c4dbd402d8639634e9ce94dc5.png]
 *  给项目追加用户  
    ![在这里插入图片描述][8651871e410c483fb2785ef6cf8c8883.png]

##### ②发布镜像到Harbor #####

*  修改镜像名称

> 名称要求：harbor地址/项目名/镜像名:版本  
> ![在这里插入图片描述][b007349dac60465d9d83de87ffb0c02e.png]

*  修改daemon.json，支持Docker仓库，并重启Docker  
    ![在这里插入图片描述][ce6a3e3b32c24e1f84444d1c6378ae9f.png]
 *  设置登录仓库信息

docker login -u 用户名 -p 密码 Harbor地址

*  推送镜像到Harbor  
    ![在这里插入图片描述][7c5095c59a9645ccbff7b4065eb3800b.png]

##### ③从Harbor中拉取镜像 #####

> 跟传统方式一样，不过需要先配置/etc/docker/daemon.json文件

{
        
            "registry-mirrors": ["https://pee6w651.mirror.aliyuncs.com"],
            "insecure-registries": ["192.168.11.11:80"]
    }

拉取镜像：  
![在这里插入图片描述][a4a89ca2ba064cd08309e9d3fb66053e.png]

##### 拓展：Jenkins容器使用宿主机Docker并编写构建脚本 #####

>  *  构建镜像和发布镜像到harbor都需要使用到docker命令。而在Jenkins容器内部安装Docker官方推荐直接采用宿主机带的Docker即可。

①设置Jenkins容器使用宿主机Docker

1.  设置宿主机docker.sock权限

sudo chown root:root /var/run/docker.sock
    sudo chmod o+rw /var/run/docker.sock

1.  添加数据卷

version: "3.1"
    services:
      jenkins:
        image: jenkins/jenkins
        container_name: jenkins
        ports:
          - 8080:8080
          - 50000:50000
        volumes:
          - ./data/:/var/jenkins_home/
          - /usr/bin/docker:/usr/bin/docker
          - /var/run/docker.sock:/var/run/docker.sock
          - /etc/docker/daemon.json:/etc/docker/daemon.json

②添加构建操作  
![在这里插入图片描述][25766311622c4023911ad1ff6aa0b260.png]  
③编写构建脚本

>  *  部署项目需要通过Publish Over SSH插件，让目标服务器执行命令。为了方便一次性实现拉取镜像和启动的命令，推荐采用脚本文件的方式。
>  *  添加脚本文件到目标服务器，再通过Publish Over SSH插件让目标服务器执行脚本即可。

1.  编写脚本文件,添加到目标服务器

deploy.sh:

harbor_url=$1
    harbor_project_name=$2
    project_name=$3
    tag=$4
    port=$5
    
    imageName=$harbor_url/$harbor_project_name/$project_name:$tag
    
    containerId=`docker ps -a | grep ${
         project_name} | awk '{print $1}'`
    if [ "$containerId" != "" ] ; then
        docker stop $containerId
        docker rm $containerId
        echo "Delete Container Success"
    fi
    
    imageId=`docker images | grep ${
         project_name} | awk '{print $3}'`
    
    if [ "$imageId" != "" ] ; then
        docker rmi -f $imageId
        echo "Delete Image Success"
    fi
    
    docker login -u DevOps -p P@ssw0rd $harbor_url
    
    docker pull $imageName
    
    docker run -d -p $port:$port --name $project_name $imageName
    
    echo "Start Container Success"
    echo $project_name

1.  设置文件权限为可执行：

chmod a+x deploy.sh

![在这里插入图片描述][44b7be3bb1f84a46a5db75a72bb5db49.png]  
④配置构建后操作  
![在这里插入图片描述][aedaddb21d6f4b60b7a7f2b6e39fffae.png]

#### 2.6 Jenkins流水线（pipeline）、自动化脚本 ####

##### 2.6.1 Jenkins流水线任务介绍 #####

> 之前采用的都是Jenkins的自由风格，每个流程都要通过不同的方式设置，并且构建过程中整体流程时不可见的，无法确认每个流程花费的时间，同时不方便问题的定位。

Jenkins的Pipeline可以让项目的发布整体流程可视化，明确执行的阶段，快速定位问题。让整个项目的生命周期可以通过一个Jenkinsfile文件管理，而且Jenkinsfile文件是可以放在项目中维护。

①构建Jenkins流水线任务

1.  构建任务  
    ![在这里插入图片描述][1109405bf9394b1e80796dd6790d555c.png]
2.  生成Groovy脚本  
    ![在这里插入图片描述][b21d6b4398554819a4883d7977cd6c9a.png]
3.  构建后查看视图  
    ![在这里插入图片描述][e5b6788dd2444cba942f2327e67c85f2.png]  
    ②Groovy脚本

*  Groovy脚本基本语法

// 所有脚本命令包含在pipeline{}中
    pipeline {
          
    	// 指定任务在哪个节点执行（Jenkins支持分布式）
        agent any
        
        // 配置全局环境，指定变量名=变量值信息
        environment{
        
        	host = '192.168.11.11'
        }
    
        // 存放所有任务的合集
        stages {
        
        	// 单个任务
            stage('任务1') {
        
            	// 实现任务的具体流程
                steps {
        
                    echo 'do something'
                }
            }
    		// 单个任务
            stage('任务2') {
        
            	// 实现任务的具体流程
                steps {
        
                    echo 'do something'
                }
            }
            // ……
        }
    }

*  编写例子测试  
    ![在这里插入图片描述][cab5de9177b74a199ac251158da61ea7.png]
 *  查看效果  
    ![在这里插入图片描述][19bbe5dedce2454696cf8612fb5c8b29.png]  
    Ps：涉及到特定脚本，Jenkins给予了充足的提示，可以自动生成命令  
    ![在这里插入图片描述][3f08f466c56b444698c84365ea4869ef.png]  
    ③JenkinsFile实现

> Jenkinsfile方式需要将脚本内容编写到项目中的Jenkinsfile文件中，每次构建会自动拉取并且获取项目中的Jenkinsfile文件来对项目进行构建

*  配置pipeline  
    ![在这里插入图片描述][78032a2f8e9542d59f72f987780ea2e3.png]
 *  准备Jenkinsfile  
    ![在这里插入图片描述][4f11a4a61aff42b88caec8bd8b9822c1.png]
 *  测试效果  
    ![在这里插入图片描述][4e54fa237b034ad7bf964632e6c86997.png]

##### 2.6.2 Jenkins流水线任务实现 #####

1.  参数化构建

> 添加参数化构建，方便选择不同的项目版本

![在这里插入图片描述][43f8473141614a3f91096e717f262217.png]  
2. 拉取Git代码

> 通过流水线语法生成Checkout代码的脚本

![在这里插入图片描述][19af6e251d6c4c0fbdb2d25b62d84c8d.png]

> 将\*/master更改为标签$\{tag\}

1.  构建代码

> 通过脚本执行mvn的构建命令

1.  代码质量检测

> 通过脚本执行sonar-scanner命令即可

pipeline {
        
        agent any
    
        stages {
        
    
            stage('拉取Git代码') {
        
                steps {
        
                    checkout([$class: 'GitSCM', branches: [[name: '${tag}']], extensions: [], userRemoteConfigs: [[url: 'http://49.233.115.171:8929/root/test.git']]])
                }
            }
    
            stage('构建代码') {
        
                steps {
        
                    sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
                }
            }
    
            stage('检测代码质量') {
        
                steps {
        
                    sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=target/ -Dsonar.login=31388be45653876c1f51ec02f0d478e2d9d0e1fa' 
                }
            }
        }
    }

1.  制作自定义镜像并发布

*  生成自定义镜像脚本

pipeline {
        
        agent any
        environment{
        
            harborHost = '192.168.11.11:80'
            harborRepo = 'repository'
            harborUser = 'DevOps'
            harborPasswd = 'P@ssw0rd'
        }
    
        // 存放所有任务的合集
        stages {
        
    
            stage('拉取Git代码') {
        
                steps {
        
                    checkout([$class: 'GitSCM', branches: [[name: '${tag}']], extensions: [], userRemoteConfigs: [[url: 'http://49.233.115.171:8929/root/test.git']]])
                }
            }
    
            stage('构建代码') {
        
                steps {
        
                    sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
                }
            }
    
            stage('检测代码质量') {
        
                steps {
        
                    sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=target/ -Dsonar.login=31388be45653876c1f51ec02f0d478e2d9d0e1fa' 
                }
            }
    
            stage('制作自定义镜像并发布Harbor') {
        
                steps {
        
                    sh '''cp ./target/*.jar ./docker/
                    cd ./docker
                    docker build -t ${JOB_NAME}:${tag} ./'''
    
                    sh '''docker login -u ${harborUser} -p ${harborPasswd} ${harborHost}
                    docker tag ${JOB_NAME}:${tag} ${harborHost}/${harborRepo}/${JOB_NAME}:${tag}
                    docker push ${harborHost}/${harborRepo}/${JOB_NAME}:${tag}'''
                }
            }
        }
    }

*  生成Publish Over SSH脚本

pipeline {
        
        agent any
        environment{
        
            harborHost = '192.168.11.11:80'
            harborRepo = 'repository'
            harborUser = 'DevOps'
            harborPasswd = 'P@ssw0rd'
        }
    
        // 存放所有任务的合集
        stages {
        
    
            stage('拉取Git代码') {
        
                steps {
        
                    checkout([$class: 'GitSCM', branches: [[name: '${tag}']], extensions: [], userRemoteConfigs: [[url: 'http://49.233.115.171:8929/root/test.git']]])
                }
            }
    
            stage('构建代码') {
        
                steps {
        
                    sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
                }
            }docker
    
            stage('检测代码质量') {
        
                steps {
        
                    sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=target/ -Dsonar.login=7d66af4b39cfe4f52ac0a915d4c9d5c513207098' 
                }
            }
    
            stage('制作自定义镜像并发布Harbor') {
        
                steps {
        
                    sh '''cp ./target/*.jar ./docker/
                    cd ./docker
                    docker build -t ${JOB_NAME}:${tag} ./'''
    
                    sh '''docker login -u ${harborUser} -p ${harborPasswd} ${harborHost}
                    docker tag ${JOB_NAME}:${tag} ${harborHost}/${harborRepo}/${JOB_NAME}:${tag}
                    docker push ${harborHost}/${harborRepo}/${JOB_NAME}:${tag}'''
                }
            }
            
            stage('目标服务器拉取镜像并运行') {
        
                steps {
        
                    sshPublisher(publishers: [sshPublisherDesc(configName: 'testEnvironment', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "/usr/bin/deploy.sh $harborHost $harborRepo $JOB_NAME $tag $port ", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
                }
            }
        }
    }

> Ps：由于采用变量，记得使用双引号

##### 2.6.3 Jenkins流水线整合钉钉 #####

> 在程序部署成功之后，可以通过钉钉的机器人及时向开发人员发送部署的最终结果通知

步骤：Jenkins安装插件 - 钉钉创建群组并构建机器人 - Jenkins配置系统添加钉钉通知 - 任务中追加钉钉流水线配置

1.  安装插件  
    ![在这里插入图片描述][35a3da647c294e769fd97b482cf0886b.png]
2.  钉钉内部创建群组并构建机器人  
    ![在这里插入图片描述][b883bff2d344429fb7ddc39265145b94.png]  
    ![在这里插入图片描述][30b8237103b940eb8eb7b3e870f008eb.png]  
    最终获取到Webhook信息：

> https://oapi.dingtalk.com/robot/send?access\_token=kej4ehkj34gjhg34jh5bh5jb34hj53b4

1.  Jenkins系统配置添加钉钉通知  
    ![在这里插入图片描述][85e93182218c42f8b8de1b64ab97ffd7.png]
2.  任务线中追加流水线配置

pipeline {
        
        agent any
    
        environment {
        
            sonarLogin = '2bab7bf7d5af25e2c2ca2f178af2c3c55c64d5d8'
            harborUser = 'admin'
            harborPassword = 'Harbor12345'
            harborHost = '192.168.11.12:8888'
            harborRepo = 'repository'
        }
    
        stages {
        
            stage('拉取Git代码'){
        
                steps {
        
                    checkout([$class: 'GitSCM', branches: [[name: '$tag']], extensions: [], userRemoteConfigs: [[url: 'http://49.233.115.171:8929/root/lsx.git']]])
                }
            }
            stage('Maven构建代码'){
        
                steps {
        
                    sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
                }
            }
            stage('SonarQube检测代码'){
        
                steps {
        
                    sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=target/ -Dsonar.login=${sonarLogin}'
                }
            }
            stage('制作自定义镜像'){
        
                steps {
        
                    sh '''cd docker
                    mv ../target/*.jar ./
                    docker build -t ${JOB_NAME}:$tag .
                    '''
                }
            }
    
            stage('推送自定义镜像'){
        
                steps {
        
                    sh '''docker login -u ${harborUser} -p ${harborPassword} ${harborHost}
                    docker tag ${JOB_NAME}:$tag ${harborHost}/${harborRepo}/${JOB_NAME}:$tag
                    docker push ${harborHost}/${harborRepo}/${JOB_NAME}:$tag'''
                }
            }
    
            stage('通知目标服务器'){
        
                steps {
        
                    sshPublisher(publishers: [sshPublisherDesc(configName: 'centos-docker', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "/usr/bin/deploy.sh $harborHost $harborRepo $JOB_NAME $tag $port", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
                }  
            }
        }
        post {
        
            success {
        
                dingtalk (
                    robot: 'Jenkins-DingDing',
                    type:'MARKDOWN',
                    title: "success: ${JOB_NAME}",
                    text: ["- 成功构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
                )
            }
            failure {
        
                dingtalk (
                    robot: 'Jenkins-DingDing',
                    type:'MARKDOWN',
                    title: "fail: ${JOB_NAME}",
                    text: ["- 失败构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
                )
            }
        }
    }

1.  查看效果  
    ![在这里插入图片描述][f4c791d6acf54d6e9aa9fa31846203c8.png]

#### 2.7 Kubernetes ####

##### 2.7.1 介绍及安装 #####

> Kubernetes又称为k8s，是一个开源的，用于管理云平台中多个主机上的容器。目的是让容器化部署更加简单、高效。

###### ①k8s主要作用： ######

1.  服务发现和负载均衡（DNS名称或自己IP地址公开容器）
2.  存储编排（类似Docker的数据卷）
3.  自动部署和回滚（可以按照你的需求调整容器状态）
4.  自动完成装箱计算（允许你设置每个容器的资源，CPU、内存等）
5.  自我修复（可以重启失败的容器、替换容器、检查容器状况等）
6.  密钥与配置管理（允许存储和管理敏感信息，可以在不重建容器的情况下完成部署和更新密钥）

###### ②k8s的架构 ######

> k8s搭建至少需要两个节点，一个Master负责管理，一个Slave搭建在工作服务器上负责分配

![在这里插入图片描述][32de3227e8444ba68917e149315a5649.png]

> 各个组件的基本功能
> 
>  *  API Server：k8s通讯的核心组件，负责k8s内部交互及接收发送指令的组件
>  *  controller-manage：资源调度，根据集群情况分配资源
>  *  etcd：key-value数据库，存储集群的状态信息
>  *  scheduler：负责调度每个工作节点
>  *  cloud-controller-manage：负责调度其他云服务产品
>  *  kubelet：管理Pods上面的容器
>  *  kube-proxy：负责处理其他Slave或客户端的请求
>  *  Pod：运行的容器

###### ③k8s安装 ######

> 本文采用https://kuboard.cn/提供的方式安装K8s，安装单Master节点
> 
>  *  要求：至少使用Centos7.8版本
>  *  至少2台2核4G服务器

![在这里插入图片描述][db83a646b7d34f55a101d9b111662f8b.png]  
准备好服务器之后开始安装：

###### 1. 重新设置hostname，不允许为localhost ######

# 修改 hostname，名字不允许使用下划线、小数点、大写字母，不能叫master
    hostnamectl set-hostname your-new-host-name
    # 查看修改结果
    hostnamectl status
    # 设置 hostname 解析
    echo "127.0.0.1   $(hostname)" >> /etc/hosts

> 要求2台服务器之间可以相互通讯

###### 2. 安装kuboard软件 ######

# 阿里云 docker hub 镜像
    export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com
    curl -sSL https://kuboard.cn/install-script/v1.19.x/install_kubelet.sh | sh -s 1.19.5

###### 3. 初始化Master节点 ######

> 关于初始化时用到的环境变量

*  **APISERVER\_NAME** 不能是 master 的 hostname
 *  **APISERVER\_NAME** 必须全为小写字母、数字、小数点，不能包含减号
 *  **POD\_SUBNET** 所使用的网段不能与 ***master节点/worker节点*** 所在的网段重叠。该字段的取值为一个 [CIDR][] 值，如果您对 CIDR 这个概念还不熟悉，请仍然执行 export POD\_SUBNET=10.100.0.0/16 命令，不做修改
 *  设置ip，域名，网段并执行初始化操作

# 只在 master 节点执行
    # 替换 x.x.x.x 为 master 节点实际 IP（请使用内网 IP）
    # export 命令只在当前 shell 会话中有效，开启新的 shell 窗口后，如果要继续安装过程，请重新执行此处的 export 命令
    export MASTER_IP=192.168.11.32
    # 替换 apiserver.demo 为 您想要的 dnsName
    export APISERVER_NAME=apiserver.demo
    # Kubernetes 容器组所在的网段，该网段安装完成后，由 kubernetes 创建，事先并不存在于您的物理网络中
    export POD_SUBNET=10.100.0.1/16
    echo "${MASTER_IP}    ${APISERVER_NAME}" >> /etc/hosts
    curl -sSL https://kuboard.cn/install-script/v1.19.x/init_master.sh | sh -s 1.19.5

*  检查Master启动状态

# 只在 master 节点执行
    
    # 执行如下命令，等待 3-10 分钟，直到所有的容器组处于 Running 状态
    watch kubectl get pod -n kube-system -o wide
    
    # 查看 master 节点初始化结果
    kubectl get nodes -o wide

`Ps：如果出现NotReady的情况执行（最新版本的BUG，1.19一般没有）`

docker pull quay.io/coreos/flannel:v0.10.0-amd64 
    mkdir -p /etc/cni/net.d/
    cat <<EOF> /etc/cni/net.d/10-flannel.conf
    {
        "name":"cbr0","type":"flannel","delegate": {
        "isDefaultGateway": true}}
    EOF
    mkdir /usr/share/oci-umount/oci-umount.d -p
    mkdir /run/flannel/
    cat <<EOF> /run/flannel/subnet.env
    FLANNEL_NETWORK=172.100.0.0/16
    FLANNEL_SUBNET=172.100.1.0/24
    FLANNEL_MTU=1450
    FLANNEL_IPMASQ=true
    EOF
    kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/v0.9.1/Documentation/kube-flannel.yml

*  安装网络服务插件

export POD_SUBNET=10.100.0.0/16
    kubectl apply -f https://kuboard.cn/install-script/v1.22.x/calico-operator.yaml
    wget https://kuboard.cn/install-script/v1.22.x/calico-custom-resources.yaml
    sed -i "s#192.168.0.0/16#${POD_SUBNET}#" calico-custom-resources.yaml
    kubectl apply -f calico-custom-resources.yaml

###### 4. 初始化worker节点 ######

*  获取join命令参数，在Master节点执行

# 只在 master 节点执行
    kubeadm token create --print-join-command

![在这里插入图片描述][4221ca22d0c142999bdcc3581c3fec3e.png]

*  在worker节点初始化

# 只在 worker 节点执行
    # 替换 x.x.x.x 为 master 节点的内网 IP
    export MASTER_IP=192.168.11.32
    # 替换 apiserver.demo 为初始化 master 节点时所使用的 APISERVER_NAME
    export APISERVER_NAME=apiserver.demo
    echo "${MASTER_IP}    ${APISERVER_NAME}" >> /etc/hosts
    
    # 替换为 master 节点上 kubeadm token create 命令的输出
    kubeadm join apiserver.demo:6443 --token vwfilu.3nhndohc5gn1jv9k     --discovery-token-ca-cert-hash sha256:22ff15cabfe87ab48a7db39b3bbf986fee92ec92eb8efc7fe9b0abe2175ff0c2

###### 5. 检查最终运行结果 ######

*  在Master节点运行

# 只在 master 节点执行
    kubectl get nodes -o wide

Ps：如果出现NotReady的情况执行（最新版本的BUG，1.19一般没有）

*  获取节点信息

kubectl get nodes

![在这里插入图片描述][aeae30f5ddeb4007a3e486cecfb56bf8.png]

###### 6. 安装Kuboard管理k8s集群 ######

*  安装Kuboard

kubectl apply -f https://addons.kuboard.cn/kuboard/kuboard-v3.yaml
    # 您也可以使用下面的指令，唯一的区别是，该指令使用华为云的镜像仓库替代 docker hub 分发 Kuboard 所需要的镜像
    # kubectl apply -f https://addons.kuboard.cn/kuboard/kuboard-v3-swr.yaml

*  查看启动情况

watch kubectl get pods -n kuboard

![在这里插入图片描述][0ffc83f4af2447e9a4b063567405698d.png]

>  *  在浏览器中打开链接 http://your-node-ip-address:30080
>  *  输入初始用户名和密码，并登录
>     
>      *  用户名： `admin`
>      *  密码： `Kuboard123`

![在这里插入图片描述][448d4bd5e5c6484dac2dac3f66676e03.png]

##### 2.7.2 k8s操作 #####

> 首先k8s在运行我们的资源时，关联到了哪些内容呢？
> 
>  *  资源的构建方式：
>     
>      *  采用kubectl的命令方式
>      *  yaml文件方式

###### ①namespace ######

> 命名空间：对k8s中运行的资源进行隔离，但是网络是互通的。类似于docker的容器，可以将多个资源配置到一个namespace中。而namespace可以对不同环境进行资源隔离，默认情况下k8s提供了default命名空间。

命令方式：

# 查看现有的全部命名空间
    kubectl get ns
    
    # 构建命名空间
    kubectl create ns 命名空间名称
    
    # 删除现有命名空间， 并且会删除空间下的全部资源
    kubectl delete ns 命名空间名称

yaml文件方式（构建源时，设置命名空间）

apiVersion: v1
    kind: Namespace
    metadata:
      name: test

###### ②Pod ######

> k8s中运行的一组容器，Pod是k8s的最小单位。但是对于Docker而言，Pod中会运行多个Docker容器

*  命令方式

# 查看所有运行的pod
    kubectl get pods -A
    
    # 查看指定Namespace下的Pod
    kubectl get pod [-n 命名空间]  #（默认default）
    
    # 创建Pod
    kubectl run pod名称 --image=镜像名称
    
    # 查看Pod详细信息
    kubectl describe pod pod名称
    
    # 删除pod
    kubectl delete pod pod名称 [-n 命名空间]  #（默认default）
    
    # 查看pod输出的日志
    kubectl logs -f pod名称
    
    # 进去pod容器内部
    kubectl exec -it pod名称 -- bash
    
    # 查看kubernetes给Pod分配的ip信息，并且通过ip和容器的端口，可以直接访问
    kubectl get pod -owide

*  yaml方式（推荐）

apiVersion: v1
    kind: Pod
    metadata:
      labels:
        run: 运行的pod名称
      name: pod名称
      namespace: 命名空间
    spec:
      containers:
      - image: 镜像名称
        name: 容器名称
    
    # 启动Pod：kubectl apply -f yaml文件名称
    # 删除Pod：kubectl delete -f yaml文件名称

*  Pod中运行多个容器

apiVersion: v1
    kind: Pod
    metadata:
      labels:
        run: 运行的pod名称
      name: pod名称
      namespace: 命名空间
    spec:
      containers:
      - image: 镜像名称
        name: 容器名称
      - image: 镜像名称
        name: 容器名称
    …………

Kuboard效果：  
![在这里插入图片描述][f432afa1da1942ad906f1626c998f8c6.png]

###### ③Deployment ######

> 部署时，可以通过Deployment管理和编排Pod

*  命令方式

# 基于Deployment启动容器
    kubectl create deployment deployment名称 --image=镜像名称
    # 用deployment启动的容器会在被删除后自动再次创建，达到故障漂移的效果
    # 需要使用deploy的方式删除deploy
    # 查看现在的deployment
    kubectl get deployment
    
    # 删除deployment
    kubectl delete deployment deployment名称
    
    # 基于Deployment启动容器并设置Pod集群数
    kubectl create deployment deployment名称 --image=镜像名称 --replicas 集群个数

*  配置文件方式

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nginx-deployment
      labels:
        app: nginx
    spec:
      replicas: 3
      selector:
        matchLabels:
          app: nginx
      template:
        metadata:
          labels:
            app: nginx
        spec:
          containers:
          - name: nginx
           image: nginx
           ports:
           - containerPort: 80

> 正常使用kubectl运行yaml即可

弹性伸缩功能：

# 基于scale实现弹性伸缩
    kubectl scale deploy/Deployment名称 --replicas 集群个数
    # 或者修改yaml文件
    kubectl edit deploy Deployment名称

![在这里插入图片描述][dfaf34d094e942ceac965663ac12d672.png]  
灰度发布：  
Deploy可以在部署新版本数据时，成功启动一个Pod，才会下线一个老版本Pod

kubectl set image deployment/Deployment名称 容器名=镜像:版本

###### ④service ######

> 可以将多个Pod整合为一个Service，让客户端通过这一个Service访问到这一组Pod，并且可以实现负载均衡

*  ClusterIP方式：

> ClusterIP是集群内部Pod之间的访问方式

命令实现效果

# 通过生成service映射一个Deployment下的所有pod中的某一个端口的容器
    kubectl expose deployment Deployment名称 --port=Service端口号 --target-port=Pod内容器端口

之后通过`kubectl get service`查看Service提供的ip，即可访问  
![在这里插入图片描述][fba7d9b0ba5c4ea68d56cfb6830f8588.png]  
也可以通过`Deployment名称.namespace名称.svc`作为域名访问  
![在这里插入图片描述][5a224254cbfe4499a335ca6f7096013f.png]

*  NodePort方式

> ClusterIP方式只能在Pod内部实现访问，但是一般需要对外暴露网关，所以需要NodePort的方式将Pod对外暴露访问

命令实现方式：

# 通过生成service映射一个Deployment下的所有pod中的某一个端口的容器
    kubectl expose deployment Deployment名称 --port=Service端口号 --target-port=Pod内容器端口 --type=NodePort

![在这里插入图片描述][c2950846a3494fac981122a20bf7fa46.png]  
Service通过yaml方式实现：

apiVersion: v1
    kind: Service
    metadata:
      labels
        app: nginx
      name: nginx
      spec:
        selector:
          app: nginx
        ports:
        - port: 8888
         protocol: TCP
         targetPort: 80

通过apply启动就可以创建Service

> 测试：通过Deployment部署，通过Service部署

apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: nginx-deployment
      labels:
        app: nginx-deployment
    spec:
      replicas: 2
      selector:
        matchLabels:
          app: nginx-deployment
      template:
        metadata:
          labels:
            app: nginx-deployment
        spec:
          containers:
          - name: nginx-deployment
            image: nginx
            ports:
            - containerPort: 80
    ---
    apiVersion: v1
    kind: Service
    metadata:
      labels:
        app: nginx-service
      name: nginx-service
    spec:
      selector:
        app: nginx-deployment
      ports:
      - port: 8888
        protocol: TCP
        targetPort: 80
      type: NodePort

可以查看到暴露信息：  
![在这里插入图片描述][2cae2b724b724d4e9075c78de5518bf2.png]

###### ⑤Ingress（入口） ######

> k8s推荐将Ingress作为所有Service的入口，提供统一的入口，避免多个服务之间需要记录大量的IP或域名（IP可能变化，域名太多记录不方便）
> 
>  *  Ingress底层就是一个Nginx，可以直接在kuboard上点击安装

![在这里插入图片描述][27db6cc451f743af9669a2c2c30ed829.png]  
![在这里插入图片描述][9f95821ff02242f587dd5a02eb1d6bbe.png]

> 因为副本数默认为1，但是k8s整体集群就2个节点，所以显示下面即为安装成功

![在这里插入图片描述][8ae4e556816747e4867be5152b36282b.png]

> 可以将Ingress接收到的请求转发到不同的Service中

推荐使用yaml文件方式

apiVersion: networking.k8s.io/v1
    kind: Ingress
    metadata:
      name: nginx-ingress
    spec:
      ingressClassName: ingress
      rules:
      - host: nginx.mashibing.com
        http:
          paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: nginx-service
                port:
                  number: 8888

![在这里插入图片描述][183baeba1c8b404a9be59eb506b17c97.png]  
Kuboard安装的Ingress有admission的校验配置，需要先删除配置再启动

> 找到指定的ingress的校验信息，删除即可

![在这里插入图片描述][946007c5d4b144f0a69d5a66d9098a81.png]

# 查看校验webhook的配置
    kubectl get -A ValidatingWebhookConfiguration
    
    # 删除指定的校验
    kubectl delete ValidatingWebhookConfiguration ingress-nginx-admission-my-ingress-controller

配置本地hosts文件：  
![在这里插入图片描述][6654f2f3630a440183e58dd2839f0153.png]  
下面就可以访问在Service中暴露的Nginx信息：  
![在这里插入图片描述][86a5244e57b04f0d9298b3002e9e1306.png]

#### 2.8 Jenkins集成K8s ####

##### 2.8.1 准备部署的yaml文件 #####

apiVersion: apps/v1
    kind: Deployment
    metadata:
      namespace: test
      name: pipeline
      labels:
        app: pipeline
    spec:
      replicas: 2
      selector:
        matchLabels:
          app: pipeline
      template:
        metadata:
          labels:
            app: pipeline    
        spec:
          containers:
          - name: pipeline
            image: 192.168.11.102:80/repo/pipeline:v4.0.0
            imagePullPolicy: Always
            ports:
            - containerPort: 8080
    ---
    apiVersion: v1
    kind: Service
    metadata:
      namespace: test
      labels:
        app: pipeline
      name: pipeline  
    spec:
      selector:
        app: pipeline
      ports:
      - port: 8081
        targetPort: 8080
      type: NodePort
    ---
    apiVersion: networking.k8s.io/v1
    kind: Ingress
    metadata:
      namespace: test
      name: pipeline
    spec:
      ingressClassName: ingress
      rules:
      - host: mashibing.pipeline.com
        http:
          paths:
          - path: /
            pathType: Prefix
            backend:
              service:
                name: pipeline
                port:
                  number: 8081

##### 2.8.2 Harbor私服配置 #####

> 在尝试用kubernetes的yml文件启动pipeline服务时，会出现Kubernetes无法拉取镜像的问题，这里需要在kubernetes所在的Linux中配置Harbor服务信息，并且保证Kubernetes可以拉取Harbor上的镜像

1.  设置Master和Worker的私服地址信息  
    ![在这里插入图片描述][014f285b091e49f6b8fdaf6a21451bd7.png]
2.  在Kuboard上设置私服密文信息  
    ![在这里插入图片描述][4251792a2b074bfa87c37c20a805c904.png]

> 将上图复制好的指定执行，测试结果如下：

![在这里插入图片描述][3452761bfe68420c8d438a90c2d76b1f.png]

##### 2.8.3 测试使用效果 #####

> 执行kubectl命令，基于yml启动服务，并且基于部署后服务的提示信息以及Ingress的设置，直接访问

![在这里插入图片描述][bab86fa85bbe4a3fa5eb495bd39928a8.png]

##### 2.8.4 Jenkins远程调用 #####

1.  将pipeline.yml配置到GitLab中  
    ![在这里插入图片描述][1a877d2a3df64c7b9c6bd9e5b9e36a65.png]
2.  配置Jenkins目标服务器，可以将yml文件传输到k8s的Master上

![在这里插入图片描述][26b8e27c3eef459d9ea3183cf55750ba.png]

1.  修改Jenkinsfile，重新设置流水线任务脚本，并测试效果  
    ![在这里插入图片描述][5d8acb90dcac4d7a84d22b45189197b0.png]  
    ![在这里插入图片描述][e0fe0c7cb0784b7f9609702a71265c30.png]
2.  设置Jenkins无密码登录k8s-master

> 将Jenkins中公钥信息复制到k8s-master的~/.ssh/authorized\_keysz中，保证远程连接无密码

![在这里插入图片描述][afe1e16ee8d94038a2c2524a03b89fe5.png]  
5. 设置执行kubectl的脚本到Jenkinsfile  
![在这里插入图片描述][9d24d29dbf674aef95eca800f2c46da7.png]  
查看效果：  
![在这里插入图片描述][13f75aa93b394744a80cdc1aa3689bb8.png]

> 可以查看到yml文件是由变化的， 这样k8s就会重新加载

![在这里插入图片描述][d20e7a56e8ff4fdd86587b79610d801d.png]  
Ps：这种方式更适应与CD操作，将项目将基于某个版本部署到指定的目标服务器

#### 2.9 基于GitLab的WebHooks ####

> 实现一个自动化的CI（开发人员push代码到Git仓库之后，Jenkins会自动构建项目，将最新的提交点代码构建并进行打包部署）。这里区别于上面的CD，CD需要基于某个版本进行部署，而这里每次都是将最新的提交点集成到主干上并测试。

##### 2.9.1 WebHooks通知 #####

1.  开启Jenkins自动构建  
    ![在这里插入图片描述][0ed64282ae994e4c831cd69257d568c7.png]
2.  设置GitLab的Webhooks  
    ![在这里插入图片描述][8e70d1facd434b708701dc89941d19dc.png]
3.  关闭Jenkins的GitLab认证  
    ![在这里插入图片描述][7a3e6503fd6c4de19b9aab6fc9ae2d77.png]
4.  再次测试  
    ![在这里插入图片描述][2d978a289abc4d7a8d09e27cd83039d9.png]

`拓展：实现滚动更新`

> 因为pipeline没有改变时，每次不会重新加载，这样会导致Pod中的容器不会动态更新，这里需要使用kubectl的rollout restart命令滚动更新

![在这里插入图片描述][b49782ca839c4a60b5e3f0c6884f3a11.png]

[ce602ec2031348d481286a2f72dfb50d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/ed6d2154f59943aeaa16439b779eb09c.png
[452bdc4db9b048e4bdf86091f2211ff9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/a7dc89883bf44f129d5f1f6b3a2ab967.png
[2772a9e7c220461382114b7a93f12417.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c666f8e0e5164735915e58d5e56b34ae.png
[d00d48777e164eb5a3896addfcb916df.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d48478dcd49249c59edf355c5243fa16.png
[49389f4db784420dbdb6bd2956b419bf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8b29e02173b84975bf298e12eee76858.png
[cddfd4f36c0142da9e2a40c225bafaa7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/fa98809c8a004dcf9a10e92e950c0c00.png
[4867ea38bc6f44329b9f088325bf1842.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/761ed75c51564bd3af40b8904ab3c14c.png
[868d7c3cff7e4e119c6dc3b0ef4988f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/29c70f82d2dc402e97f774b767a39896.png
[504d30c49275421e9eb926297553028a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d16f94a730ef4fdb964c685358894ef7.png
[98fae69d9d3a48969553eeeeef1257d4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/7ca6a052e18f42f689d2f2cc941bb188.png
[3f90bceb79ea45518cd8c03242690048.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/e6439be2bb7b4b97ae407c990613d5e8.png
[c8e99b6cfbbd4216a9e9b6b2aa677725.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/a455f8ef97234a8ea209ba66764aad41.png
[83ccf0858f88454b906c1d1b1e1ab956.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/ba803285e8474fa8a55f102b0dca25b2.png
[c1ea70184d58472d84ceea2524691103.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/1ca00cf1b43a4981b2cf6a661b3d78c7.png
[7f61283a69a548ad8b528f77302de205.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/bfc4afff296145c3bbf1fdc0e2a4fb4a.png
[49e6f698b78041438403255ceeb124de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/3f8ac5a6f46945f681e0c417674c68c5.png
[42e02058302e4ac595d6e35866f09d18.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/80978fd4cfe24edca59daaca40a651f5.png
[1e878f5b128f4f1cb8a9ae5ce2e8bb73.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8b7dcff6ca1b423aae9713a1c1b148cc.png
[252efd0c6f8c4375a2f557ecbce0faf1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d2dfda7308a94fa0a1b3fcbe6f7b5b03.png
[b71ecbe3ad314a9f8aa1a1908044e9b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/14125241740841258d21a570607b141c.png
[5cb69f30f48d438f98092abaea3fe56e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c23635a87e2d4c1a99c9aa79396134ad.png
[2fb1d1d217bd441a803fe0d796b226b6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/66edea9cd0ed484587b6bc47c55a268f.png
[4f24fdbbbe0a42508ced457ccfc344d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/5cd8e0d4d38e499ba1dc660a32435da9.png
[99149edb11f5495b81f09c41fc7f2c18.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/ab524f92c0bb4201b3557bccb1c9133e.png
[114b786786c84031b8ebddbb3db757d4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/bba761f7d6e14925925bfc8be3af7898.png
[edf1b88a4064441099911a59ba562a61.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/30fa6fbad294494383975d9fe3a3cbf1.png
[fc27100f271f419aade922a500cf3811.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/54bdf682ea374cb7945b532f495e2d45.png
[348ba01375274a77a69eaaacc7700a91.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/48dc9c6fd8fa4a3b986b17d5366b0624.png
[1a2debd129464f5c8c2f453e7d7e2322.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c6bd7c0bc68b402fa1c19fc964209087.png
[3fd26e862bd2488d949a49f1aef34877.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/79869ec7fcee4bc8aae0f8b1f3c78726.png
[71560899b2204102b615a9aa54ad32e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/761ad95718674ef4892590eec8390360.png
[7b7a2da84cb04dfdbd051b1bb0498c19.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d0c469cc361f47ff8a5b4514693a00ce.png
[f3494db0fe964a8eae6c8cfdd2f0bf19.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/757c614b2aa647e7be3d76d640a897c9.png
[586ca9d84b794e73936fcdd0cd069e6f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/a60dffb06caf4e93ad7e6e0a448c778b.png
[aa0ced63a635438084671c0b71b7315f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/758a5412c077454b926f59463ec05d2b.png
[7c0ae3dc8962427f9cfb8e0349ba6022.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/49c9609a327d477aaed73b9693aba51c.png
[28353cf2ee0947dd9301e3b1bf98c4d1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/72f297ac8520437ea4c071fb4909a9d6.png
[b689b48951bc4b84803a2e2db2758f98.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/21210db0109f4a42b3068085f7e6ddce.png
[c2955c7fe4e349849343b2df98ff54c7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d995e57957154f9aae6f1c8b712342f7.png
[355d9b00e99844a1b3fddd1e2e93259c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/99a581bd0b9b47748f2d9c99f999f4d1.png
[b2b46f7c101e4ac6a6458fb912441b35.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/3d7ed0576a0d4dfa92e1e48b9f628189.png
[9b1431c1e967498c9aee9137bfe10a5a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8b215423f2af469ab5f5e527ae484c14.png
[6046022fc65942f5aea55599a0b8e023.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/54063d0cf0004249b6ae0ca7f540ed38.png
[aa6abbfc20054c22982336cdf4939d63.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/4fdef1646f38487c954bc46aef7e1ff3.png
[b5d112da1f224fc1b59f25c15fc8e622.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/680ef643a45f40f6bda0644be95b815d.png
[c6a6c1fb7d6e4dcb8cbd4d25eace2696.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/e4cc06b31f2e40399dc10efb6e539b2a.png
[3c0880e99f1341f1a11b7c8ce9e71bff.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/96158b711b8946aeb159caaddde7a198.png
[31abacd56fb84ca382de8b3c672918c9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/dc7dec9adc81403ca56cbce91191c285.png
[b982e875109647a586f2a5e5bf47842a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/b3656c83a3d244cfb92140aeef5b07dc.png
[7786533e88b546918145fe3b5ff94aef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/b02c3ba57fc34876836a14188111a22e.png
[2789e3c5042f4b31940cc389a6f6f50b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/029615131ee34b59b5926ea5de44c204.png
[74e43abc68dd4085aeeea04e40d66d2a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/178c82cf0cb14a9fa0a82a0869c600e0.png
[c9d1231266e349d9aedd514792565e0b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/0a0148268df24a069cf37050f173534e.png
[ade9122241ef4595b8f18d61a2f69bbb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/84380e09086745428cf97e92e550cb76.png
[492e49e2f8a14aeabafea266a669c1b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/08370443890243f6be5f6b6cd7ac5961.png
[a6f3d29c5ada49c089215e1e2d90fc98.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/e859ce83be3d4376a061d86bc3667138.png
[1e6cb4521f3d4deba9448985ec9def27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/749aeac3b9a841ac939e2ef270a5048a.png
[6e7fc07c4dbd402d8639634e9ce94dc5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/e3ab6b2b0a094097a4446b73ee0fa71e.png
[8651871e410c483fb2785ef6cf8c8883.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/2312bbe44b71405c9d42e2da7788d7c7.png
[b007349dac60465d9d83de87ffb0c02e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/224a9952f43c41aea9aad0134891e55e.png
[ce6a3e3b32c24e1f84444d1c6378ae9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/4bd5df6504a14d37b10dbffb56044810.png
[7c5095c59a9645ccbff7b4065eb3800b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/6b82e3d2f29f42a39bff7d62a864415b.png
[a4a89ca2ba064cd08309e9d3fb66053e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/74f9fab4d284450988c5819d66acd416.png
[25766311622c4023911ad1ff6aa0b260.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/7d2c95a769cd419ab5cad7892d0e0bd2.png
[44b7be3bb1f84a46a5db75a72bb5db49.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/862cd7e6e9f0476c8004d539ed777aba.png
[aedaddb21d6f4b60b7a7f2b6e39fffae.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/545a75a7c51a4d308af4009e67e043b2.png
[1109405bf9394b1e80796dd6790d555c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/48e5cc39e93d46d7a7f611280ffb8135.png
[b21d6b4398554819a4883d7977cd6c9a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/9872bc15a62b46358834272486d60828.png
[e5b6788dd2444cba942f2327e67c85f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/29c099cee71b4e519ae1262198c65f61.png
[cab5de9177b74a199ac251158da61ea7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/51d2fba27cca450b9c60dab358616166.png
[19bbe5dedce2454696cf8612fb5c8b29.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8e5f7e7457fa402aaec1135aadda836d.png
[3f08f466c56b444698c84365ea4869ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/f1441750f9054ca0a4590af14f8107a2.png
[78032a2f8e9542d59f72f987780ea2e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/6dc8dfaa89d2420e97cf0adb1b408fc6.png
[4f11a4a61aff42b88caec8bd8b9822c1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/92143dc10c784b80b22aefdc2d48d680.png
[4e54fa237b034ad7bf964632e6c86997.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/7e3139d7e09d408aa5dd89dd6e5190cb.png
[43f8473141614a3f91096e717f262217.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/731f6cdf85e1411e877c8ee21c5f7e1b.png
[19af6e251d6c4c0fbdb2d25b62d84c8d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8e7126f64a6a43e48cc262a3937a420d.png
[35a3da647c294e769fd97b482cf0886b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/2f5ba0a4d31b49be9e2cd357ebc8e233.png
[b883bff2d344429fb7ddc39265145b94.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/6f1e80f6ff694e069a5f321fb109400e.png
[30b8237103b940eb8eb7b3e870f008eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/ea8831a7b38244c0936f5c8e4c5b6003.png
[85e93182218c42f8b8de1b64ab97ffd7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/2583820267b64dcb9033db8a5129df40.png
[f4c791d6acf54d6e9aa9fa31846203c8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d7bba0f1c2ea48c79215f7326061ff56.png
[32de3227e8444ba68917e149315a5649.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/f88fbbee9d2941579a366a7f460607f8.png
[db83a646b7d34f55a101d9b111662f8b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/f05e10e8dd0b4ca9ae5b8be35c6ddbbd.png
[CIDR]: https://kuboard.cn/glossary/cidr.html
[4221ca22d0c142999bdcc3581c3fec3e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/a7c93699fd9c45f8aeec0cdb1c414d76.png
[aeae30f5ddeb4007a3e486cecfb56bf8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/f54505a8559342deb8eb612b7ff578fd.png
[0ffc83f4af2447e9a4b063567405698d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/82a805126fba4fb0af30fb599f23f25d.png
[448d4bd5e5c6484dac2dac3f66676e03.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/09f9f5c5ddeb405da46f48eb86b864e2.png
[f432afa1da1942ad906f1626c998f8c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/34db14280b5744749397e312c012e9dd.png
[dfaf34d094e942ceac965663ac12d672.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/a6b63bba362d442bbc69d0a6f6566f85.png
[fba7d9b0ba5c4ea68d56cfb6830f8588.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/3b3122bb3a724cff979858a41dbc4dfb.png
[5a224254cbfe4499a335ca6f7096013f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/5b7e682e341a40159416177722e4b46f.png
[c2950846a3494fac981122a20bf7fa46.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/171ecc9322064fccb4ccb5f00f43f9d9.png
[2cae2b724b724d4e9075c78de5518bf2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/9abdd8e69b8f4c04aa60d670152c9483.png
[27db6cc451f743af9669a2c2c30ed829.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/aea416a4043b4161ab285882c46b43d2.png
[9f95821ff02242f587dd5a02eb1d6bbe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/bc9331de5dc447fc9f01fc3e8acedeb9.png
[8ae4e556816747e4867be5152b36282b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/3120225f93924b01bbd9be14b15420cb.png
[183baeba1c8b404a9be59eb506b17c97.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/03fb38aa0908437789d0be45f72d532a.png
[946007c5d4b144f0a69d5a66d9098a81.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/236dc86aa36d40739cb5ab53e3780ca8.png
[6654f2f3630a440183e58dd2839f0153.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/307112f66ab4467cb2b8fab25e90c7c2.png
[86a5244e57b04f0d9298b3002e9e1306.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/30ddbde5e5354142b7e4aac6d93d24c1.png
[014f285b091e49f6b8fdaf6a21451bd7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/2c4ab6690c104d70aeb1e7efaebb8073.png
[4251792a2b074bfa87c37c20a805c904.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/4170bff112664d0a9136e2a1ca560551.png
[3452761bfe68420c8d438a90c2d76b1f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/f762b3dc3e104a01b7e8c1533f094078.png
[bab86fa85bbe4a3fa5eb495bd39928a8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/ffa05830c8b440bc9fb93648bf8d7a6f.png
[1a877d2a3df64c7b9c6bd9e5b9e36a65.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/b3a4cff2f5cd419e80490a4405b78f02.png
[26b8e27c3eef459d9ea3183cf55750ba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d30b777fdecb46d0911e09b5c4e49cd1.png
[5d8acb90dcac4d7a84d22b45189197b0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/e9faae1725b7490bb6d24831ea4d0bba.png
[e0fe0c7cb0784b7f9609702a71265c30.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/487922e4db4c465f8272ea81fb217067.png
[afe1e16ee8d94038a2c2524a03b89fe5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/7c8ddbfcba8f4901af50decaf3c4d11d.png
[9d24d29dbf674aef95eca800f2c46da7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/404e09787f34430894d195028001544e.png
[13f75aa93b394744a80cdc1aa3689bb8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/c232c274b92f40d181f90d0a7551c6a4.png
[d20e7a56e8ff4fdd86587b79610d801d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/2c858ed5bac845fcaa89ac0db908b47a.png
[0ed64282ae994e4c831cd69257d568c7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/16044dc608654382931ff4dc8b13b1be.png
[8e70d1facd434b708701dc89941d19dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/f4e03747b9154f7797ee7dd604ed0894.png
[7a3e6503fd6c4de19b9aab6fc9ae2d77.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/92a45921014e4794b94a405ba66798d9.png
[2d978a289abc4d7a8d09e27cd83039d9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/874d95bb0e5b415ebcfd2db2aefaab6a.png
[b49782ca839c4a60b5e3f0c6884f3a11.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/61abd4f8f624439691f110ffac011795.png