【业务功能115】微服务-springcloud-springboot-Kubernetes-k8s集群-Kubesphere实现DevOps流水线-CI/CD-SonarQube- Jenkins

曾经终败给现在 2024-03-03 09:07 60阅读 0赞

## 基于Kubesphere实现DevOps ##

## 一、DevOps介绍 ##

### 1.1 项目开发需要考虑的维度 ###

*  dev 怎么开发
 *  ops 怎么运维

> 参考项目链接：https://github.com/kubesphere/devops-maven-sample

### 1.2 DevOps是什么 ###

![在这里插入图片描述][40cae86b587e48f48f9b7e2464421cc0.png_pic_center]

## 二、CI/CD介绍 ##

![在这里插入图片描述][e7f95758c48d4446b79aef63da39e1a5.png_pic_center]

### 2.1 持续集成（Continuous Integration） ###

持续集成是指软件个人的部分向软件整体部分交付，频繁进行集成以便更快地发现其中错误。

CI需要具备这些：

*  全面的自动化测试

这是实践持续集成&持续部署的基础，同时，选择合适的自动化测试工具也很重要

*  灵活的基础设施

容器、虚拟机的存在让开发人员和QA人员不必再大费周张去做IT基础设施环境的准备

*  版本控制工具

如：Git、SNV、Gitlab等

*  自动化的构建和软件发布流程工具

如：Jenkins Gitlab Tekton等

*  反馈机制

如果构建/测试失败，可以快速地反馈到相关负责人，以尽快速度解决问题，实现软件开发稳定版本推出。

### 2.2 持续交付（Continuous Delivery ） ###

持续交付在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境的类生产环境中，持续交付优先于整个产品生命周期的软件部署，建立在高水平自动化持续集成之上。

*  快速发布

能够应对业务需求，并更快地实现软件价值，实现编码、测试、上线、交付的频繁迭代周期缩短，同时获得迅速反馈

*  高质量软件发布标准

整个交付过程标准化、可重复、可靠

*  整个交付过程进度可视化

方便团队成员了解项目成熟度

*  更先进的团队协作方式

从需求分析、产品的用户体验到交互设计、开发、测试、运维等角色密切协作，相比于传统的的开发模式，减少浪费

### 2.3 持续部署（Continuous Deployment） ###

持续部署是指当交付的代码通过评审之后，自动部署到生产环境中。

持续部署是持续交付的最高阶段。这就意味着，所有通过了一系列的自动化测试的发动都将自动部署到生产环境。它也可以被称为Continuous Release

持续部署主要好处是，可以相对独立地部署新的功能，并能快速地收集真实用户的反馈。

![在这里插入图片描述][6a32bef3c5c84183b93fb18c5f0c0706.png_pic_center]

## 三、KubeSphere DevOps凭证管理 ##

### 3.1 凭证介绍 ###

凭证是包含敏感信息的对象，例如用户名和密码、SSH 密钥和令牌 (Token)。当 KubeSphere DevOps 流水线运行时，会与外部环境中的对象进行交互，以执行一系列任务，包括拉取代码、推送和拉取镜像以及运行脚本等。此过程中需要提供相应的凭证，而这些凭证不会明文出现在流水线中。

具有必要权限的 DevOps 项目用户可以为 Jenkins 流水线配置凭证。用户在 DevOps 项目中添加或配置这些凭证后，便可以在 DevOps 项目中使用这些凭证与第三方应用程序进行交互。

目前，您可以在 DevOps 项目中创建以下 4 种类型的凭证：

*  **用户名和密码**：用户名和密码，可以作为单独的组件处理，或者作为用冒号分隔的字符串（格式为 `username:password`）处理，例如 GitHub、GitLab 和 Docker Hub 的帐户。
 *  **SSH 密钥**：带有私钥的用户名，SSH 公钥/私钥对。
 *  **访问令牌**：具有访问权限的令牌。
 *  **kubeconfig**：用于配置跨集群认证。如果选择此类型，将自动获取当前 Kubernetes 集群的 kubeconfig 文件内容，并自动填充在当前页面对话框中。

本教程演示如何在 DevOps 项目中创建和管理凭证。有关如何使用凭证的更多信息，请参见[使用 Jenkinsfile 创建流水线][Jenkinsfile]和[使用图形编辑面板创建流水线][Link 1]。

### 3.2 准备工作 ###

*  您已启用 [KubeSphere DevOps 系统][KubeSphere DevOps]。
 *  您需要有一个企业空间、一个 DevOps 项目和一个用户 (`project-regular`)，并已邀请此帐户至 DevOps 项目中且授予 `operator` 角色。如果尚未准备好，请参见[创建企业空间、项目、用户和角色][Link 2]。

### 3.3 创建凭证 ###

以 `project-regular` 身份登录 KubeSphere 控制台。进入您的 DevOps 项目，选择**凭证**，然后点击**创建**。

#### 3.3.1 创建 Docker Hub 凭证 ####

*  首先需要在Docker Hub官网注册账号，需要关联dockerhub上传拉做镜像取等

1.  在弹出的对话框中输入以下信息。
    
     *  **名称**：设置可以在流水线中使用的 ID，例如 `dockerhub-id`。
     *  **类型**：选择**用户名和密码**。
     *  **用户名**：您的 Docker Hub 帐户（即 Docker ID）。
     *  **密码/令牌**：您的 Docker Hub 密码。
     *  **描述信息**：凭证的简介。
2.  完成操作后点击**确定**。  
    ![在这里插入图片描述][a602011f9792415f89fa04ab095351c6.png_pic_center]

![在这里插入图片描述][46e64f94ca8f45e3bd7b489d62ab53c3.png_pic_center]  
![在这里插入图片描述][bf13c5fbcd334ed18b8936ac09a08e98.png_pic_center]

#### 3.3.2 创建 GitHub 凭证 ####

*  首先要注册github账号

同样地，按照上述相同步骤创建 GitHub 凭证。设置不同的**名称**（例如 `github-id`），**类型**同样选择**用户名和密码**。分别在**用户名**和 **密码/令牌**中输入您的 GitHub 用户名和令牌。

>  *  自 2021 年 8 月起，GitHub 要求使用基于令牌的身份验证，此处需要输入令牌，而非 GitHub 密码。关于如如何生成令牌，请参阅[创建个人访问令牌][Link 3]。
>  *  如果您的帐户或密码中包含任何特殊字符，例如 `@` 和 `$`，可能会因为无法识别而在流水线运行时导致错误。在这种情况下，您需要先在一些第三方网站（例如 [urlencoder][]）上对帐户或密码进行编码，然后将输出结果复制粘贴作为您的凭证信息。

![在这里插入图片描述][c4502b0fcf1d4a2087d195dd82d3dafd.png_pic_center]  
![在这里插入图片描述][20d083f9fe204121a0b9669fa6900a55.png_pic_center]

#### 3.3.3 创建 kubeconfig 凭证 ####

同样地，按照上述相同步骤创建 kubeconfig 凭证。设置不同的凭证 ID（例如 `demo-kubeconfig`）并选择 **kubeconfig**。

> 用于配置集群访问的文件称为 kubeconfig 文件。这是引用配置文件的通用方法。有关更多信息，请参见 [Kubernetes 官方文档][Kubernetes]。您可以创建 kubeconfig 凭证来访问当前 Kubernetes 集群，该凭证将在流水线中使用。您不需要更改该文件，因为 KubeSphere 会自动使用当前 Kubernetes 集群的 kubeconfig 填充该字段。访问其他集群时，您可能需要更改 kubeconfig。

![在这里插入图片描述][8629a0091f664e3f8b3cd8f3666988fa.png_pic_center]  
![在这里插入图片描述][e076395b23694484afa3369eb0ba4c92.png_pic_center]

#### 3.3.4 查看和管理凭证 ####

1.  凭证创建后，会在列表中显示。
2.  点击任意一个凭证，进入其详情页面，您可以查看帐户详情和与此凭证相关的所有事件。
3.  您也可以在此页面上编辑或删除凭证。请注意，编辑凭证时，KubeSphere 不会显示现有用户名或密码信息。如果输入新的用户名和密码，则前一个将被覆盖。

## 四、将SonarQube集成到流水线 ##

[SonarQube][] 是一种主流的代码质量持续检测工具。您可以将其用于代码库的静态和动态分析。SonarQube 集成到 KubeSphere 流水线后，如果在运行的流水线中检测到问题，您可以直接在仪表板上查看常见代码问题，例如 Bug 和漏洞。

### 4.1 准备工作 ###

您需要[启用 KubeSphere DevOps 系统][KubeSphere DevOps]。

### 4.2 安装 SonarQube 服务器 ###

要将 SonarQube 集成到您的流水线，必须先安装 SonarQube 服务器。

1.请先安装 Helm，以便后续使用该工具安装 SonarQube。例如，运行以下命令安装 Helm 3：

*  master节点运行

# curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash

2.查看helm版本

# helm version
    
    version.BuildInfo{
        Version:"v3.10.1", GitCommit:"9f88ccb6aee40b9a0535fcc7efea6055e1ef72c9", GitTreeState:"clean", GoVersion:"go1.18.7"}

3.执行以下命令安装 SonarQube 服务器

# helm upgrade --install sonarqube sonarqube --repo https://charts.kubesphere.io/main -n kubesphere-devops-system  --create-namespace --set service.type=NodePort

*  查看服务是否运行起来了：\# kubectl get pods -n kubesphere-devops-system

4.您会获取以下提示内容

[root@k8s-master01 ~]# kubectl get svc -n kubesphere-devops-system
    NAME                            TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)          AGE
    devops-apiserver                ClusterIP   10.96.2.56    <none>        9090/TCP         5d16h
    devops-jenkins                  NodePort    10.96.1.111   <none>        80:30180/TCP     5d16h
    devops-jenkins-agent            ClusterIP   10.96.2.94    <none>        50000/TCP        5d16h
    s2ioperator-metrics-service     ClusterIP   10.96.2.41    <none>        8080/TCP         5d16h
    s2ioperator-trigger-service     ClusterIP   10.96.2.217   <none>        8081/TCP         5d16h
    sonarqube-postgresql            ClusterIP   10.96.2.172   <none>        5432/TCP         3m38s
    sonarqube-postgresql-headless   ClusterIP   None          <none>        5432/TCP         3m38s
    sonarqube-sonarqube             NodePort    10.96.0.120   <none>        9000:30058/TCP   3m38s
    webhook-server-service          ClusterIP   10.96.3.74    <none>        443/TCP          5d16h

### 4.3 获取 SonarQube 控制台地址 ###

1.执行以下命令以获取 SonarQube NodePort

# export NODE_PORT=$(kubectl get --namespace kubesphere-devops-system -o jsonpath="{.spec.ports[0].nodePort}" services sonarqube-sonarqube)

# export NODE_IP=$(kubectl get nodes --namespace kubesphere-devops-system -o jsonpath="{.items[0].status.addresses[0].address}")

# echo http://$NODE_IP:$NODE_PORT

2.您可以获得如下输出（本示例中端口号为 `30058`，可能与您的端口号不同）

http://192.168.10.141:30058

### 4.4 配置 SonarQube 服务器 ###

#### 4.4.1 访问 SonarQube 控制台 ####

1.执行以下命令查看 SonarQube 的状态。请注意，只有在 SonarQube 启动并运行后才能访问 SonarQube 控制台。

[root@k8s-master01 ~]# kubectl get pods -n kubesphere-devops-system
    NAME                                  READY   STATUS      RESTARTS         AGE
    sonarqube-postgresql-0                1/1     Running     0                37m
    sonarqube-sonarqube-df8d79d5c-hxxbx   1/1     Running     10 (2m34s ago)   37m

2.在浏览器中访问 SonarQube 控制台 `http://<Node IP>:<NodePort>`。

![在这里插入图片描述][28be3f5dbf714754b8cdb8fb1a1a321e.png_pic_center]

3.点击右上角的 **Log in**，然后使用默认帐户 `admin/admin` 登录。

> 取决于您的实例的部署位置，您可能需要设置必要的端口转发规则，并在您的安全组中放行该端口，以便访问 SonarQube。

![在这里插入图片描述][edc2cec6500d48d89088d4b66112f67d.png_pic_center]

#### 4.4.2 创建 SonarQube 管理员令牌 (Token) ####

1.点击右上角字母 **A**，然后从菜单中选择 **My Account** 以转到 **Profile** 页面。

![在这里插入图片描述][b5f069126f0d4024b6721a96d6917e72.png_pic_center]  
![在这里插入图片描述][acdaf39f1676473c969438dc8179062a.png_pic_center]

2.点击 **Security** 并输入令牌名称，例如 `kubesphere`。

3.点击 **Generate** 并复制此令牌。  
![在这里插入图片描述][659a4035ccad43ba93f83192681a65f8.png_pic_center]

c3ee79a4c4b25bd03867db735dc439e3bb726426

> 如提示所示，您无法再次查看此令牌，因此请确保复制成功。

#### 4.4.3 创建 Webhook 服务器 ####

1.执行以下命令获取 SonarQube Webhook 的地址

# export NODE_PORT=$(kubectl get --namespace kubesphere-devops-system -o jsonpath="{.spec.ports[0].nodePort}" services devops-jenkins)

# export NODE_IP=$(kubectl get nodes --namespace kubesphere-devops-system -o jsonpath="{.items[0].status.addresses[0].address}")

# echo http://$NODE_IP:$NODE_PORT/sonarqube-webhook/

2.输出结果

http://192.168.10.141:30180/sonarqube-webhook/

3.依次点击 **Administration**、**Configuration** 和 **Webhooks** 创建一个 Webhook

![在这里插入图片描述][7e577cd304194abebb1d798ee2b2c785.png_pic_center]

4.点击 **Create**

![在这里插入图片描述][55d7b48abc0d40eb95d3c6a89e4d6477.png_pic_center]

5.在弹出的对话框中输入 **Name** 和 **Jenkins Console URL**（即 SonarQube Webhook 地址）。点击 **Create** 完成操作。  
![在这里插入图片描述][462e6d88c7a74e139839691d20c0e8d1.png_pic_center]  
![在这里插入图片描述][2a8d40b38dde4e068f43b77fb5df5fdb.png_pic_center]

#### 4.4.4 将 SonarQube 配置添加到 ks-installer ####

1.执行以下命令编辑 `ks-installer`

# kubectl edit cc -n kubesphere-system ks-installer

2.搜寻至 `devops`。添加字段 `sonarqube` 并在其下方指定 `externalSonarUrl` 和 `externalSonarToken`。

devops:
        enabled: true
        jenkinsJavaOpts_MaxRAM: 2g
        jenkinsJavaOpts_Xms: 512m
        jenkinsJavaOpts_Xmx: 512m
        jenkinsMemoryLim: 2Gi
        jenkinsMemoryReq: 1500Mi
        jenkinsVolumeSize: 8Gi
        sonarqube:
          externalSonarUrl: http://192.168.10.141:30058
          externalSonarToken: c3ee79a4c4b25bd03867db735dc439e3bb726426

3.完成操作后保存此文件

#### 4.4.5 将 SonarQube 服务器添加至 Jenkins ####

1.执行以下命令获取 Jenkins 的地址

# export NODE_PORT=$(kubectl get --namespace kubesphere-devops-system -o jsonpath="{.spec.ports[0].nodePort}" services devops-jenkins)

# export NODE_IP=$(kubectl get nodes --namespace kubesphere-devops-system -o jsonpath="{.items[0].status.addresses[0].address}")

# echo http://$NODE_IP:$NODE_PORT

2.可以获得以下输出，获取 Jenkins 的端口号

http://192.168.10.141:30180

3.请使用地址 `http://<Node IP>:30180` 访问 Jenkins。安装 KubeSphere 时，默认情况下也会安装 Jenkins 仪表板。此外，Jenkins 还配置有 KubeSphere LDAP，这意味着您可以直接使用 KubeSphere 帐户（例如 `admin/P@88w0rd`）登录 Jenkins。有关配置 Jenkins 的更多信息，请参见 [Jenkins 系统设置][Jenkins]。

> 取决于您的实例的部署位置，您可能需要设置必要的端口转发规则，并在您的安全组中放行端口 `30180`，以便访问 Jenkins。

![在这里插入图片描述][3923bbca526f4b53bb95c28c8fa5f94b.png_pic_center]

4.可以前往**系统管理**下的 **Manage Credentials** 并点击 **Stores scoped to Jenkins** 下的 **Jenkins**，再点击**全局凭据 (unrestricted)**，然后点击左侧导航栏的**添加凭据**，参考上方第二张截图用 SonarQube 管理员令牌添加凭证。添加凭证后，从 **Server authentication token** 旁边的下拉列表中选择该凭证。  
![在这里插入图片描述][a09680b063d94eb69a31e15142a6f741.png_pic_center]  
![在这里插入图片描述][3ddda5fd569646eebe34a0780bacee5e.png_pic_center]

![在这里插入图片描述][29770fe8121543d8b3e0a6cd594cd8a1.png_pic_center]  
![在这里插入图片描述][312d99c602ce4ad88cfc5d09d1e3cc70.png_pic_center]  
![在这里插入图片描述][1bda44e9f9f14d819e19c59c8df279e7.png_pic_center]

![在这里插入图片描述][c3aca93403644cf29ff44edc888690d2.png_pic_center]  
![在这里插入图片描述][15659cd0527f411295d0941a6623f9a3.png_pic_center]

5.点击左侧导航栏中的**系统管理**

![在这里插入图片描述][c14dfc3be1eb43efaae5d6fdf5913ff5.png_pic_center]

6.向下翻页找到并点击**系统配置**

6.搜寻到**SonarQube Server**,然后点击Add SonarQube

![在这里插入图片描述][0a1b9605a8ae46ef8faff7a8c1a992bf.png_pic_center]

7.输入 **Name** 和 **Server URL** (`http://<Node IP>:<NodePort>`)。点击**添加**，选择 **Jenkins**，然后在弹出的对话框中用 SonarQube 管理员令牌创建凭证（如下方第二张截图所示）。创建凭证后，从 **Server authentication token** 旁边的下拉列表中选择该凭证。点击**应用**完成操作。

![在这里插入图片描述][4c2b85c1de364a109d1fbe28efad65b3.png_pic_center]

#### 4.4.6 将 sonarqubeURL 添加到 KubeSphere 控制台 ####

您需要指定 `sonarqubeURL`，以便可以直接从 KubeSphere 控制台访问 SonarQube

1.执行以下命令

# kubectl edit  cm -n kubesphere-system  ks-console-config

2.搜寻到 `data.client.enableKubeConfig`，在下方添加 `devops` 字段并指定 `sonarqubeURL`

apiVersion: v1
    data:
      local_config.yaml: |
        server:
          http:
            hostname: localhost
            port: 8000
            static:
              production:
                /public: server/public
                /assets: dist/assets
                /dist: dist
          redis:
            port: 6379
            host: redis.kubesphere-system.svc
          redisTimeout: 5000
          sessionTimeout: 7200000
        client:
          version:
            kubesphere: v3.1.0
            kubernetes: v1.24.0
            openpitrix: v3.1.0
          enableKubeConfig: true
          devops: 手动添加
            sonarqubeURL: http://192.168.10.141:30058
        defaultClusterName: default

3.保存该文件

#### 4.4.7 重启服务 ####

# kubectl -n kubesphere-devops-system rollout restart deploy devops-apiserver

# kubectl -n kubesphere-system rollout restart deploy ks-console

#### 4.4.8 为新项目创建 SonarQube Token ####

需要一个 SonarQube 令牌，以便您的流水线可以在运行时与 SonarQube 通信。

1.在 SonarQube 控制台上，点击 **Create new project**。

![在这里插入图片描述][7527e34d80724482813858cb2e9e1b8c.png_pic_center]  
![在这里插入图片描述][8f1322be2029447691715c1515211f13.png_pic_center]  
![在这里插入图片描述][d9bf8dd9bf0144358175704c59bcf76d.png_pic_center]  
![在这里插入图片描述][16f1121c55cf484ab1512f1715495ea7.png_pic_center]  
![在这里插入图片描述][067fe50cdb084e18a2c26fba98caaa75.png_pic_center]

4c5c650e18a80f699d5301773230773ad6e17924

2.创建令牌后，点击 **Continue**

3.分别选择 **Java** 和 **Maven**。

> 复制下图所示绿色框中的序列号，如果要在流水线中使用，则需要在[凭证][Link 4]中添加此序列号。

![在这里插入图片描述][88925754d72f4661b46d1a2f4e34b332.png_pic_center]![在这里插入图片描述][f1c60daa139e4fde849bb5c6fac94b1c.png_pic_center]

mvn sonar:sonar \
      -Dsonar.projectKey=java-demo \
      -Dsonar.host.url=http://192.168.10.141:30058 \
      -Dsonar.login=4c5c650e18a80f699d5301773230773ad6e17924

## 五、为 KubeSphere 流水线设置电子邮件服务器 ##

内置 Jenkins 无法与平台通知系统共享相同的电子邮件配置。因此，您需要单独为 KubeSphere DevOps 流水线配置电子邮件服务器设置。

### 5.1 准备工作 ###

*  您需要启用 [KubeSphere DevOps 系统][KubeSphere DevOps]。
 *  您需要一个具有**集群管理**权限的帐户。例如，您可以直接以 `admin` 身份登录控制台或者创建具有该权限的新角色并将该角色分配给一个用户。

### 5.2 设置电子邮件服务器 ###

1.点击左上角的**平台管理**，然后选择**集群管理**。

2.如果您已经启用[多集群功能][Link 5]并已导入成员集群，那么您可以选择一个特定集群以查看其节点。如果尚未启用该功能，请直接参考下一步。

3.转到**应用负载**下的**工作负载**，然后从下拉列表中选择 **kubesphere-devops-system** 项目。点击 `devops-jenkins` 右侧的 ![img][] 并选择**编辑 YAML** 以编辑其 YAML 配置文件。  
![在这里插入图片描述][aa46ea8c65974a809b31cd11ea2223a5.png_pic_center]

4.向下滚动到下图所示的需要指定的字段。完成修改后，点击**确定**以保存。

> 在 `devops-jenkins` 部署 (Deployment) 中修改电子邮件服务器后，它会重新启动。因此，DevOps 系统将在几分钟内不可用，请在适当的时候进行此类修改。

![在这里插入图片描述][95bea2a5670c4048b7d44ea70d168030.png_pic_center]

<table> 
 <thead> 
  <tr> 
   <th align="left">环境变量名称</th> 
   <th align="left">描述信息</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">EMAIL_SMTP_HOST</td> 
   <td align="left">SMTP 服务器地址</td> 
  </tr> 
  <tr> 
   <td align="left">EMAIL_SMTP_PORT</td> 
   <td align="left">SMTP 服务器端口（如：25）</td> 
  </tr> 
  <tr> 
   <td align="left">EMAIL_FROM_ADDR</td> 
   <td align="left">电子邮件发件人地址</td> 
  </tr> 
  <tr> 
   <td align="left">EMAIL_FROM_NAME</td> 
   <td align="left">电子邮件发件人姓名</td> 
  </tr> 
  <tr> 
   <td align="left">EMAIL_FROM_PASS</td> 
   <td align="left">电子邮件发件人密码</td> 
  </tr> 
  <tr> 
   <td align="left">EMAIL_USE_SSL</td> 
   <td align="left">是否启用 SSL 配置</td> 
  </tr> 
 </tbody> 
</table>

实际配置：

![在这里插入图片描述][0fcc189f89324da1a6874d1ae176de5d.png_pic_center]  
![在这里插入图片描述][fe3ecc1457da4308891ec8cc27c34f40.png_pic_center]

## 六、使用图形编辑面板创建流水线 ##

KubeSphere 中的图形编辑面板包含用于 Jenkins [阶段 (Stage)][_Stage] 和[步骤 (Step)][_Step] 的所有必要操作。您可以直接在交互式面板上定义这些阶段和步骤，无需创建任何 Jenkinsfile。

本教程演示如何在 KubeSphere 中使用图形编辑面板创建流水线。KubeSphere 在整个过程中将根据您在编辑面板上的设置自动生成 Jenkinsfile，您无需手动创建 Jenkinsfile。待流水线成功运行，它会相应地在您的开发环境中创建一个部署 (Deployment) 和一个服务 (Service)，并将镜像推送至 Docker Hub。

### 6.1 准备工作 ###

*  您需要[启用 KubeSphere DevOps 系统][KubeSphere DevOps]。
 *  您需要有一个 [Docker Hub][] 帐户。
 *  您需要创建一个企业空间、一个 DevOps 项目和一个用户 (`project-regular`)，必须邀请该用户至 DevOps 项目中并赋予 `operator` 角色。如果尚未创建，请参见[创建企业空间、项目、用户和角色][Link 2]。
 *  设置 CI 专用节点来运行流水线（可选）。有关更多信息，请参见[为缓存依赖项设置 CI 节点][CI]。
 *  配置您的电子邮件服务器用于接收流水线通知（可选）。有关更多信息，请参见[为 KubeSphere 流水线设置电子邮件服务器][KubeSphere]。
 *  配置 SonarQube 将代码分析纳入流水线中（可选）。有关更多信息，请参见[将 SonarQube 集成到流水线][SonarQube 1]。

### 6.2 流水线概述 ###

本示例流水线包括以下六个阶段。

![在这里插入图片描述][4238870202f84749a8803e9122cf40f2.png_pic_center]

*  **阶段 1：Checkout SCM**：从 GitHub 仓库拉取源代码。
 *  **阶段 2：单元测试**：待该测试通过后才会进行下一阶段。
 *  **阶段 3：代码分析**：配置 SonarQube 用于静态代码分析。
 *  **阶段 4：构建并推送**：构建镜像并附上标签 `snapshot-$BUILD_NUMBER` 推送至 Docker Hub，其中 `$BUILD_NUMBER` 是流水线活动列表中的记录的序列号。
 *  **阶段 5：制品**：生成一个制品（JAR 文件包）并保存。
 *  **阶段 6：部署至开发环境**：在开发环境中创建一个部署和一个服务。该阶段需要进行审核，部署成功运行后，会发送电子邮件通知。

### 6.3 流水线设置 ###

#### 6.3.1 创建凭证 ####

1.以 `project-regular` 身份登录 KubeSphere 控制台。转到您的 DevOps 项目，在 **DevOps 项目设置**下的**凭证**页面创建以下凭证。有关如何创建凭证的更多信息，请参见[凭证管理][Link 6]。

> 如果您的帐户或密码中有任何特殊字符，例如 `@` 和 `$`，可能会因为无法识别而在流水线运行时导致错误。在这种情况下，您需要先在一些第三方网站（例如 [urlencoder][]）上对帐户或密码进行编码，然后将输出结果复制粘贴作为您的凭证信息。

<table> 
 <thead> 
  <tr> 
   <th align="left">凭证 ID</th> 
   <th align="left">类型</th> 
   <th align="left">用途</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">dockerhub-id</td> 
   <td align="left">用户名和密码</td> 
   <td align="left">Docker Hub</td> 
  </tr> 
  <tr> 
   <td align="left">demo-kubeconfig</td> 
   <td align="left">kubeconfig</td> 
   <td align="left">Kubernetes</td> 
  </tr> 
 </tbody> 
</table>

2.您还需要为 SonarQube 创建一个凭证 ID (`sonar-token`)，用于上述的阶段 3（代码分析）。请参阅[为新项目创建 SonarQube 令牌 (Token)][SonarQube _ _Token]，在**访问令牌**类型的凭证的**令牌**字段中输入 SonarQube 令牌。点击**确定**完成操作。

![在这里插入图片描述][ba613b68641d4d15adfc8fbf3e657e3d.png_pic_center]![在这里插入图片描述][2cb70266b6b448f68f6d58102afb241a.png_pic_center]  
![在这里插入图片描述][f8bd005c348c405cad192fe1faf8088d.png_pic_center]

3.你在列表中可以看到4个凭证

#### 6.3.2 创建项目 ####

在本教程中，示例流水线会将 [sample][] 应用部署至一个项目。因此，您必须先创建一个项目（例如 `kubesphere-sample-dev`）。待流水线成功运行，会在该项目中自动创建该应用的部署和服务。

您可以使用 `project-admin` 帐户创建项目。此外，该用户也是 CI/CD 流水线的审核员。请确保将 `project-regular` 帐户邀请至该项目并授予 `operator` 角色。有关更多信息，请参见[创建企业空间、项目、用户和角色][Link 2]。

#### 6.3.3 创建流水线 ####

1.请确保以 `project-regular` 身份登录 KubeSphere 控制台，转到您的 DevOps 项目。在**流水线**页面点击**创建**。

2.在弹出的对话框中，将它命名为 `graphical-pipeline`，点击**下一步**。

3.在**高级设置**页面，点击**添加**，添加以下三个字符串参数。这些参数将用于流水线的 Docker 命令。添加完成后，点击**创建**。

<table> 
 <thead> 
  <tr> 
   <th align="left">参数类型</th> 
   <th align="left">名称</th> 
   <th align="left">值</th> 
   <th align="left">描述信息</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">字符串</td> 
   <td align="left">REGISTRY</td> 
   <td align="left"><code>docker.io</code></td> 
   <td align="left">镜像仓库地址。本示例使用 <code>docker.io</code>。</td> 
  </tr> 
  <tr> 
   <td align="left">字符串</td> 
   <td align="left">DOCKERHUB_NAMESPACE</td> 
   <td align="left">Docker ID</td> 
   <td align="left">您的 Docker Hub 帐户或该帐户下的组织名称。</td> 
  </tr> 
  <tr> 
   <td align="left">字符串</td> 
   <td align="left">APP_NAME</td> 
   <td align="left"><code>devops-sample</code></td> 
   <td align="left">应用名称。</td> 
  </tr> 
 </tbody> 
</table>

> 有关其他字段，请直接使用默认值或者参考[流水线设置][Link 7]以自定义配置。

4.创建的流水线会显示在列表中

![在这里插入图片描述][24f56ae76b9344308ec2e24a88b61aa2.png_pic_center]

#### 6.3.4 编辑流水线 ####

*  点击流水线进入其详情页面。要使用图形编辑面板，请点击**任务状态**选项卡下的**编辑流水线**。在弹出的对话框中，点击**自定义流水线**。该流水线包括六个阶段，请按照以下步骤设置每个阶段。
 *  您也可以点击**持续集成 (CI)** 和**持续集成&交付 (CI/CD)** 来使用 KubeSphere 提供的[内置流水线模板][Link 8]。  
    ![在这里插入图片描述][d77d653e3b894715af9d989a1dacc3c4.png_pic_center]

> 流水线详情页面会显示**同步状态**，它是 KubeSphere 和 Jenkins 之间的同步结果。若同步成功，您会看到**成功**图标。您也可以点击**编辑 Jenkinsfile** 手动为流水线创建一个 Jenkinsfile。

##### 6.3.4.1 阶段 1：拉取源代码 (Checkout SCM) #####

图形编辑面板包括两个区域：左侧的**画布**和右侧的**内容**。它会根据您对不同阶段和步骤的配置自动生成一个 Jenkinsfile，为开发者提供更加用户友好的操作体验。

> 流水线包括[声明式流水线][Link 9]和[脚本化流水线][Link 10]。目前，您可以使用该面板创建声明式流水线。有关流水线语法的更多信息，请参见 [Jenkins 文档][Jenkins 1]。

1.在图形编辑面板上，从**类型**下拉列表中选择 **node**，从 **Label** 下拉列表中选择 **maven**。  
![在这里插入图片描述][24dda9541c6045c08dc78680e2fa32d4.png_pic_center]

> `agent` 用于定义执行环境。`agent` 指令指定 Jenkins 执行流水线的位置和方式。有关更多信息，请参见[选择 Jenkins Agent][Jenkins Agent]。

2.请点击左侧的加号图标来添加阶段。点击**添加步骤**上方的文本框，然后在右侧的**名称**字段中为该阶段设置名称（例如 `Checkout SCM`）。

![在这里插入图片描述][eacd75312714441a85a63f45cb42a313.png_pic_center]

3.点击**添加步骤**。在列表中选择 **git**，以从 GitHub 拉取示例代码。在弹出的对话框中，填写必需的字段。点击**确定**完成操作。

*  **URL**：输入 GitHub 仓库地址 `https://github.com/kubesphere/devops-maven-sample.git`。请注意，这里是示例地址，您需要使用您自己的仓库地址。
 *  **凭证 ID**：本教程中无需输入凭证 ID。
 *  **分支**：如果您将其留空，则默认为 master 分支。请输入 `sonarqube`，或者如果您不需要代码分析阶段，请将其留空。

![在这里插入图片描述][8eaf3233bba74a8bb07568703ce0bbac.png_pic_center]

https://github.com/nextgomsb/devops-maven-sample.git

**后续执行过程中有问题时，可以尝试修改容器基础镜像**

![在这里插入图片描述][6c99262e6de14868b597ce306ceec07c.png_pic_center]

**创建流水线**

![在这里插入图片描述][44147ee3aafa4a7b8281ca856536711a.png_pic_center]  
![在这里插入图片描述][58a1c8f427734e2299bb9a8be1f0e532.png_pic_center]

4.第一阶段设置完成

##### 6.3.4.2 阶段 2：单元测试 #####

1.点击阶段 1 右侧的加号图标添加新的阶段，以在容器中执行单元测试。将它命名为 `Unit Test`。

2.点击**添加步骤**，在列表中选择**指定容器**。将其命名为 `maven` 然后点击**确定**。

3.点击**添加嵌套步骤**，在 `maven` 容器下添加一个嵌套步骤。在列表中选择 **shell** 并在命令行中输入以下命令。点击**确定**保存操作。

![在这里插入图片描述][fd2d02e0ed4a44a6ab7496fc5d405050.png_pic_center]

![在这里插入图片描述][faf2cfd24fe64e928f2c2dede604e6cd.png_pic_center]

mvn clean package

> 您可以在图形编辑面板上指定在给定阶段指令中执行的一系列[步骤][Link 11]。

##### 6.3.4.3 阶段 3：代码分析（可选） #####

本阶段使用 SonarQube 来测试您的代码。如果您不需要代码分析，可以跳过该阶段。

1.点击 `Unit Test` 阶段右侧的加号图标添加一个阶段，以在容器中进行 SonarQube 代码分析。将它命名为 `Code Analysis`。

2.在 **Code Analysis** 中，点击**任务**下的**添加步骤**，选择**指定容器**。将其命名为 `maven` 然后点击**确定**。

3.点击 `maven` 容器下的**添加嵌套步骤**，以添加一个嵌套步骤。点击**添加凭证**并从**凭证 ID** 列表中选择 SonarQube 令牌 (`sonar-token`)。在**文本变量**中输入 `SONAR_TOKEN`，然后点击**确定**。

4.在**添加凭证**步骤下，点击**添加嵌套步骤**为其添加一个嵌套步骤。

![在这里插入图片描述][837995c2fe8543f7ac1604b6f67807f1.png_pic_center]

5.点击 **Sonarqube 配置**，在弹出的对话框中保持默认名称 `sonar` 不变，点击**确定**保存操作

6.在 **Sonarqube 配置**步骤下，点击**添加嵌套步骤**为其添加一个嵌套步骤。

7.点击 **shell** 并在命令行中输入以下命令，用于 sonarqube 分支和认证，点击**确定**完成操作。

mvn sonar:sonar -Dsonar.login=$SONAR_TOKEN

8.点击**指定容器**步骤下的**添加嵌套步骤**（第三个），选择**超时**。在时间中输入 `1` 并将单位选择为**小时**，点击**确定**完成操作。

![在这里插入图片描述][58e272014087456f9e0a4309ee910853.png_pic_center]

9.点击**超时**步骤下的**添加嵌套步骤**，选择**代码质量检查 (SonarQube)**。在弹出的对话框中选择**检查通过后开始后续任务**。点击**确定**保存操作。

##### 6.3.4.4 阶段 4：构建并推送镜像 #####

点击前一个阶段右侧的加号图标添加一个新的阶段，以构建并推送镜像至 Docker Hub。将其命名为 `Build and Push`。

2.点击**任务**下的**添加步骤**，选择**指定容器**，将其命名为 `maven`，然后点击**确定**。

3.点击 `maven` 容器下的**添加嵌套步骤**添加一个嵌套步骤。在列表中选择 **shell** 并在弹出窗口中输入以下命令，点击**确定**完成操作。

mvn -Dmaven.test.skip=true clean package

4.再次点击**添加嵌套步骤**，选择 **shell**。在命令行中输入以下命令，以根据 [Dockerfile][] 构建 Docker 镜像。点击**确定**确认操作。

> 请勿遗漏命令末尾的点 `.`

docker build -f Dockerfile-online -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:SNAPSHOT-$BUILD_NUMBER .

*  这里构建的镜像文件格如果是第一次即为： SNAPSHOT-1，第二次则是SNAPSHOT-2
 *  注意如果构建失败，把可以SNAPSHOT- 改成 v

docker build -f Dockerfile-online -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:v$BUILD_NUMBER .

5.再次点击**添加嵌套步骤**，选择**添加凭证**。在弹出的对话框中填写以下字段，点击**确定**确认操作。

*  **凭证名称**：选择您创建的 Docker Hub 凭证，例如 `dockerhub-id`。
 *  **密码变量**：输入 `DOCKER_PASSWORD`。
 *  **用户名变量**：输入 `DOCKER_USERNAME`。

> 出于安全原因，帐户信息在脚本中显示为变量。

6.在**添加凭证**步骤中点击**添加嵌套步骤**（第一个）。选择 **shell** 并在弹出窗口中输入以下命令，用于登录 Docker Hub。点击**确定**确认操作。

echo "$DOCKER_PASSWORD" | docker login $REGISTRY -u "$DOCKER_USERNAME" --password-stdin

7.在**添加凭证**步骤中点击**添加嵌套步骤**。选择 **shell** 并输入以下命令，将 SNAPSHOT 镜像推送至 Docker Hub。点击**确定**完成操作。

docker push $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:SNAPSHOT-$BUILD_NUMBER

*  注意如果构建失败，把可以SNAPSHOT- 改成 v

docker build -f Dockerfile-online -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:v$BUILD_NUMBER .

##### 6.3.4.5 阶段 5：生成制品 #####

1.点击 **Build and Push** 阶段右侧的加号图标添加一个新的阶段，以保存制品，将其命名为 `Artifacts`。本示例使用 JAR 文件包。

2.选中 **Artifacts** 阶段，点击**任务**下的**添加步骤**，选择**保存制品**。在弹出的对话框中输入 `target/*.jar`，用于设置 Jenkins 中制品的保存路径。点击**确定**完成操作。

target/*.jar

##### 6.3.4.6 阶段 6：部署至开发环境 #####

1.点击 **Artifacts** 阶段右侧的加号图标添加最后一个阶段，将其命名为 `Deploy to Dev`。该阶段用于将资源部署至您的开发环境（即 `kubesphere-sample-dev` 项目）。

2.点击 **Deploy to Dev** 阶段下的**添加步骤**，在列表中选择**审核**，然后在**消息**字段中填入 `@project-admin`，即 `project-admin` 帐户在流水线运行到该阶段时会进行审核。点击**确定**保存操作。

> 在 KubeSphere 3.2.x 中，能够运行流水线的帐户也能够继续或终止该流水线。此外，流水线创建者、拥有该项目管理员角色的用户或者您指定的帐户也有权限继续或终止流水线。

3.再次点击 **Deploy to Dev** 阶段下的**添加步骤**。在列表中选择**指定容器**，将其命名为 `maven` 然后点击**确定**。

4.点击 `maven` 容器步骤下的**添加嵌套步骤**。在列表中选择**添加凭证**，在弹出的对话框中填写以下字段，然后点击**确定**。

*  凭证名称：选择您创建的 kubeconfig 凭证，例如 `demo-kubeconfig`。
 *  kubeconfig 变量：输入 `KUBECONFIG_CONTENT`。

5.点击**添加凭证**步骤下的**添加嵌套步骤**。在列表中选择 **shell**，在弹出的对话框中输入以下命令，然后点击**确定**。

mkdir ~/.kube
    echo "$KUBECONFIG_CONTENT" > ~/.kube/config
    envsubst < deploy/dev-ol/devops-sample-svc.yaml | kubectl apply -f -
    envsubst < deploy/dev-ol/devops-sample.yaml | kubectl apply -f -

*  注意：devops-sample.yaml中的镜像值要与前面配置的一致

spec.container.image: $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:v$BUILD_NUMBER

6.如果您想在流水线成功运行时接收电子邮件通知，请点击**添加步骤**，选择**邮件**，以添加电子邮件信息。请注意，配置电子邮件服务器是可选操作，如果您跳过该步骤，依然可以运行流水线。

7.待您完成上述步骤，请在右下角点击**保存**。随后，您可以看到该流水线有完整的工作流，并且每个阶段也清晰列示。当您用图形编辑面板定义流水线时，KubeSphere 会自动创建相应的 Jenkinsfile。点击**编辑 Jenkinsfile** 查看该 Jenkinsfile。

> 在**流水线**页面，您可以点击该流水线右侧的 ![img][img 1]，然后选择**复制**来创建该流水线的副本。如果您需要同时运行多个不包含多分支的流水线，您可以全部选中这些流水线，然后点击**运行**来批量运行它们。

### 6.4 运行流水线 ###

1.您需要手动运行使用图形编辑面板创建的流水线。点击**运行**，您可以在弹出的对话框中看到步骤 3 中已定义的三个字符串参数。点击**确定**来运行流水线。

2.要查看流水线的状态，请转到**运行记录**选项卡，点击您想查看的记录。

3.稍等片刻，流水线如果成功运行，则会在 **Deploy to Dev** 阶段停止。`project-admin` 作为流水线的审核员，需要进行审批，然后资源才会部署至开发环境。

### 6.5 下载制品 ###

点击**制品**选项卡，然后点击右侧的图标下载该制品。

### 6.6 查看代码分析结果 ###

在**代码检查**页面，可以查看由 SonarQube 提供的本示例流水线的代码分析结果。如果您没有事先配置 SonarQube，则该部分不可用。有关更多信息，请参见[将 SonarQube 集成到流水线][SonarQube 1]。

![在这里插入图片描述][b37bb58d51134065a26f9e3e2437802a.png_pic_center]

### 6.7 验证 Kubernetes 资源 ###

1.如果流水线的每个阶段都成功运行，则会自动构建一个 Docker 镜像并推送至您的 Docker Hub 仓库。最终，流水线将在您事先设置的项目中自动创建一个部署和一个服务。

2.前往该项目（本教程中即 `kubesphere-sample-dev`），请点击**应用负载**下的**工作负载**，您可以看到列表中显示的部署。

3.在**服务**页面，您可以看到示例服务通过 NodePort 暴露其端口号。要访问服务，请访问 `<Node IP>:<NodePort>`。

> 访问服务前，您可能需要配置端口转发规则并在安全组中放行该端口。

4.现在流水线已成功运行，将会推送一个镜像至 Docker Hub。登录 Docker Hub 查看结果。

![在这里插入图片描述][3ee2194caedd486f8426f550a3a427e0.png_pic_center]

5.该应用的名称为 `devops-sample`，即 `APP_NAME` 的值，标签即 `SNAPSHOT-$BUILD_NUMBER` 的值。`$BUILD_NUMBER` 即**运行记录**选项卡列示的记录的序列号。

6.如果您在最后一个阶段设置了电子邮件服务器并添加了电子邮件通知的步骤，您还会收到电子邮件消息。

## 七、配置流水线把项目发布到生产环境 ##

![在这里插入图片描述][f0f5609482c5414983ed3d49b69e3467.png_pic_center]

### 7.1 创建GitHub tekens ###

> 如需创建 GitHub 个人访问令牌，请转到您 GitHub 帐户的 **Settings**，点击 **Developer settings**，选择 **Personal access tokens**，然后点击 **Generate new token**。  
> ![在这里插入图片描述][cf3bee211d7a461c93f055a62235ab2b.png_pic_center]  
> ![在这里插入图片描述][052b12c1b65b4fea873b480cf9f3bb40.png_pic_center]

![在这里插入图片描述][f31480f2c87942a5861d73b9741e71bd.png_pic_center]

**以project-regular用户登录后创建github访问凭证**

![在这里插入图片描述][63b6e0e3ecd445a6ae4e77f555a7bf72.png_pic_center]![在这里插入图片描述][3f64402168c549b9930ee655e9a60756.png_pic_center]  
![在这里插入图片描述][8ee50129b159481fbd78ffe050ac54fc.png_pic_center]

### 7.2 GitHub创建代码仓库 ###

### 7.3 创建项目 ###

使用project-admin用户登录WEB控制器，创建kubesphere-sample-prod项目，并邀请project-regular用户成为项目成员，并为operator角色。

### 7.4 为发布到生产环境准备TAG\_NAME变量 ###

使用project-regular用户登录，并编辑`graphical-pipeline`，添加TAG\_NAME,值为v0.0.1, GITHUB\_ACCOUNT,值为nextgomsb  
![在这里插入图片描述][bcc68181378a49e8a76d9f7b9a5d2085.png_pic_center]![在这里插入图片描述][cf24c554b78e42068201086ee253b479.png_pic_center]  
![在这里插入图片描述][9cb8cac3b6f84847b350f2b1b9f1be9c.png_pic_center]

![在这里插入图片描述][87f655d5ce394db68cc0d3b8d772606a.png_pic_center]

### 7.5 阶段7: 提交镜像和代码至仓库(push with tag) ###

#### 7.5.1 添加阶段名称：push with tag，添加条件 -> expression ####

scriptBlock   return params.TAG_NAME =~ /v.*/

#### 7.5.2 添加步骤-> 指定容器-> maven ####

##### 7.5.2.1 添加嵌套步骤-> 审核 #####

release image with tag?
    @project-admin

##### 7.5.2.2 容器maven中添加步骤 -> 添加凭证 #####

*  名称：github-token 变量： GITHUB\_TOKEN

##### 7.5.2.3 凭证中添加嵌套步骤->shell->GitHub配置 #####

\-分别添加三次

git config --global user.email "nextgo@126.com"

git config --global user.name "nextgo"

git tag -a $TAG_NAME -m "$TAG_NAME"

**提前编辑流水线，添加如下变量**

*  流水线右侧点击编辑 字符串类型： 名称：GIT\_USERNAME 默认值：nextgomsb
 *  凭证中添加嵌套步骤->shell->命令如下 推送代码到指定的仓库devops-java-sample.git

git push http://$GIT_USERNAME:$GITHUB_TOKEN@github.com/$GITHUB_ACCOUNT/devops-java-sample.git --tags --ipv4

##### 7.5.2.4 添加DockerHub配置 #####

*  容器中添加嵌套步骤-> shell tag标记镜像  
    ![在这里插入图片描述][a81105d041324a5ab5a0e31a395a73a5.png_pic_center]

docker tag  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:v$BUILD_NUMBER $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$TAG_NAME

*  容器中添加嵌套步骤-> shell->推送镜像

docker push  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$TAG_NAME

### 7.6 阶段8: 发布到生产环境（deploy to production） ###

#### 7.6.1 添加阶段名称：deploy to production，添加条件 -> expression添加条件 ####

scriptBlock   return params.TAG_NAME =~ /v.*/

#### 7.6.2 添加步骤-审核 ####

deploy to production?
    @project-admin

#### 7.6.3 添加步骤 ####

*  指定容器 maven

##### 7.6.3.1 添加凭证 #####

*  添加嵌套步骤-> 添加凭证 名称： demo-kubeconfig 变量：KUBECONFIG\_CONTENT

##### 7.6.3.2 添加执行步骤 #####

*  在凭证下 添加嵌套步骤 -> shell

envsubst < deploy/prod-all-in-one/devops-sample.yaml | kubectl apply -f -

### 7.7 执行流水线 ###

• 执行流水线前，可以登录k8s集群master节点，将前面执行开发环境流水线的发布应用删了，避免有太多历史的应用存放在节点中  
• kubectl get all -n kubesphere-sample-dev //查看该开发环境所存在的应用  
• 我们需要将其deployment和service名称的资源删除  
• kubectl delete deployment ks-sample-dev -n kubesphere-sample-dev  
• kubectl delete svc ks-sample-dev -n kubesphere-sample-dev  
![在这里插入图片描述][2f7a6054ff82439e8b91b61887de2002.png_pic_center]  
![在这里插入图片描述][aada0c977a1a4669b0e577b7098cfa92.png_pic_center]

[40cae86b587e48f48f9b7e2464421cc0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/591e3d4aef9248ca8d9decd447de7ff3.png
[e7f95758c48d4446b79aef63da39e1a5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/8f66309c132e43c3af6ce085567a7b20.png
[6a32bef3c5c84183b93fb18c5f0c0706.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/042861873b7c4d90bc5a9f42f8dea01a.png
[Jenkinsfile]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/create-a-pipeline-using-jenkinsfile/
[Link 1]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/create-a-pipeline-using-graphical-editing-panel/
[KubeSphere DevOps]: https://v3-2.docs.kubesphere.io/zh/docs/pluggable-components/devops/
[Link 2]: https://v3-2.docs.kubesphere.io/zh/docs/quick-start/create-workspace-and-project/
[a602011f9792415f89fa04ab095351c6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/5d7e33a6c8ed42b48e2b8da949ad646a.png
[46e64f94ca8f45e3bd7b489d62ab53c3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/ada81db585064cd0b66f66aa7cba2109.png
[bf13c5fbcd334ed18b8936ac09a08e98.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/1817e4e3b73a4bb79181604c4dbc86c9.png
[Link 3]: https://docs.github.com/cn/authentication/keeping-your-account-and-data-secure/creating-a-personal-access-token
[urlencoder]: https://www.urlencoder.org/
[c4502b0fcf1d4a2087d195dd82d3dafd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/d241b6ebcc12420da630ea1970b44498.png
[20d083f9fe204121a0b9669fa6900a55.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/63fdc946ba8d428481cbd82df3e1c663.png
[Kubernetes]: https://kubernetes.io/zh/docs/concepts/configuration/organize-cluster-access-kubeconfig/
[8629a0091f664e3f8b3cd8f3666988fa.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/b9bc05da1a4741afbfe74ee0c9cb71c4.png
[e076395b23694484afa3369eb0ba4c92.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/29b7eaec2c6b408ebf1785a3169bb72d.png
[SonarQube]: https://www.sonarqube.org/
[28be3f5dbf714754b8cdb8fb1a1a321e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/e59c2ed5247d42a5912bbb32b45e574c.png
[edc2cec6500d48d89088d4b66112f67d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/8d54ca823d7f4463a73543b7be679cea.png
[b5f069126f0d4024b6721a96d6917e72.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/d18ae82e8eaf4a268a6ac30cffbad0cd.png
[acdaf39f1676473c969438dc8179062a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/0bf766a8f9c743b8ade6497d65bf1ec6.png
[659a4035ccad43ba93f83192681a65f8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/54e2d6b8bcda49c8ac59024eab514187.png
[7e577cd304194abebb1d798ee2b2c785.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/977d52f007bb45749ba5ceebfb1e638c.png
[55d7b48abc0d40eb95d3c6a89e4d6477.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/75cd604623ed4d5eb2e28d62f411d9f7.png
[462e6d88c7a74e139839691d20c0e8d1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/530b63b5cb84415f939d7b57778c8745.png
[2a8d40b38dde4e068f43b77fb5df5fdb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/6b00f338dd8845e59a99cf1b7fc49633.png
[Jenkins]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/jenkins-setting/
[3923bbca526f4b53bb95c28c8fa5f94b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/fe1e8fd5f1344096a69991ee5137c6bb.png
[a09680b063d94eb69a31e15142a6f741.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/3f15bfe364a343cab0be62242a2ec6f0.png
[3ddda5fd569646eebe34a0780bacee5e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/3453819720ea4011b14bd7f1849d97a9.png
[29770fe8121543d8b3e0a6cd594cd8a1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/2d7c7ddb5aee480887e62a0de8bef3d1.png
[312d99c602ce4ad88cfc5d09d1e3cc70.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/d91529ea485e46749d06cc2baeff2f08.png
[1bda44e9f9f14d819e19c59c8df279e7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/5a27f7813e3343c4ad1d56e9d0ab0ef4.png
[c3aca93403644cf29ff44edc888690d2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/ab47d2ab541f44438bb7ba785fa74c8b.png
[15659cd0527f411295d0941a6623f9a3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/95839fdfbabb42a998aa3b433557f8ca.png
[c14dfc3be1eb43efaae5d6fdf5913ff5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/832b30373eba483bb2d86cd3b34916df.png
[0a1b9605a8ae46ef8faff7a8c1a992bf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/1f4fe83320a947388b6e516f4e562e21.png
[4c2b85c1de364a109d1fbe28efad65b3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/f04fc43a93014dca86a1eff0c0a926ab.png
[7527e34d80724482813858cb2e9e1b8c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/fc7f4351951a4eb0b6f8ef2a1ec245d4.png
[8f1322be2029447691715c1515211f13.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/1d289f25a7284184916a77498ec8db2e.png
[d9bf8dd9bf0144358175704c59bcf76d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/6b323148d924430fbe7f5097a5eea7cf.png
[16f1121c55cf484ab1512f1715495ea7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/6038b510dfe14803b700285755d01f72.png
[067fe50cdb084e18a2c26fba98caaa75.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/e4b53225e77c442aac1f496bfb80b3f7.png
[Link 4]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/credential-management/#%E5%88%9B%E5%BB%BA%E5%87%AD%E8%AF%81
[88925754d72f4661b46d1a2f4e34b332.png_pic_center]: https://img-blog.csdnimg.cn/88925754d72f4661b46d1a2f4e34b332.png#pic_center
[f1c60daa139e4fde849bb5c6fac94b1c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/add2b2e581984732bbb1b8fd6bf38172.png
[Link 5]: https://v3-2.docs.kubesphere.io/zh/docs/multicluster-management/
[img]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/d2aec4e922e9440a909886d7e9e90320.png
[aa46ea8c65974a809b31cd11ea2223a5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/01b97d853fc54668841068b0da3c721d.png
[95bea2a5670c4048b7d44ea70d168030.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/1467878f808b430697ee99cf555b184c.png
[0fcc189f89324da1a6874d1ae176de5d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/9c07ef3edb1c497bbc969bbf89a22393.png
[fe3ecc1457da4308891ec8cc27c34f40.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/af7eff13db684f9d98d433509ab3d6be.png
[_Stage]: https://www.jenkins.io/zh/doc/book/pipeline/#%E9%98%B6%E6%AE%B5
[_Step]: https://www.jenkins.io/zh/doc/book/pipeline/#%E6%AD%A5%E9%AA%A4
[Docker Hub]: http://www.dockerhub.com/
[CI]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/set-ci-node/
[KubeSphere]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/jenkins-email/
[SonarQube 1]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-integrate/sonarqube/
[4238870202f84749a8803e9122cf40f2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/9ed6d5b8173b41128e3152b38711caa5.png
[Link 6]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/credential-management/
[SonarQube _ _Token]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-integrate/sonarqube/#create-sonarqube-token-for-new-project
[ba613b68641d4d15adfc8fbf3e657e3d.png_pic_center]: https://img-blog.csdnimg.cn/ba613b68641d4d15adfc8fbf3e657e3d.png#pic_center
[2cb70266b6b448f68f6d58102afb241a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/4e2cce21d63b40e0a13346e8ef7cb7b6.png
[f8bd005c348c405cad192fe1faf8088d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/42597453825542bba911ab845b52b071.png
[sample]: https://github.com/kubesphere/devops-maven-sample/tree/sonarqube
[Link 7]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/pipeline-settings/
[24f56ae76b9344308ec2e24a88b61aa2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/61161d63fb004c6493b6347ea1cd2cdf.png
[Link 8]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/use-pipeline-templates/
[d77d653e3b894715af9d989a1dacc3c4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/bcd487d024114aedadb56943a34a342a.png
[Link 9]: https://www.jenkins.io/zh/doc/book/pipeline/syntax/#%E5%A3%B0%E6%98%8E%E5%BC%8F%E6%B5%81%E6%B0%B4%E7%BA%BF
[Link 10]: https://www.jenkins.io/zh/doc/book/pipeline/syntax/#%E8%84%9A%E6%9C%AC%E5%8C%96%E6%B5%81%E6%B0%B4%E7%BA%BF
[Jenkins 1]: https://www.jenkins.io/zh/doc/book/pipeline/syntax/
[24dda9541c6045c08dc78680e2fa32d4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/3ff5e79d3e4f4767872208b5edfa1287.png
[Jenkins Agent]: https://v3-2.docs.kubesphere.io/zh/docs/devops-user-guide/how-to-use/choose-jenkins-agent/
[eacd75312714441a85a63f45cb42a313.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/7b3204d165c04c01a8dff3d6ff567fb6.png
[8eaf3233bba74a8bb07568703ce0bbac.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/64630175585f486c8d1fb2eb0a90438a.png
[6c99262e6de14868b597ce306ceec07c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/7b500cdec64841a98411eea2fc69bc26.png
[44147ee3aafa4a7b8281ca856536711a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/e7d075da0d174ba98c06ff3736dc217a.png
[58a1c8f427734e2299bb9a8be1f0e532.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/856dc198de0d4bb99dd616aefc93586b.png
[fd2d02e0ed4a44a6ab7496fc5d405050.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/bf0fc18a8c484063b72c2d34926137f2.png
[faf2cfd24fe64e928f2c2dede604e6cd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/e835e114665d4136a7a173b0891e24a5.png
[Link 11]: https://www.jenkins.io/zh/doc/book/pipeline/syntax/#steps
[837995c2fe8543f7ac1604b6f67807f1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/b5338f6ce551482d9ead14f0d9d0b89c.png
[58e272014087456f9e0a4309ee910853.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/e767a96189c6459f807fdd3437c5fa88.png
[Dockerfile]: https://github.com/kubesphere/devops-maven-sample/blob/sonarqube/Dockerfile-online
[img 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/db019907f5344575b4fab623ae3f1bca.png
[b37bb58d51134065a26f9e3e2437802a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/8b11475987af47b89b50168d957e532f.png
[3ee2194caedd486f8426f550a3a427e0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/3701817e28b2456a8b9ed13484e86ec4.png
[f0f5609482c5414983ed3d49b69e3467.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/6bbb80097ac24e5eba364e695d3e0821.png
[cf3bee211d7a461c93f055a62235ab2b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/953257fdfaba4e18965b89c459002a99.png
[052b12c1b65b4fea873b480cf9f3bb40.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/92275293480143e2b138d5d29dffa1e8.png
[f31480f2c87942a5861d73b9741e71bd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/5e9e6e04f846447e87fd86ad478a4700.png
[63b6e0e3ecd445a6ae4e77f555a7bf72.png_pic_center]: https://img-blog.csdnimg.cn/63b6e0e3ecd445a6ae4e77f555a7bf72.png#pic_center
[3f64402168c549b9930ee655e9a60756.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/666262178fbf47a29d2ffe56fbbb334d.png
[8ee50129b159481fbd78ffe050ac54fc.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/9f9d96ec477b49ffaaca1d8082a08acc.png
[bcc68181378a49e8a76d9f7b9a5d2085.png_pic_center]: https://img-blog.csdnimg.cn/bcc68181378a49e8a76d9f7b9a5d2085.png#pic_center
[cf24c554b78e42068201086ee253b479.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/a4877c645d264e3e993a0c9b50aa406c.png
[9cb8cac3b6f84847b350f2b1b9f1be9c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/7b5f9fd217024639a5e414c3d5858d27.png
[87f655d5ce394db68cc0d3b8d772606a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/e6d9fcb407194d0aa750b51c048690a0.png
[a81105d041324a5ab5a0e31a395a73a5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/d81174e5e27941d1bfc66d6e5130fe3d.png
[2f7a6054ff82439e8b91b61887de2002.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/f2033b1e169f443c96af6eae56a1cc34.png
[aada0c977a1a4669b0e577b7098cfa92.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/03/747d8369a95f4a60a10a549731fa7684.png

【业务功能115】微服务-springcloud-springboot-Kubernetes-k8s集群-Kubesphere实现DevOps流水线-CI/CD-SonarQube- Jenkins

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关【业务功能117】微服务-springcloud-springboot-Kubernetes集群-k8s集群-KubeSphere-公共服务 Harbor镜像仓库

相关【业务功能116】微服务-springcloud-springboot-Kubernetes集群-k8s集群-KubeSphere-公共服务 DNS

相关【业务功能115】微服务-springcloud-springboot-Kubernetes-k8s集群-Kubesphere实现DevOps流水线-CI/CD-SonarQube- Jenkins

相关【业务功能114】微服务-springcloud-springboot-Kubernetes集群-k8s集群-KubeSphere发布应用WordPress

相关【业务功能113】微服务-springcloud-springboot-Kubernetes集群-kubesphere多租户管理系统应用-创建DevOps- Kubesphere开启devops功能

相关【业务功能129】微服务-springcloud-springboot-Kubernetes集群-k8s集群-KubeSphere部署三高微服务项目-k8s集群-09微服务前端代理服务 Nginx部署

相关【业务功能128】微服务-springcloud-springboot-Kubernetes集群-k8s集群-KubeSphere部署三高微服务项目-08部署微服务

相关【业务功能126】微服务-springcloud-springboot-Kubernetes集群-k8s集群-KubeSphere部署三高微服务项目-06部署流水线

相关【业务功能119】微服务-springcloud-springboot-Kubernetes集群-k8s集群- KubeSphere中集成ApiSix-Prometheus

相关【业务功能121】微服务-springcloud-springboot-Kubernetes集群-k8s集群-KubeSphere部署三高微服务项目-01部署微服务思路