k8s+Jenkins+GitLab-自动化部署项目

╰半橙微兮° 2022-11-14 11:47 325阅读 0赞

# 一、闲聊 #

--------------------

现在基本上是隔几天写一篇文章，还是不够勤奋，努力把自己打造成勤奋的人，把工作上面所用到的技术点分享给大家。为了研究k8s自动化部署aspnet core项目，足足花费了我一个礼拜的时间，过程是痛苦的，但结果是美好的。

如果以下内容有不足的地方，请指出，我会第一时间更正。谢谢大家。

# 二、部署流程介绍 #

--------------------

**1、先上一下手绘导图，大致的流程图如下：（不喜勿喷呀）**

大致的部署流程是这样的：开发人员把做好的asp.net core项目代码通过git推送到gitlab，然后Jenkins通过 gitlab webhook （前提是配置好），自动从拉取gitlab上面拉取代码下来，然后进行build，编译、生成镜像、然后把镜像推送到Harbor仓库；然后在部署的时候通过k8s拉取Harbor上面的代码进行创建容器和服务，最终发布完成，然后可以用外网访问。（ps:看着我讲这么简单，但心里有许多小鹿在心里乱撞，没关系，下面将会好好的分享给大家）

![4a83c13f8398fec7fb7d62e030aebe6d.png][]

当然啦，上面只是粗略的，请看下图才更加形象。

![f842be50e0dde84f91016c3253513610.png][]

### 2、先介绍一下我的服务器IP和在各个服务器上面所安装的内容 ###

ps:由于我的电脑配置有限，运行太多的虚拟机会导致内存空间不够用，因此就弄了三台，已经是极限了。

如果大家对于k8s怎么部署，请看我之前的文章有介绍。前提是要安装好docker环境、gitlab等

<table> 
 <tbody> 
  <tr> 
   <td>IP</td> 
   <td>角色</td> 
  </tr> 
  <tr> 
   <td>192.168.161.151</td> 
   <td>master1、Harbor、Jenkins</td> 
  </tr> 
  <tr> 
   <td>192.168.161.152</td> 
   <td>node1</td> 
  </tr> 
  <tr> 
   <td>192.168.161.153</td> 
   <td>node2、Gitlab</td> 
  </tr> 
 </tbody> 
</table>

# 三、部署Harbor仓库 #

--------------------

### 第一步：下载harbor二进制文件：https://github.com/goharbor/harbor/releases ###

### 第二步：安装 docker compose ###

命令：

sudo curl -L https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose

然后把下载的docker-compose 设置可执行权限

命令：chmod +x /usr/local/bin/docker-compose

### 第三步：此处应该设置自签证书的，即访问的时候是采用HTTPS进行访问的。此处略去，不影响我们接下去的部署。（后期会出一篇关于自签证书的文章，仅供参考） ###

### 第四步：将下载好的Harbor二进制包上传到服务器上面，然后解压出来 ###

解压的命令为：tar xzvf 包名

![b675f5285016835841a3494b6c587887.png][]

### 第五步：进入解压出来的文件夹harbor中，有如下文件。 ###

![882ec6074e5906dee95ccc2124988dcf.png][]

配置文件，vi harbor.cfg

把其中的hostname修改为：master1 的IP地址。

![331d7a4601fcf03e7e2b33d19bbf5d9b.png][]

然后 修改harbor的登录密码：为了方便起见，我修改为123456,大家可自行修改

![a7ff6978944f9d40571f52d968c3bca7.png][]

### 第六步：在当前文件夹中开启harbor ###

执行命令：

**./prepare**

![dd542a14615c00f3670e4378c23d6cdb.png][]

**./install.sh (运行此处的时候需要一定的时间，请等待吧)**

![6dd981197de0117df73fa15b8f5faa57.png][]

### 第七步：启动成功，查看一下（完美的运行） ###

docker-compose ps

![c5a86d2c6e2e1ed18832c223ce04fc20.png][]

用浏览器查看一下（出现以下内容，代表成功，完美）

进入到里面后，我先在用户管理中创建了一个用户 louie 。大家自行创建，为了后期需要把一些依赖镜像先推送到harbor仓库中。然后在项目中创建项目，如下：

![7c23537fafb25048af0ea589db800b8a.png][]

所创建的项目，并且，我在每个项目中都加入了我刚才所创建的用户，方便后期登录并推送镜像

![68fe2c75d9269bcd1cae97baae13ff33.png][] ![864adf51ae2d09a873cc9b086cc2d1e1.png][]

此处介绍一下我的项目，coresdk 主要用来存放 asp.net core 所需要的sdk；ops主要是用来存放的jenkins镜像和jenkins-slave镜像；projectdemo 主要存放我的asp.netcore 项目的镜像，供k8s拉取。

至此，harbor部署完成。

# 四、jenkins-slave镜像搭建 #

--------------------

#  #

**操作服务器：node1**

说明:jenkins-slave 主要是为了分担jenkins-master的压力。如下图所示：（在多任务运行的时候可以采用）

![83e6107733cffc4109b5bf6d2076f947.png][]

### 1、为了创建jenkins-slave镜像，我这边准备了三个文件 ###

Dockerfile：构建jenkins-slave镜像

jenkins-slave：shell脚本（需要加入可执行权限 chmod +x jenkins-slave），在镜像构建时需要用到。

slave.jar: 启动脚本

--------------------

Dockerfile 文件内容如下（如需源文件可加入QQ群获取），如下图所示：可以看到 jenkins-slave需要依赖java的一些环境。

![e2538c84de6f00b1025e2f870b24b0c1.png][]

### 2、配置java的基础环境。 ###

配置 JDK和maven，把下载的二进制包放到如下目录（由于文件太大，可移步到群中下载）

apache-maven-3.5.3-bin.tar.gz解压到的地址为 /usr/local/maven里面。  
jdk-8u45-linux-x64.tar.gz解压到的地址为 /usr/local/jdk里面。

### 3、准备好环境后，刚才构建镜像，如下： ###

![65cfdd1c72157e6999bbd67bd26083ac.png][]

执行命令：

![599d4ad435d7e234cb8019d00fe35661.png][]

构建完成后把镜像推送到Harbor仓库中。

![8a758515a4c1b1ec28391a124bf15cba.png][]

在推送的过程中需要先登录到harbor仓库

执行命令：docker login 192.168.161.151

执行后发现及时输入账号和密码也无法登录，由于在node1中没有添加harbor仓库的IP地址导致无法登录，因此

执行命令：vi /etc/docker/daemon.json

把下图的红色圈的部分加入，然后重启一下docker。

![a4e4474d43d2f4b814c737e50604cfd8.png][]

执行 docker info ，看一下IP地址是否生效，发现已加入。好了，在试一下登录，发现登录成功，然后开始推送把。

![d19fc1f4457f33841a4a475f606f6c87.png][]

当然harbor 上也给出了 镜像推送的语句

![b6783047b1ea8e5272d386f0a15ed5ab.png][]

开始推送：docker push 192.168.161.151/ops/jenkins-slave

至此，jenkins-slave 镜像已推送完毕。

![bdfaea25c514744d77d32fc071bc680c.png][]

# 五、部署jenkins #

--------------------

#  #

部署jenkins时，我把jenkins的数据卷采用pv/pvc、nfs 进行挂载。

### 1、需要准备文件有 ###

jenkins-service-account.yml :jenkins的服务账号创建

jenkins.yml : 创建容器和service 服务得。进行可以访问。

Dockerfile ：主要用来生成 jenkins 镜像的。

registry-pull-secret.yaml：主要是用来部署时可以直接登录harbor仓库来拉取镜像（在部署jenkins需要用到）

### 2、开始吧。 ###

切换到node1服务器，把之前准备好的Dockerfile文件构建一下

![c62dec6457d5c51b59bee391ea75e247.png][]

命令：docker build -t 192.168.161.151/ops/jenkins:lts-alpine .

然后推送到Harbor仓库中，命令：docker push 192.168.161.150/ops/jenkins:lts-alpine

### 3、切换到master 服务器上 ###

构建 jenkins-service-account.yml 和jenkins.yml 文件以及registry-pull-secret.yaml

![9addfb75af2e3251ca72af1e31996176.png][]

特别注意registry-pull-secret.yaml 中的namespace,需要在k8s中创建，以及 data里面的64位认证信息（需要登录harbor仓库后生成的信息黏贴在这里）

生成方式为：可以在有登录的harbor 的node服务器上面执行以下命令生成认证信息  
命令： **cat ~/.docker/config.json |base64 -w0** 即可生成信息

![124862f6a6942e34af61d8fa7cfb28a5.png][]

![30150094572506c45d10c8ddf14c0138.png][]

执行上上面的文件后，命令：kubectl create -f 文件名。

生成如下，发现jenkins已在运行，而且是运行在153节点上。那么开始用浏览器访问把

![05d2f52d1fd7febbdbd99dc8d443262d.png][]

查看一下 service ，jenkins的外部访问端口为诶 30001.

![519c140ad7f8aa6f0a87e0a058e1ada7.png][]

### 4、输入访问地址：http://192.168.161.153:30001/ ###

在第一次登陆的时候需要密码进行解锁jenkins，按照提示获取密码即可。

![5d9ba8215d4bfe1b34fe6cf22bd90ced.png][]

然后选择 “”插件来安装“”，如果需要特别的插件直接选择，否则直接安装即可。

![d6f9c5766ce7ba24713da3883bdf522e.png][]

### 5、要想把jenkins关联到k8s中需要安装几个插件 ###

打开 “系统管理” =》“管理插件” 然后安装

Kubernetes Continuous Deploy、Kubernetes、Gitlab Hook 、GitLab、Build Authorization Token

![dacadaf9f4216121a9275eb954a4b886.png][]

### 6、安装完毕后就开始构建项目啦。 ###

我新建一个项目，然后选择 流水线、然后点击确定。

![1661b0d87ca15408ba9364f6cc4d27b8.png][]

### 7、创建完任务后先不进行配置，我们先要设置一下jenkins挂钩k8s的环境 ###

点击 “系统管理”=》“系统设置”。一直往下滑动，点击“新增一个云”，选择k8s，如果这边没有出现k8s，则代表你的插件没有安装成功，请重新安装吧。

![a9ff8a2bbc1bf53c42aa840008775e69.png][]

然后配置一下里面的内容，只要配置这两个地方就可以了。针对URL，我这边是采用kube-dns来做服务发现，不需要实际的ip地址进行输入。至此搞定。不过还得配置一下 “凭证”，即SSH密钥，方便可以从gitlab那边拉取代码，有玩过gitlab应该知道，拉取代码分为git和http。

![5c2fa822b805478378553b1cdd6d6c1e.png][]

此处如果发现测试不通过，请现在k8s中安装一下kube-dns.yaml，文件在群中k8s集群部署文件下面：直至在k8s中执行即可。

命令：kubectl create -f kube-dns.yaml

![c93951d3ad4f28ea31482ea8695b89ae.png][]

### 8、添加凭证 ###

在这里我添加了两个凭证，一个是ssh，和k8s的凭证。这个可自行添加一下即可。**这里要注意一下：凭证生成后，进入凭证里面会有一个自动生成的ID，此ID需要在asp.net core项目中的Jenkinsfile里面配置。**

root中的密钥时私钥，并且在服务器上需要把公钥配置到gitlab上。

![4a3cf861036766d2f3f0d5502d9e93c0.png][]

这下面是gitlab 上面配置ssh， ssh的私钥和公钥，直接在 node服务器上生成一下即可 ssh-keygen, 然后把里面的内容复制出来即可。

![364a361b41502bbc0ab62849eb8df692.png][]

# 六、jenkins+gitlab挂钩 #

--------------------

#  #

上面已经创建了一个任务。然后我们开始配置这个任务里面的内容并且与gitlab挂钩把

![41e7d93337f4d1a7c44c834479a3da91.png][]

### 1、进入testproject里面配置。按照以下图配置完后即可。然后点击保存。这样就完成了任务配置，接下来就是要配置一下gitlab啦 ###

![df4586cdc795be69714819c18ae06e62.png][]

![7e570c35c124eb061b208410406f7ac1.png][]

### 2、配置gitlab ###

在gitlab中我创建了一个项目Testproject

![c6a7d3353887bd079572ce02807b7c85.png][]

然后进入到项目中，点击 “Settings”=》Integrations

![27baf9daa0ccbee6ecf1522789f63457.png][]

把上面URL和Token复制到这边，然后点击保存即可。接下来就是测试一下这个配置是否可以用

![9c2403a0155e1329e608c1c4e9766b71.png][]

将上面创建好的webhook 进行测试，gitlab会模拟代码推送事件，返回200就代表成功啦。

![a4adcb4ca44723e18f87bae5d32d62e4.png][]

成功啦。

![4207a1cd81bb28cf03ffac9231dd9776.png][]

# 七、终于到了我们asp.net core项目啦 #

--------------------

**github地址：上面有完整的代码 https://github.com/LouieGuo/testproject,记得fork me哟。感谢感谢。**

在这里我创建了一个asp.net core webapi 的项目，不做任何修改。然后在项目中加入了这几个部署文件。

deploy文件里面包含 Jenkinsfile 和deploy.yml(用来部署项目镜像的)

![9e065218cd97f3ebb4d25a558c2e22d9.png][]

![4747f8cd194f0b090c027c511b01a09e.png][]

注：Jenkinsfile里面这两个地方需要配置为你们在Jenkins里面创建的两个授权的ID，ID内容可以进入到凭证里面看。切记，一定要改。

![3d23747cfbc2688391e6263c17de5ed2.png][]

Dockerfile ：中是用来构建项目镜像 的

![89a6821e550d2eb0974db127baa3039c.png][]

dockerfile 内容，当然里面的sdk我已经打包好了，已经上传到我的harbor仓库中。

![32645cdbc23a1bd1b44767d80d2a1816.png][]

--------------------

到目前为止 我们就可以开始上传代码到gitlab上，然后自动触发构建啦。

![314534ff88786f2921b14bd561f809cf.png][]

上传后再这边会出现构建进行，我们可以查看 控制台输出

![00b4e4fd3fc0983000e54526998f980d.png][]

![9e9d88831453837a8ea4e1b77d32f865.png][]

输出、以及构建成功

![beadf118ec621068fc2c3026f35ac327.png][]

![8490035a668a06d99670067d5525138b.png][]

在master上面查看

发现已经运行我的项目啦，用浏览器访问以下。

![89a3cd141ef248b66b2535500f8b1cd0.png][]

查看一下外部发布的端口

![8531e05d1c880f29dc206e09acd5f7a5.png][]

![3f5816343c6f694f5b4a43c0be234a15.png][]

## 最后 ##

欢迎关注【前端瓶子君】✿✿ヽ(°▽°)ノ✿

回复「算法」，加入前端算法源码编程群，每日一刷（工作日），每题瓶子君都会很认真的解答哟！

回复「交流」，吹吹水、聊聊技术、吐吐槽！

回复「阅读」，每日刷刷高质量好文！

如果这篇文章对你有帮助，「在看」是最大的支持

![31d5641f5f93e9dd78114f89c003b213.png][]

》》面试官也在看的算法资料《《

“在看和转发”就是最大的支持

[4a83c13f8398fec7fb7d62e030aebe6d.png]: /images/20221022/8f76c717224f49e98db76a244ab244c2.png
[f842be50e0dde84f91016c3253513610.png]: /images/20221022/517589587498439089bd161b863ea1f2.png
[b675f5285016835841a3494b6c587887.png]: /images/20221022/74afa3b7328f4b599ac00b87d108ff61.png
[882ec6074e5906dee95ccc2124988dcf.png]: /images/20221022/fecc9be97a5446c2a07a3222b38316fd.png
[331d7a4601fcf03e7e2b33d19bbf5d9b.png]: /images/20221022/26eee4320cbe462f8084100275e4e540.png
[a7ff6978944f9d40571f52d968c3bca7.png]: /images/20221022/fb700396ad5a453d9475c798f4705732.png
[dd542a14615c00f3670e4378c23d6cdb.png]: /images/20221022/c66949bdb8b9495c8506a2fad6d5aead.png
[6dd981197de0117df73fa15b8f5faa57.png]: /images/20221022/a845caf5f19544c7b8a396746b37a06d.png
[c5a86d2c6e2e1ed18832c223ce04fc20.png]: /images/20221022/0e2cf961072a46fab97a01b19fa2a464.png
[7c23537fafb25048af0ea589db800b8a.png]: /images/20221022/dbd6ecc6ba4548a79fd028ecb81291b7.png
[68fe2c75d9269bcd1cae97baae13ff33.png]: https://img-blog.csdnimg.cn/img_convert/68fe2c75d9269bcd1cae97baae13ff33.png
[864adf51ae2d09a873cc9b086cc2d1e1.png]: /images/20221022/b5c0f4d83a144ee0a14041b6e79a2a69.png
[83e6107733cffc4109b5bf6d2076f947.png]: /images/20221022/71b5c93f14d744d38997fb3968b58a0f.png
[e2538c84de6f00b1025e2f870b24b0c1.png]: /images/20221022/e3f4794bdb5d462a99eecb75439afdfa.png
[65cfdd1c72157e6999bbd67bd26083ac.png]: /images/20221022/b762f24f287c4fa589e17a9bdc17afbe.png
[599d4ad435d7e234cb8019d00fe35661.png]: /images/20221022/c2183941947c4accbb8d57ff5d4330ed.png
[8a758515a4c1b1ec28391a124bf15cba.png]: /images/20221022/a69291939e3a425996a0b78b25a05479.png
[a4e4474d43d2f4b814c737e50604cfd8.png]: /images/20221022/d54156b16ee94215ae29997ee2e331f2.png
[d19fc1f4457f33841a4a475f606f6c87.png]: /images/20221022/976385d4d04b4605a65355b17351159b.png
[b6783047b1ea8e5272d386f0a15ed5ab.png]: /images/20221022/40794f491e6e4061beb72ff3b1923096.png
[bdfaea25c514744d77d32fc071bc680c.png]: /images/20221022/161f60c71332495f8894ee8783514f96.png
[c62dec6457d5c51b59bee391ea75e247.png]: /images/20221022/eb064df155224aeb9a207596e357ca99.png
[9addfb75af2e3251ca72af1e31996176.png]: /images/20221022/f031572f97a041a9ab23a423b7763eb5.png
[124862f6a6942e34af61d8fa7cfb28a5.png]: /images/20221022/0b1381fbc26545acae2a6c7d76bdde98.png
[30150094572506c45d10c8ddf14c0138.png]: /images/20221022/8e04f0dcdbfe492d9fe8a167cae7a4fb.png
[05d2f52d1fd7febbdbd99dc8d443262d.png]: /images/20221022/c4202eabd82e4c0caaf73f19dbee64b0.png
[519c140ad7f8aa6f0a87e0a058e1ada7.png]: /images/20221022/fed5f971741d444bb158142191c2f856.png
[5d9ba8215d4bfe1b34fe6cf22bd90ced.png]: /images/20221022/54d7e402ec43461c92a8b0015b7ed376.png
[d6f9c5766ce7ba24713da3883bdf522e.png]: /images/20221022/26fcf2d179664ccc9b60bf8b5872ecad.png
[dacadaf9f4216121a9275eb954a4b886.png]: /images/20221022/99b61a32aac74ae9900ce0b64b561e1b.png
[1661b0d87ca15408ba9364f6cc4d27b8.png]: /images/20221022/17074137439a48c588c18af88cec03fb.png
[a9ff8a2bbc1bf53c42aa840008775e69.png]: /images/20221022/036f6a4fae8a4f20b301e1e8a98aa938.png
[5c2fa822b805478378553b1cdd6d6c1e.png]: /images/20221022/85b49c4bfd3546618529a1f00a820380.png
[c93951d3ad4f28ea31482ea8695b89ae.png]: /images/20221022/187c536ce9d14f33bdb8808d8ba6a792.png
[4a3cf861036766d2f3f0d5502d9e93c0.png]: /images/20221022/28b1283d8cb542dc95be27099de75efd.png
[364a361b41502bbc0ab62849eb8df692.png]: /images/20221022/d6e6482c7602484f87b0ddc84ad8c9fc.png
[41e7d93337f4d1a7c44c834479a3da91.png]: /images/20221022/dca762edaf0b4fb8923e6797da7d9b49.png
[df4586cdc795be69714819c18ae06e62.png]: /images/20221022/fc48f63e01fd48ecae16de56865d8899.png
[7e570c35c124eb061b208410406f7ac1.png]: /images/20221022/679badb9a26c4bd2b2408861d8d48b7a.png
[c6a7d3353887bd079572ce02807b7c85.png]: /images/20221022/df8c4533a59b4c88a26b9ad0904a6887.png
[27baf9daa0ccbee6ecf1522789f63457.png]: /images/20221022/9832be9b37754b82b5b8819852254215.png
[9c2403a0155e1329e608c1c4e9766b71.png]: /images/20221022/d97ca8153fcd41818e172aaec85c9bf2.png
[a4adcb4ca44723e18f87bae5d32d62e4.png]: /images/20221022/1dc243592f1d4d6088d962edb825dc88.png
[4207a1cd81bb28cf03ffac9231dd9776.png]: /images/20221022/3dfd328326394220b75378fe39cb0cd1.png
[9e065218cd97f3ebb4d25a558c2e22d9.png]: /images/20221022/152191728da24ab18cc86f4ff4f3f30f.png
[4747f8cd194f0b090c027c511b01a09e.png]: /images/20221022/133498575dab4583abdbc78720ed0a42.png
[3d23747cfbc2688391e6263c17de5ed2.png]: /images/20221022/d437bce225e6473db36ada804b71e546.png
[89a6821e550d2eb0974db127baa3039c.png]: /images/20221022/c21d175904ae4c2e907d348d41d6b472.png
[32645cdbc23a1bd1b44767d80d2a1816.png]: /images/20221022/8982e97f9da947e8adec84ab6f39bcbf.png
[314534ff88786f2921b14bd561f809cf.png]: /images/20221022/3426bb4119a249bdb8c027942cba9dc5.png
[00b4e4fd3fc0983000e54526998f980d.png]: /images/20221022/d81f3d0a48de4fddb662b285420b776e.png
[9e9d88831453837a8ea4e1b77d32f865.png]: /images/20221022/00e7e3f5a1144b81bd1edb19e001cef7.png
[beadf118ec621068fc2c3026f35ac327.png]: /images/20221022/f79e8fadedb44b6d9d65713ad137ec3e.png
[8490035a668a06d99670067d5525138b.png]: /images/20221022/b116cb60ff874184a3fe31578060c18b.png
[89a3cd141ef248b66b2535500f8b1cd0.png]: /images/20221022/f98d0aa6f3be43339a5ba568d88d67e8.png
[8531e05d1c880f29dc206e09acd5f7a5.png]: /images/20221022/f5bd4f4d22a14773a89b9caee728a7a3.png
[3f5816343c6f694f5b4a43c0be234a15.png]: /images/20221022/d1c1f5962f6b4f8585aba5aa4c35e281.png
[31d5641f5f93e9dd78114f89c003b213.png]: /images/20221022/d6d6a893a3da4dc4afe0c6e2321a3751.png