k8s + jenkins + gitlab + harbor 应用实战

喜欢ヅ旅行 2022-12-04 07:55 312阅读 0赞

一、概述  
maven项目部署流程图如下：

![format_png][]

环境介绍  
操作系统 ip 角色 版本  
ubuntu-16.04.4-server-amd64 192.168.10.122 Jenkins+harbor Jenkins 2.176.2，harbor 1.8.1  
ubuntu-16.04.4-server-amd64 192.168.10.134 gitlab gitlab-ce\_12.1.4  
ubuntu-16.04.4-server-amd64 192.168.10.130 k8s master kubernetes 1.15.2  
ubuntu-16.04.4-server-amd64 192.168.10.131 k8s node kubernetes 1.15.2

二、gitlab创建maven项目  
 首先从github上面，找一个基于maven的项目，地址如下：

https://github.com/solochen84/SpringBootDemo

使用git客户端，下载此项目代码

创建项目  
登录gitlab，创建一个项目springbootdemo

![format_png 1][]

点击 设置--> 成员

![format_png 2][]

添加2个成员，一个是jenkins用户，用来拉取代码的。一个是我，用来提交代码的。

注意：我的账号，权限要高一些，可以直接提交到master分支。

![format_png 3][]

将github下载的代码，提交到刚刚创建的项目中。效果如下：

![format_png 4][]

三、harbor 创建用户和项目  
创建jenkins用户  
登录到harbor后台，点击创建用户

![format_png 5][]

注意，每一项都填写一项。尤其是密码，必须符合密码复杂性要求。

![format_png 6][]

创建项目  
点击新建项目

![format_png 7][]

输入名字，java。这就是私有项目。

![format_png 8][]

点击java

![format_png 9][]

点击成员-->用户

![format_png 10][]

输入jenkins，会有提示的。角色选择 开发人员。

![format_png 11][]

四、jenkins修改默认用户  
使用jenkins执行shell命令时，可能会出现权限不足的情况。

查看jenkins默认用户  
cat /etc/default/jenkins  
内容如下：

\# pulled in from the init script; makes things easier.  
NAME=jenkins

\# arguments to pass to java

\# Allow graphs etc. to work even when an X server is present  
JAVA\_ARGS="-Djava.awt.headless=true"

\#JAVA\_ARGS="-Xmx256m"

\# make jenkins listen on IPv4 address  
\#JAVA\_ARGS="-Djava.net.preferIPv4Stack=true"

PIDFILE=/var/run/$NAME/$NAME.pid

\# user and group to be invoked as (default to jenkins)  
JENKINS\_USER=$NAME  
JENKINS\_GROUP=$NAME  
...  
可以发现JENKINS\_USER和JENKINS\_GROUP变量的值是jenkins

修改默认用户为root  
将下面2个变量，修改为root

JENKINS\_USER=root  
JENKINS\_GROUP=root

重启jenkins服务  
service jenkins restart

五、jenkins和k8s master做ssh免密  
为什么要和k8s master做ssh免密呢？因为jenkins需要登录到k8s master，做一些pod操作。

生成秘钥  
登录到jenkins服务器，生成秘钥

ssh-keygen -t rsa -P "" -f ~/.ssh/id\_rsa

copy秘钥  
ssh-copy-id 192.168.10.130

测试root免密

ssh 192.168.10.130  
如果没有提示输入密码，说明成功了！

六、jenkins登录harbor  
修改docker配置文件，添加harbor地址

vim /etc/docker/daemon.json  
内容如下：

\{"insecure-registries": \["192.168.10.122"\]\}

重新加载docker配置

/etc/init.d/docker reload

测试登录

root@ubuntu:~/docker\_dir\# docker login 192.168.10.122 -u jenkins -p Jenkins@1234  
WARNING! Using --password via the CLI is insecure. Use --password-stdin.  
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.  
Configure a credential helper to remove this warning. See  
https://docs.docker.com/engine/reference/commandline/login/\#credentials-store

如果出现

Error response from daemon: Get https://192.168.10.122/v2/: dial tcp 192.168.10.122:443: connect: connection refused  
表示 /etc/docker/daemon.json 文件修改不正确

七、jenkins创建maven项目  
新建任务  
登录到jenkins后台，点击 新建Item

输入名称，选择构建一个maven项目

![format_png 12][]

设置参数化构建  
丢弃旧的构建，保留2天

![format_png 13][]

设置源代码  
输入仓库下载地址，选择用户root

![format_png 14][]

设置maven构建命令  
输入命令：clean package

![format_png 15][]

mvn clean package依次执行了clean、resources、compile、testResources、testCompile、test、jar(打包)等７个阶段。

package命令完成了项目编译、单元测试、打包功能，但没有把打好的可执行jar包（war包或其它形式的包）布署到本地maven仓库和远程maven私服仓库

jar包打包成docker镜像并推送  
执行shell命令  
build完成之后，选择执行shell命令

![format_png 16][]

将下面的内容，贴过去

\#!/bin/bash

jarName=spring-boot-demo-0.0.1-SNAPSHOT.jar  
jarFolder=ph  
harborPro=java  
projectName=ph

docker\_path=$\{WORKSPACE\}

cp $\{WORKSPACE\}/target/$\{jarName\} $\{docker\_path\}  
bash -x /root/docker\_dir/deploy\_docker.sh $\{harborPro\} $\{projectName\} $\{docker\_path\} $\{jarName\}  
内容解释：

jarName jar包的文件名，名字随便

jarFolder jar包的文件夹

harborPro harbor里面的项目，在上面步骤中，创建java私有项目。

projectName 项目名，名字随便

docker\_path docker命令的工作目录

最后一步，会执行一个shell脚本。下面说到！

效果如下：

![format_png 17][]

定义shell脚本  
登录到jenkins服务器，创建目录

mkdir /root/docker\_dir

编辑deploy\_docker.sh脚本

cd /root/docker\_dir/  
vim deploy\_docker.sh  
内容如下：

\#!/bin/bash  
\# maven $workspace $jarname  
\# $\{harborPro\} $\{projectName\} $\{docker\_path\} $\{jarName\}

set -e  
harbor\_project=$1  
projectName=$2  
docker\_path=$3  
appName=$4

\# harbor认证用户  
user\_name=jenkins  
password=Jenkins@1234

\# harbor地址以及tag  
tag=$(date +%s)  
harbor\_server=192.168.10.122  
server\_path=$\{harbor\_server\}  
taget\_image=$\{projectName\}:$\{tag\}  
\#$\{BUILD\_NUMBER\}  
echo $\{taget\_image\}

\# 登录docker  
cd $\{docker\_path\}  
sudo docker login $\{harbor\_server\} -u $\{user\_name\} -p $\{password\}

\# 生成镜像并推送到harbor,最后删除本地镜像  
sudo docker build --build-arg app=$\{appName\} -t $\{taget\_image\} .  
sudo docker tag $\{taget\_image\} $\{server\_path\}/$\{harbor\_project\}/$\{projectName\}  
echo "The name of image is $\{server\_path\}/$\{harbor\_project\}/$\{projectName\}"  
sudo docker push $\{server\_path\}/$\{harbor\_project\}/$\{projectName\}:latest  
sudo docker rmi -f $(docker images|grep $\{projectName\}|grep $\{tag\}|awk '\{print $3\}'|head -n 1)

添加执行权限

chmod 755 /root/docker\_dir/deploy\_docker.sh

yaml文件拷贝到k8s master上并运用应用  
k8s master 操作  
登录到k8s master，创建目录

mkdir kube-conf

修改gitlab springbootdemo项目中的kube.yaml，将其重命名为springbootdemo.yaml

修改内容，添加秘钥

apiVersion: v1  
kind: Service  
metadata:  
name: maven-service  
spec:  
type: NodePort  
ports:  
\- name: maven  
port: 8080  
nodePort: 31002  
targetPort: 8080  
protocol: TCP  
selector:  
app: maven  
\---  
apiVersion: extensions/v1beta1  
kind: Deployment  
metadata:  
name: maven-deployment  
spec:  
replicas: 1  
template:  
metadata:  
labels:  
app: maven  
spec:  
imagePullSecrets:  
\- name: harborsecret  
containers:  
\- name: maven  
image: 192.168.10.122/java/ph:latest  
imagePullPolicy: Always  
ports:  
\- containerPort: 8080  
env:  
\- name: key  
value: "value"

将springbootdemo.yaml 提交到gitlab

查看内容是否更改

![format_png 18][]

k8s 生成imagePullSecrets，请参考以下链接

https://www.cnblogs.com/xiao987334176/p/11434326.html

注意：使用docker登录用户时，指定jenkins

docker login 192.168.10.122 -u jenkins -p Jenkins@1234

jenkins操作  
添加执行shell命令

![format_png 19][]

将下面的内容，贴过去

\#!/bin/bash

set -e  
echo ok  
echo $\{WORKSPACE\}  
k8sMaster=192.168.10.130  
scp $\{WORKSPACE\}/\*.yaml $\{k8sMaster\}:/root/kube-conf  
ssh $\{k8sMaster\} 'kubectl apply -f /root/kube-conf/springbootdemo.yaml'  
ssh $\{k8sMaster\} 'cd /root/kube-conf && kubectl delete -f springbootdemo.yaml && kubectl apply -f springbootdemo.yaml'  
ssh $\{k8sMaster\} 'kubectl get svc|grep maven'

命令解释：

这里主要就是将项目下的yaml文件复制到k8s master /root/kube-conf 目录

并应用yaml文件，最后查看svc信息。

效果如下：

![format_png 20][]

手动构建应用  
点击Build Now

![format_png 21][]

点击\#1

![format_png 22][]

点击控制台输出

![format_png 23][]

它会自己下载一些组件，需要等待一段时间。

![format_png 24][]

出现spring图标，表示应用开始启动构建了。

![format_png 25][]

最后出现错误

![format_png 26][]

为啥呢？ 查看springbootdemo 的Dockerfile文件，查看第一行

FROM registry-scu.cloudtogo.cn/ubuntu:jdk  
需要把 registry-scu.cloudtogo.cn 添加到 /etc/docker/daemon.json中

登录到jenkins服务器，修改 /etc/docker/daemon.json

vim /etc/docker/daemon.json  
内容如下：

\{"insecure-registries": \["192.168.10.122","registry-scu.cloudtogo.cn"\]\}

重新加载docker

/etc/init.d/docker reload

再次手动构建一次，点击Build Now

查看构建过程

出现以下提示，说明正在下载镜像 registry-scu.cloudtogo.cn/ubuntu:jdk

![format_png 27][]

最后提示执行完成

![format_png 28][]

查看harbor仓库  
会发现多了一个镜像，这个镜像，就是刚刚构建时，提交的。

![format_png 29][]

八、访问k8s 应用  
查看Pod状态  
root@k8s-master:~\# kubectl get pods -o wide  
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES  
maven-deployment-7bd87867f8-6tlgp 0/1 ImagePullBackOff 0 5m19s 192.168.36.68 k8s-node1 <none> <none>

发现pod运行在k8s-node1 这台服务器，状态是ImagePullBackOff

查看pod详细信息

kubectl describe po maven-deployment-7bd87867f8-6tlgp  
输出：

Events:  
Type Reason Age From Message  
\---- ------ ---- ---- -------  
Normal Scheduled 7m15s default-scheduler Successfully assigned default/maven-deployment-7bd87867f8-6tlgp to k8s-node1  
Normal Pulling 5m49s (x4 over 7m14s) kubelet, k8s-node1 Pulling image "192.168.10.122/maven:latest"  
Warning Failed 5m49s (x4 over 7m14s) kubelet, k8s-node1 Failed to pull image "192.168.10.122/maven:latest": rpc error: code = Unknown desc = Error response from daemon: Get https://192.168.10.122/v2/: dial tcp 192.168.10.122:443: connect: connection refused  
Warning Failed 5m49s (x4 over 7m14s) kubelet, k8s-node1 Error: ErrImagePull  
Normal BackOff 5m36s (x6 over 7m13s) kubelet, k8s-node1 Back-off pulling image "192.168.10.122/maven:latest"  
Warning Failed 2m11s (x20 over 7m13s) kubelet, k8s-node1 Error: ImagePullBackOff

出现

Get https://192.168.10.122/v2/: dial tcp 192.168.10.122:443: connect: connection refused  
说明，k8s-node1 这台服务器的 /etc/docker/daemon.json 没有更改

登录到k8s-node1 这台服务器，修改文件

vim /etc/docker/daemon.json  
内容如下：

\{"insecure-registries": \["192.168.10.122"\]\}

重新加载docker

/etc/init.d/docker reload

重新加载pod  
登录到k8s master服务器，删除pod，重新应用

root@k8s-master:~\# cd /root/kube-conf/  
root@k8s-master:~/kube-conf\# kubectl delete -f springbootdemo.yaml  
service "maven-service" deleted  
deployment.extensions "maven-deployment" deleted  
root@k8s-master:~/kube-conf\# kubectl apply -f springbootdemo.yaml  
service/maven-service created  
deployment.extensions/maven-deployment created

再次查看状态

root@k8s-master:~/kube-conf\# kubectl get pods -o wide  
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES  
maven-deployment-7bd7475544-q9b6j 1/1 Running 0 27s 192.168.36.77 k8s-node1 <none> <none>  
发现处于Running状态了

访问应用页面  
查看svc暴露的端口

root@k8s-master:~/kube-conf\# kubectl get svc|grep maven  
maven-service NodePort 10.98.152.31 <none> 8080:31002/TCP 4m  
可以发现，暴露的端口是31002

使用谷歌访问页面

http://192.168.10.130:31002/

效果如下：

![format_png 30][]

使用k8s-node1 的ip

http://192.168.10.131:31002/  
效果同上！

九、更新应用代码  
打开本地的项目springbootdemo，修改文件IndexController.java

路径如下：

springbootdemo\\src\\main\\java\\com\\example\\demo\\web\\controller

修改下面2行内容，把数字加1

jsonObject.put("welcome2", "2");  
jsonObject.put("welcome7", "7");

重新提交到gitlab，然后重新构建一次，点击Build Now

等待构建成功后，刷新页面

![format_png 31][]

发现内容已经更新了！

[format_png]: /images/20221123/811c56cd74024631917849c51b322f18.png
[format_png 1]: /images/20221123/c09023bf49ef4c909657cd1c268347fd.png
[format_png 2]: /images/20221123/2e54e67a717243f7bed57585291973ea.png
[format_png 3]: /images/20221123/2e9653f38e8c4a959424c1c5d0a9c504.png
[format_png 4]: /images/20221123/91754434ace444f38ae139dc33105b37.png
[format_png 5]: /images/20221123/b42043a12cd2434abab6dbd9403120fd.png
[format_png 6]: /images/20221123/e112b8d3cc31445782ebd96e5fa39b37.png
[format_png 7]: /images/20221123/d383a07b00ec470299ce98523b7530ad.png
[format_png 8]: /images/20221123/a1a3d0db24784e1da51a25621ff30871.png
[format_png 9]: /images/20221123/4c1906dc07a94a468651e8ef0db5960a.png
[format_png 10]: /images/20221123/608f9165da2b403eaa47f81f09d4a5a5.png
[format_png 11]: /images/20221123/955e27c8958044caa7170b39590fd63e.png
[format_png 12]: /images/20221123/3cb9b18c55614b1c9c0895f4534a4c0a.png
[format_png 13]: /images/20221123/b78350b3a6ca4db4811086e3fe378843.png
[format_png 14]: /images/20221123/ad3be9bbc3b4404987560a6c5dd3dbe5.png
[format_png 15]: /images/20221123/51fb40fedcf444bf8f8b5de3aedd27f4.png
[format_png 16]: /images/20221123/1d954612e4df4ef0a7befc7a29423647.png
[format_png 17]: /images/20221123/da193f53abe54b48817016199fb04c20.png
[format_png 18]: /images/20221123/a97862a5baa34d2bbc59fb01a237e7f3.png
[format_png 19]: /images/20221123/0efe13d7abf34a719bb9596054620597.png
[format_png 20]: /images/20221123/b84dbee33b764e629b7628c59b40c50f.png
[format_png 21]: /images/20221123/970550cdf8b340c6a66a68c14cbf4f60.png
[format_png 22]: /images/20221123/db6141925af744f1bff157f3ebe4b60d.png
[format_png 23]: /images/20221123/9bdadf4aefd2409aaaa648ce563e01a3.png
[format_png 24]: /images/20221123/549f353ec18d4cd29361f4ef9451d529.png
[format_png 25]: /images/20221123/40417ca51b434f9a995e9120e3c384b5.png
[format_png 26]: /images/20221123/091f7aa6771f46faa6958a671fa84dff.png
[format_png 27]: /images/20221123/7115bc307b7541349866e5ba9bcff5e8.png
[format_png 28]: /images/20221123/61b6ad62a3c24fa49aa64652a0d77fd5.png
[format_png 29]: /images/20221123/f5c0be9738084a468a98f420e6ceed90.png
[format_png 30]: /images/20221123/3a02ceb7ea084299a6d2eefcef03517c.png
[format_png 31]: /images/20221123/e11ace48cb7d4211b21f9ab77ffcddad.png