kubernetes听云实战发布版

淩亂°似流年 2022-01-26 03:51 226阅读 0赞

原文出自【听云技术博客】：[http://blog.tingyun.com/web/article/detail/825][http_blog.tingyun.com_web_article_detail_825]

听云线上使用k8s已经有一段时间了，下面对一些听云使用过程中的问题进行一些梳理，包括架构设计，安装部署和后期维护。 目录结构如下：

[![1.png][]][1.png]

下面进入正题：

我们以听云系统的一个报表系统为例来详细进行说明：

1.系统架构

该应用属于Java Web报表类应用，部署在云上。系统架构如下：

[![2.png][]][2.png]

这是典型web应用的系统架构，在听云内部大部分应用都是此形式，对于并发量不高的业务均可参考此文档。

基本规范：

1.configmap用来管理配置文件

2.deployment用来编排应用,进行升级回滚等

3.pv用于共享存储,后端为glustefsr和nfs

4.daemonset 用于变更不频繁,一台机器一个docker的应用

5.nginx+ingress来做前端负载均衡和自动发现

6.对并发要求很高的应用可以尝试用host模式，不用service做负载均衡

2.部署说明

参考架构图，我们需要nginx-ingress-controller 和 应用的Docker。下面分别进行详细说明。

2.1 准备基础Docker镜像

听云先进行应用的部署，规范是每个项目一个Docker镜像，版本号为jenkins构建的版本号。

为了规范日后上线。我们需要按层次构建镜像，方便日后使用。

构建基础镜像

由于听云的项目中绝大大部分为Java项目，为了精简Docke镜像大小，基础镜像我们没有采用Centos或者Ubuntu，而是采用了alpine,该镜像只有4MB。

Dockerfile内容如下：

FROM registry.tingyun.com/docker.io/alpine
    MAINTAINER netop "netop@tingyun.com"
    ENV REFRESHED_AT 2016-03-18
    RUN apk add --no-cache --update-cache bash
    ENV GLIBC_PKG_VERSION=2.23-r1
    RUN apk add --no-cache --update-cache curl ca-certificates bash && \
      curl -Lo /etc/apk/keys/andyshinn.rsa.pub "https://github.com/andyshinn/alpine-pkg-glibc/releases/download/${GLIBC_PKG_VERSION}/andyshinn.rsa.pub" && \
      curl -Lo glibc-${GLIBC_PKG_VERSION}.apk "https://github.com/andyshinn/alpine-pkg-glibc/releases/download/${GLIBC_PKG_VERSION}/glibc-${GLIBC_PKG_VERSION}.apk" && \
      curl -Lo glibc-bin-${GLIBC_PKG_VERSION}.apk "https://github.com/andyshinn/alpine-pkg-glibc/releases/download/${GLIBC_PKG_VERSION}/glibc-bin-${GLIBC_PKG_VERSION}.apk" && \
      curl -Lo glibc-i18n-${GLIBC_PKG_VERSION}.apk "https://github.com/andyshinn/alpine-pkg-glibc/releases/download/${GLIBC_PKG_VERSION}/glibc-i18n-${GLIBC_PKG_VERSION}.apk" && \
      apk add glibc-${GLIBC_PKG_VERSION}.apk glibc-bin-${GLIBC_PKG_VERSION}.apk glibc-i18n-${GLIBC_PKG_VERSION}.apk
    add Shanghai /etc/localtime
    ENV LANG en_US.UTF-8

构建镜像

docker build -t registry.tingyun.com/common/alpine .

push 到仓库中

docker push registry.tingyun.com/common/alpine

构建JDK镜像

Dockerfile内容如下：

FROM registry.tingyun.com/common/alpine
    MAINTAINER netop "netop@tingyun.com"
    ENV REFRESHED_AT 2016-03-14
    ADD  jdk1.7.0_45.tar.gz /opt
    ENV LANG en_US.UTF-8
    ENV JAVA_VERSION  1.7.0_45
    ENV JAVA_HOME  /opt/jdk1.7.0_45
    ENV PATH $JAVA_HOME/bin:$PATH

该镜像只添加了一个jdk包，我们build它

docker build -t registry.tingyun.com/common/jdk7 .
    push 到仓库中
    docker push registry.tingyun.com/common/jdk7
    构建tomcat镜像
    Docker内容如下:
    FROM registry.tingyun.com/common/jdk7
    MAINTAINER netop "netop@tingyun.com"
    ENV REFRESHED_AT 2016-03-14
    ADD  apache-tomcat-6.0.45.tar.gz /opt
    RUN ln -s /opt/apache-tomcat-6.0.45 /opt/apache-tomcat
    ADD server.xml /opt/apache-tomcat/conf/server.xml
    ENV CATALINA_HOME /opt/apache-tomcat
    ENV PATH $CATALINA_HOME/bin:$PATH
    ENV TOMCAT_MAJOR 6
    ENV TOMCAT_VERSION 6.0.45
    ENV JAVA_OPTS   -server -Djava.library.path=/opt/apache-tomcat/lib -XX:+UseConcMarkSweepGC  -XX:+PrintGCDetails  -XX:+PrintGCDateStamps -Xloggc:/opt/apache-tomcat/logs/gc.log
    WORKDIR $CATALINA_HOME
    ENV TINGYUN_APP_NAME="Java Application" \
    TINGYUN_LICENSE_KEY=f451bae910b4c3f4473e0c83d2113742
    RUN curl -o /tingyun-agent-java-latest.zip  http://download.tingyun.com/agent/java/latest/tingyun-agent-java-latest.zip
    RUN mkdir /opt/tingyun_agent;unzip /tingyun-agent-java-latest.zip -d /opt/tingyun_agent
    RUN rm /tingyun-agent-java-latest.zip -rf
    ENV CONNECTOR='<Connector port="8080" maxHttpHeaderSize="8192"    maxThreads="300" minSpareThreads="25" maxSpareThreads="300"      enableLookups="false" redirectPort="8443" acceptCount="100"     connectionTimeout="20000" disableUploadTimeout="true" />'
    ENV CONTEXT=""
    ENV ACCESS_LOG="<Valve className=\"org.apache.catalina.valves.AccessLogValve\" directory=\"logs\"               prefix=\"access_log.\" suffix=\".log\"               pattern='%{X-Request-Start}i %{X-Queue-Start}i  %{X-Forwarded-For}i %h %l %u %t \"%r\" %s %b \"%{Referer}i\" \"%{User-Agent}i\" %T' resolveHosts=\"false\"/>"
    ADD run.sh /run.sh
    EXPOSE 8080
    CMD ["/run.sh"]

run.sh内容如下:

#!/bin/bash
    TINGYUN_AGENT_PATH="/opt/tingyun_agent/tingyun/tingyun.properties"
    TOMCAT_CONF_PATH="/opt/apache-tomcat/conf/server.xml"
    sed -i "s/Java Application/$TINGYUN_APP_NAME/"  $TINGYUN_AGENT_PATH
    sed -i "s/<%=license_key%>/$TINGYUN_LICENSE_KEY/"  $TINGYUN_AGENT_PATH
    sed -i "s#CONNECTOR#$CONNECTOR#"  $TOMCAT_CONF_PATH
    sed -i "s#CONTEXT#$CONTEXT#"  $TOMCAT_CONF_PATH
    sed -i "s#ACCESS_LOG#$ACCESS_LOG#"  $TOMCAT_CONF_PATH
    catalina.sh run

server.xml内容如下：

此处不贴文本了，内容为标准的server.xml 做了字符串替换。

此处将Connector注释掉，改为CONNECTOR

[![3.png][]][3.png]

此处将access\_log和 context部分 删掉 ，替换为图片中字符串。

[![4.png][]][4.png]

我们进行build

docker build -t registry.tingyun.com/common/jdk7-tomcat6 .
    docker push registry.tingyun.com/common/jdk7-tomcat6

查看该Dockerfile会注意到我们将听云Server探针进行了嵌入。是否启用探针我们会在后续的k8s配置文件进行控制，因为应用在k8s上跑具体跑在哪台机器上是不固定的，原有的zabbix jmx监控无法满足需求，我们利用听云Server来进行监控。

2.2 利用jenkins构建应用镜像

按照上文方式，准备好相关的基础镜像，如jdk7-tomcat6 jdk8-tomcat8等。

下边利用jenkins来构建应用镜像。

由于听云的jenkins本身操作系统版本太低，无法使用docker， 所以要选一台部署了docker的机器作为build机,通过ssh的方式来进行build。（此处视build的数量考虑是否需要利用jenkins slave的方式来进行build。简单测试过mesos 作为slave的方式，流程跑通，没有深测）

听云工程师们是通过写个通用的build脚本,用来build应用的镜像。

vi build\_tomcat\_docker.sh

#!/bin/bash
    FUN_DIR=$1
    APP_DIR=$2
    PACK_NAME=$3
    PACK_MD5=$4
    APP_NAME=$5
    BASE_IMG=$6
    FINISH_IMG=$7
    BUILD_NUM=$8
    if [ -d "/data/tmp" ];then
        rm /data/tmp/* -rf 
    else
        mkdir /data/tmp -p
    fi
    if [ ! -n "$1" ] || [ ! -n "$2" ] || [ ! -n "$3" ] || [ ! -n "$4" ] || [ ! -n "$5" ] || [ ! -n "$6" ] || [ ! -n "$7" ] || [ ! -n "$8" ] ;then
        echo "build error,please input  vars"
    else
        PACK_URL=http://192.168.1.16/tingyun/${PACK_NAME}
        MD5_URL=http://192.168.1.16/tingyun/${PACK_MD5}
        /usr/bin/curl -o /data/tmp/${PACK_NAME} $PACK_URL
        /usr/bin/curl -o /data/tmp/${PACK_MD5} $MD5_URL
        MD5_ORIGN=`/usr/bin/curl $MD5_URL | awk '{print $1}'`
        MD5_WGET=`cat /data/tmp/${PACK_MD5} | awk '{print $1}'`
        if [ "$MD5_ORIGN" = "$MD5_WGET" ]; then
            echo "md5sum sucess"
            /usr/bin/unzip /data/tmp/${PACK_NAME} -d  /data/tmp/${APP_NAME}
            ADD_FILE="ADD ${APP_NAME} /opt/${FUN_DIR}/${APP_DIR}/${APP_NAME}"
            cp /data/build/Dockerfile_template /data/tmp/Dockerfile 
            sed -i "s#BASE_IMG#$BASE_IMG#" /data/tmp/Dockerfile
            sed -i "s#ADD_FILE#$ADD_FILE#" /data/tmp/Dockerfile
            docker build --no-cache=true -t  ${FINISH_IMG}:${BUILD_NUM} /data/tmp/
            docker push ${FINISH_IMG}:${BUILD_NUM}
            echo  "build img is ${FINISH_IMG}:${BUILD_NUM}"
        else
            echo "md5sum failed"
        fi  
    fi

vim Dockerfile\_template

FROM BASE_IMG
    MAINTAINER netop "netop@tingyun.com"
    ENV REFRESHED_AT 2016-02-18
    ADD_FILE

如果Java探针有更新，需要重新build下前边的基础镜像，在build机器上重新pull镜像后再构建应用镜像。

打开jenkins该项目，标红处添加该行，用于记录要升级的镜像和build号

注意命名规范:中间列是产品线。

[![5.png][]][5.png]

添加下列用于构建镜像的机器

[![6.png][]][6.png]

用jenkins build

build 成功。

[![7.png][]][7.png]

2.3 k8s配置应用

镜像已经准备好了，接下来配置应用

2.3.1 配置configmap

应用的配置文件统一通过conigmap来管理

mkdir configmap
    cd configmap
    ls -al

[![8.png][]][8.png]

配置文件放到该目录下

vim create_configmap.sh
    kubectl create configmap report-app-beta-config --from-file=configmap
    vim reload_configmap.sh 
    kubectl delete configmap report-app-beta-config
    kubectl create configmap report-app-beta-config --from-file=configmap

2.3.2 配置deployment

下面配置deployment

vim deployment.yaml

apiVersion: extensions/v1beta1
    kind: Deployment
    metadata:
      name: report-app-beta     #应用名称
    spec:
      replicas: 10               #启动副本个数
      minReadySeconds: 60     #滚动升级时60s后认为该pod就绪
      strategy:
        rollingUpdate:
          maxSurge: 50%      #滚动升级时会先启动20%的pod
      template:
        metadata:
          labels:
            name: report-app-beta
        spec:
          volumes:
          - name: config-volume               #configmap的挂载点
            configMap:                      
              name: report-app-beta-config
          - name: pv-mapping-files             #pvc的挂载点
            persistentVolumeClaim:
              claimName: mapping-files
          nodeSelector:                     #选择调度的node节点
            zone: low
    #      hostNetwork: true
          containers:
          - name: report-app-beta
    #        livenessProbe:                  #监控
    #          httpGet:
    #            path: /healthCheck
    #            port: 8080
    #          initialDelaySeconds: 30
    #          timeoutSeconds: 10
            image: registry.tingyun.com/app/report-app:1
            command:             #小hack,为了不重打镜像,不执行默认的命令
              - sh
              - "-c"
              - ln -s /opt/mapping_files/puuid /bin/puuid && /run.sh
               env:                               #环境变量
            - name: TINGYUN_APP_NAME
              value: report-app
            - name: TINGYUN_LICENSE_KEY
              value: f451bae910b4c3f4473e0c83d2113742
            - name: JAVA_OPTS
              value: "-server -Djava.library.path=/opt/apache-tomcat/lib -Xms512m -Xmx2048m -XX:NewRatio=4 -Xss1024k  -XX:PermSize=64M -XX:MaxPermSize=256M   -XX:+UseConcMarkSweepGC  -XX:+PrintGCDetails  -XX:+PrintGCDateStamps -Xloggc:/opt/apache-tomcat/logs/gc.log -javaagent:/opt/tingyun_agent/tingyun/tingyun-agent-java.jar -Duser.language=zh -Duser.region=CN -Duser.timezone=GMT+08 -DappName=report-app"
            - name: CONNECTOR
              value: '<Connector port="8080" maxHttpHeaderSize="8192"    maxThreads="300" minSpareThreads="25" maxSpareThreads="300"      enableLookups="false" redirectPort="8443" acceptCount="100"     connectionTimeout="20000" disableUploadTimeout="true" /> '
            - name: CONTEXT
              value: '<Context path="/mobile" reloadable="false" allowLinking="true"  docBase="/opt/tingyun/report-app/webapp/" workDir="/opt/tingyun/report-app/work/"/>   '
            ports:
             - containerPort: 8080
            volumeMounts:                     #上边的挂载点挂载到容器中的路径
            - name: config-volume                           
              mountPath: /opt/tingyun/report-app/conf      
            - name: pv-mapping-files
              mountPath: /opt/mapping_files

kubectl create -f deployment.yaml

kuectl get pods

看pod已经起来了

[![9.png][]][9.png]

2.3.3 配置Service

下面配置service

vim service.yaml

apiVersion: v1
    kind: Service
    metadata:
      name: report-app-beta
      labels:
        name: report-app-beta
    spec:
     # sessionAffinity: ClientIP   #在基于新的nginx-ingress-controller已经不需要配置该项，session绑定在nginx处配置
      ports:
        - port: 8080
      selector:
        name: report-app-beta

kubectl create -f service.yaml

kubectl get service

[![10.png][]][10.png]

2.3.4 配置ingress

下面配置ingress

vim ingress.yaml
    apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      name: report-app-beta
    spec:
      rules:
      - host: report-beta.tingyun.com     #域名
        http:
          paths:
          - path: /mobile               #访问路径
            backend: 
              serviceName: report-app-beta    #service名称
              servicePort: 8080              #service端口

kubectl create -f ingress.yaml

kubect get ingress

[![10.png][10.png 1]][10.png 1]

2.4 创建nginx-ingress-controller

nginx-ingress-controller 需要监听宿主机的80端口,固定在某几台机器上，为此需要给相关node 定义标签。

kubectl label nodes ucd-ty-k8s-node-001.ucd.tingyun.com role=nginx-lb

kubectl get nodes --show-labels

创建configmap

vim nginx.tmpl

该文件可以去github上下载

[https://github.com/kubernetes/contrib/blob/master/ingress/controllers/nginx/nginx.tmpl][https_github.com_kubernetes_contrib_blob_master_ingress_controllers_nginx_nginx.tmpl]

kubectl create configmap nginx-template --from-file=nginx.tmpl=nginx.tmpl

为了将为所有在nginx后的项目开启session保持,同时听云的开发工程师要打开后端监控页面,需要修改两个地方。

[![1.png][1.png 1]][1.png 1]

这里暂时先改为无论如何都启用session保持

[![2.png][2.png 1]][2.png 1]

这里直接启用traffic\_status

vim rc.yaml

该文件可以去github下载

[https://github.com/kubernetes/contrib/blob/master/ingress/controllers/nginx/examples/full/rc-full.yaml][https_github.com_kubernetes_contrib_blob_master_ingress_controllers_nginx_examples_full_rc-full.yaml]

kubectl create rc.yaml

查看nginx\_status界面

http://10.10.228.175:8080/nginx\_status

[![1.png][1.png 2]][1.png 2]

接下来即可访问该项目

[![2.png][2.png 2]][2.png 2]

[http_blog.tingyun.com_web_article_detail_825]: http://blog.tingyun.com/web/article/detail/825
[1.png]: /images/20220126/ec90cbf2ca564e809e558c6735f7fe0b.png
[2.png]: /images/20220126/fe5f56d281934a9ab96be28f9c98a181.png
[3.png]: /images/20220126/038a2ebba80043e786bf1bd636f8bb02.png
[4.png]: /images/20220126/93ce60860a90427a9c0b55dce348952a.png
[5.png]: /images/20220126/0eaf8224e9c149c1800b0cf74942f33a.png
[6.png]: /images/20220126/ff803daf795843b6a0a2aa6d9c98ae82.png
[7.png]: /images/20220126/4e62e3815e5143dd830745832792ac85.png
[8.png]: /images/20220126/4c9ea80c31634919b834d5260961afe9.png
[9.png]: /images/20220126/7eb00146d3334872902e01071042eb3f.png
[10.png]: /images/20220126/8e5b787031c54b0ebf199b12182fe361.png
[10.png 1]: /images/20220126/f67589e8ce624f74918982218072b969.png
[https_github.com_kubernetes_contrib_blob_master_ingress_controllers_nginx_nginx.tmpl]: https://github.com/kubernetes/contrib/blob/master/ingress/controllers/nginx/nginx.tmpl
[1.png 1]: /images/20220126/f87602d2f7554a129a6294adb5bdbabf.png
[2.png 1]: /images/20220126/c051698145ce4e068d8487378f5c378d.png
[https_github.com_kubernetes_contrib_blob_master_ingress_controllers_nginx_examples_full_rc-full.yaml]: https://github.com/kubernetes/contrib/blob/master/ingress/controllers/nginx/examples/full/rc-full.yaml
[1.png 2]: /images/20220126/8dda4de191004b7090e3a5282f5ab988.png
[2.png 2]: /images/20220126/01352816d3894b2592538159a9c4aba1.png