k8s ingress (http/https)部署与使用

我会带着你远行 2022-12-14 06:23 465阅读 0赞

## ##

*  [一、背景][Link 1]
    
     *  [1.1 需求][1.1]
     *  [1.2 Ingress][]
     *  [1.3 环境介绍][1.3]
 *  [二、安装部署][Link 2]
    
     *  [2.1、创建后端 Pod 应用][2.1_ Pod]
     *  [2.2 创建后端 Pod Service][2.2 _ Pod Service]
     *  [2.3、创建 ingress 资源][2.3_ ingress]
     *  [2.4、为 Nginx Pod 创建 Service][2.4_ Nginx Pod _ Service]
 *  [三、升级为 https][https]
    
     *  [3.1 首先我们要制作证书][3.1]
     *  [3.2、创建 secret 资源][3.2_ secret]
     *  [3.3 更改 ingress 资源][3.3 _ ingress]
     *  [3.4 浏览器访问验证][3.4]
 *  [四、ingress 资源介绍][ingress]
    
     *  [4.1、通过访问路径过滤][4.1]
     *  [4.2、基于名称解析的虚拟主机][4.2]
     *  [4.3、https][4.3_https]

# 一、背景 #

## 1.1 需求 ##

我们有这样的一个需求，就是把 Pod 集群升级为 https，目前的办法就是要么每个容器配置 https，然后前端通过 Service 进行调度，但是这样配置起来会比较麻烦，以及每个容器的建立都通过 https ，也增加了建立连接的负担。

我们需要一种这样的改造，就是客户端连接到 Service 是通过 https，而 Service 向后端 Pod 的调度通过 http，这样可以极大的优化我们的集群，这里我们就需要用到 Kubernetes 的另外一种资源 [Ingress][]。

![8771c030dc6eb01419e9fd50ee249f78.png][]

## 1.2 Ingress ##

Ingress 就是一个负载均衡的应用，它和 Service 的不同之处在于，Service 只可以支持 4 层的负载均衡，而 Ingress 是支持 7 层的负载均衡，支持 http 和 https，包括通过主机名的访问已经路径访问的过滤。

那为什么不直接使用 Nginx？这是因为在 K8S 集群中，如果每加入一个服务，我们都在 Nginx 中添加一个配置，其实是一个重复性的体力活，只要是重复性的体力活，我们都应该通过技术将它干掉。

Ingress就可以解决上面的问题，其包含两个组件`Ingress Controller`和`Ingress`：

**Ingress：**将Nginx的配置抽象成一个Ingress对象，每添加一个新的服务只需写一个新的Ingress的yaml文件即可；  
**Ingress Controller：**将新加入的 Ingress 转化成 Nginx 的配置文件并使之生效，包含 Contour、F5、HAProxy、Istio、Kong、Nginx、Traefik，官方推荐我们使用 Nginx。

![b0d1c3bd524ee5b2d85a82c6256409f8.png][]

## 1.3 环境介绍 ##

我们是采用了三台服务器的一个集群，部署文档请查看我之前的[博文][Link 3]。

<table> 
 <thead> 
  <tr> 
   <th>IP</th> 
   <th>角色</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.1.200</td> 
   <td>k8s-master</td> 
  </tr> 
  <tr> 
   <td>192.168.1.201</td> 
   <td>k8s-node01</td> 
  </tr> 
  <tr> 
   <td>192.168.1.202</td> 
   <td>k8s-node02</td> 
  </tr> 
 </tbody> 
</table>

[root@master ~]# kubectl get nodes
    NAME     STATUS   ROLES    AGE    VERSION
    master   Ready    master   117s   v1.13.0
    node01   Ready    <none>   52s    v1.13.0
    node02   Ready    <none>   42s    v1.13.0

# 二、安装部署 #

我们这里只针对上面架构图中的域名`www.wzlinux.com`改造成https。

我们将以官方的标准脚本为基础进行搭建，参考请戳[官方文档][Link 4]。官方文档中要求执行如下命令：

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/mandatory.yaml

## 2.1、创建后端 Pod 应用 ##

我们创建一个控制器`wzlinux-deploy.yaml`，内容如下：

apiVersion: extensions/v1beta1
    kind: Deployment
    metadata:
      name: wzlinux-dep
    spec:
      replicas: 3
      template:
        metadata:
          labels:
            run: wzlinux
        spec:
          containers:
          - name: wzlinux
            image: wangzan18/mytest:v1
            ports:
            - containerPort: 8080

创建好之后查看如下：

[root@master ingress]# kubectl get pod
    NAME                           READY   STATUS    RESTARTS   AGE
    wzlinux-dep-78d5d86c7c-fj8f5   1/1     Running   0          53m
    wzlinux-dep-78d5d86c7c-hr6gd   1/1     Running   0          53m
    wzlinux-dep-78d5d86c7c-jqf59   1/1     Running   0          53m

## 2.2 创建后端 Pod Service ##

测试好 Pod 一些正常之后，我们为这一组 Pod 创建一个 Service，文件`wzlinux-svc.yaml`内容如下：

apiVersion: v1
    kind: Service
    metadata:
      name: wzlinux-svc
    spec:
      selector:
        run: wzlinux
      ports:
      - port: 80
        targetPort: 8080

这个 Service 并不是我们用了代理访问 Pod 的，只是用来`ingress-controller`来进行选择控制使用的，所以上图描述为虚线。

[root@master ingress]# kubectl get svc
    NAME          TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)    AGE
    kubernetes    ClusterIP   10.96.0.1        <none>        443/TCP    58m
    wzlinux-svc   ClusterIP   10.106.219.230   <none>        8080/TCP   50m
    [root@master ingress]# curl 10.106.219.230:8080
    Hello Kubernetes bootcamp! | Running on: wzlinux-dep-78d5d86c7c-fj8f5 | v=1

## 2.3、创建 ingress 资源 ##

为了实现过滤以及 https 功能，我们需要创建 ingress 资源文件，ingress controller 把其中的资源加载到 nginx 里面，资源文件`wzlinux-ingress.yaml`文件内容如下：

apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      name: wzlinux-ingress
    spec:
      rules:
      - host: www.wzlinux.com
        http:
          paths:
          - path:
            backend:
              serviceName: wzlinux-svc
              servicePort: 8080

我们这里先不改为 https，先使用虚拟主机域名过滤模式，创建好资源之后查看

[root@master ingress]# kubectl get ingress
    NAME              HOSTS             ADDRESS   PORTS   AGE
    wzlinux-ingress   www.wzlinux.com             80      37m

可以看到配置了域名`www.wzlinux.com`，其他地址访问将返回404。

## 2.4、为 Nginx Pod 创建 Service ##

我们可以查看部署的 Nginx Pod 容器，我们设定的 ingress 资源会被 controller 更新到里面，我们可以查看如下：

[root@master ingress]# kubectl get pod -n ingress-nginx
    NAME                                        READY   STATUS    RESTARTS   AGE
    nginx-ingress-controller-766c77b7d4-dlcpf   1/1     Running   0          31m

为了是外网可以访问到这个 Nginx Pod，我们需要为其再创建一个 Service，文件`ingress-nginx.yaml`，文件内容如下：

apiVersion: v1
    kind: Service
    metadata:
      name: ingress-nginx
      namespace: ingress-nginx
    spec:
      type: NodePort
      ports:
      - name: http
        port: 80
        targetPort: 80
        nodePort: 30080
      - name: https
        port: 443
        targetPort: 443
        nodePort: 30443
      selector:
        app.kubernetes.io/name: ingress-nginx

测试是否正常，记得在`/etc/hosts`中把域名执行的IP改为node节点的地址。

[root@master ~]# curl 192.168.1.200:30080
    <html>
    <head><title>404 Not Found</title></head>
    <body>
    <center><h1>404 Not Found</h1></center>
    <hr><center>nginx/1.15.6</center>
    </body>
    </html>
    [root@master ~]# curl www.wzlinux.com:30080
    Hello Kubernetes bootcamp! | Running on: wzlinux-dep-78d5d86c7c-hr6gd | v=1

可以看到通过域名访问正常调度到后端，其他地址访问返回404，目前整个流程已经测试完成，下面我们升级为 https。

# 三、升级为 https #

## 3.1 首先我们要制作证书 ##

关于证书大家可以使用 openssl 制作，创建私有：

openssl genrsa -out wzlinux.key 2048

制作自签证书。

openssl req -new -x509 -key wzlinux.key -out wzlinux.crt -subj /C=CN/ST=Shanghai/L=Shanghai/O=DevOps/CN=www.wzlinux.com

不过我这里使用阿里云的官方免费证书，大家可以到阿里云进行申请。  
![01adfab9994095195d06bc98d6fd4feb.png][]

![4e0d427939543a834da59c079e93de32.png][]  
制作好证书之后下载即可，里面包含公钥和私钥。

## 3.2、创建 secret 资源 ##

可以使用 yaml 文件创建，文件名称`wzlinux-secret.yaml`内容如下：

apiVersion: v1
    kind: Secret
    data:
      tls.crt: base64 encoded cert
      tls.key: base64 encoded key
    metadata:
      name: wzlinux-secret
      namespace: default
    type: Opaque

因为编码的密码太长，我们这里直接使用命令行进行创建吧，操作比较简单。

kubectl create secret tls wzlinux-secret --cert=wzlinux.crt --key=wzlinux.key

查看创建好的 secret。

[root@master ingress]# kubectl describe secret wzlinux-secret
    Name:         wzlinux-secret
    Namespace:    default
    Labels:       <none>
    Annotations:  <none>
    
    Type:  kubernetes.io/tls
    
    Data
    ====
    tls.crt:  1996 bytes
    tls.key:  1675 bytes

## 3.3 更改 ingress 资源 ##

重新编辑`wzlinux-ingress.yaml`，增加一个 tls 字段：

apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      name: wzlinux-ingress
    spec:
      tls:
      - hosts:
        - www.wzlinux.com
        secretName: wzlinux-secret
      rules:
      - host: www.wzlinux.com
        http:
          paths:
          - path:
            backend:
              serviceName: wzlinux-svc
              servicePort: 8080

## 3.4 浏览器访问验证 ##

打开浏览器，记得修改好 hosts 域名解析。  
![b0721ec322e015b44c2ec6a03d6c12f6.png][]

# 四、ingress 资源介绍 #

## 4.1、通过访问路径过滤 ##

foo.bar.com -> 178.91.123.132 -> / foo    service1:4200
                                     / bar    service2:8080

配置文件我们设置为如下：

apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      name: simple-fanout-example
      annotations:
        nginx.ingress.kubernetes.io/rewrite-target: /
    spec:
      rules:
      - host: foo.bar.com
        http:
          paths:
          - path: /foo
            backend:
              serviceName: service1
              servicePort: 4200
          - path: /bar
            backend:
              serviceName: service2
              servicePort: 8080

## 4.2、基于名称解析的虚拟主机 ##

配置文件内容格式如下：

apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      name: name-virtual-host-ingress
    spec:
      rules:
      - host: first.bar.com
        http:
          paths:
          - backend:
              serviceName: service1
              servicePort: 80
      - host: second.foo.com
        http:
          paths:
          - backend:
              serviceName: service2
              servicePort: 80
      - http:
          paths:
          - backend:
              serviceName: service3
              servicePort: 80

## 4.3、https ##

apiVersion: extensions/v1beta1
    kind: Ingress
    metadata:
      name: tls-example-ingress
    spec:
      tls:
      - hosts:
        - sslexample.foo.com
        secretName: testsecret-tls
      rules:
        - host: sslexample.foo.com
          http:
            paths:
            - path: /
              backend:
                serviceName: service1
                servicePort: 80

### 参考： [https://blog.csdn.net/qq\_25611295/article/details/85268581][https_blog.csdn.net_qq_25611295_article_details_85268581] ###

[Link 1]: https://www.cnblogs.com/wzlinux/p/10159366.html#%E4%B8%80%E3%80%81%E8%83%8C%E6%99%AF
[1.1]: https://www.cnblogs.com/wzlinux/p/10159366.html#11-%E9%9C%80%E6%B1%82
[1.2 Ingress]: https://www.cnblogs.com/wzlinux/p/10159366.html#12-ingress
[1.3]: https://www.cnblogs.com/wzlinux/p/10159366.html#13-%E7%8E%AF%E5%A2%83%E4%BB%8B%E7%BB%8D
[Link 2]: https://www.cnblogs.com/wzlinux/p/10159366.html#%E4%BA%8C%E3%80%81%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2
[2.1_ Pod]: https://www.cnblogs.com/wzlinux/p/10159366.html#21%E3%80%81%E5%88%9B%E5%BB%BA%E5%90%8E%E7%AB%AF-pod-%E5%BA%94%E7%94%A8
[2.2 _ Pod Service]: https://www.cnblogs.com/wzlinux/p/10159366.html#22-%E5%88%9B%E5%BB%BA%E5%90%8E%E7%AB%AF-pod-service
[2.3_ ingress]: https://www.cnblogs.com/wzlinux/p/10159366.html#23%E3%80%81%E5%88%9B%E5%BB%BA-ingress-%E8%B5%84%E6%BA%90
[2.4_ Nginx Pod _ Service]: https://www.cnblogs.com/wzlinux/p/10159366.html#24%E3%80%81%E4%B8%BA-nginx-pod-%E5%88%9B%E5%BB%BA-service
[https]: https://www.cnblogs.com/wzlinux/p/10159366.html#%E4%B8%89%E3%80%81%E5%8D%87%E7%BA%A7%E4%B8%BA-https
[3.1]: https://www.cnblogs.com/wzlinux/p/10159366.html#31-%E9%A6%96%E5%85%88%E6%88%91%E4%BB%AC%E8%A6%81%E5%88%B6%E4%BD%9C%E8%AF%81%E4%B9%A6
[3.2_ secret]: https://www.cnblogs.com/wzlinux/p/10159366.html#32%E3%80%81%E5%88%9B%E5%BB%BA-secret-%E8%B5%84%E6%BA%90
[3.3 _ ingress]: https://www.cnblogs.com/wzlinux/p/10159366.html#33-%E6%9B%B4%E6%94%B9-ingress-%E8%B5%84%E6%BA%90
[3.4]: https://www.cnblogs.com/wzlinux/p/10159366.html#34-%E6%B5%8F%E8%A7%88%E5%99%A8%E8%AE%BF%E9%97%AE%E9%AA%8C%E8%AF%81
[ingress]: https://www.cnblogs.com/wzlinux/p/10159366.html#%E5%9B%9B%E3%80%81ingress-%E8%B5%84%E6%BA%90%E4%BB%8B%E7%BB%8D
[4.1]: https://www.cnblogs.com/wzlinux/p/10159366.html#41%E3%80%81%E9%80%9A%E8%BF%87%E8%AE%BF%E9%97%AE%E8%B7%AF%E5%BE%84%E8%BF%87%E6%BB%A4
[4.2]: https://www.cnblogs.com/wzlinux/p/10159366.html#42%E3%80%81%E5%9F%BA%E4%BA%8E%E5%90%8D%E7%A7%B0%E8%A7%A3%E6%9E%90%E7%9A%84%E8%99%9A%E6%8B%9F%E4%B8%BB%E6%9C%BA
[4.3_https]: https://www.cnblogs.com/wzlinux/p/10159366.html#43%E3%80%81https
[Ingress]: https://kubernetes.io/docs/concepts/services-networking/ingress/
[8771c030dc6eb01419e9fd50ee249f78.png]: /images/20221123/68a44089a1dd4d5591193c2abab80a5b.png
[b0d1c3bd524ee5b2d85a82c6256409f8.png]: /images/20221123/f4fbc88ea3b64fa8a639006a6468e48a.png
[Link 3]: http://blog.51cto.com/wzlinux/2322616
[Link 4]: https://kubernetes.github.io/ingress-nginx/deploy/
[01adfab9994095195d06bc98d6fd4feb.png]: /images/20221123/a224c94e045b4ee48d4e209e58b5a86c.png
[4e0d427939543a834da59c079e93de32.png]: /images/20221123/4f7d14ec6eb549008d11f13f8eaa9441.png
[b0721ec322e015b44c2ec6a03d6c12f6.png]: /images/20221123/6a6615e27b8b490cafd4500cb58b713d.png
[https_blog.csdn.net_qq_25611295_article_details_85268581]: https://blog.csdn.net/qq_25611295/article/details/85268581