k8s实践(8)--ssl安全认证配置

女爷i 2021-12-12 11:51 705阅读 0赞

# **一.基于CA签名的双向数字证书认证方式** #

--------------------

在一个安全的内网环境中, Kubernetes的各个组件与Master之间可以通过apiserver的非安全端口http://apiserver:8080进行访问。但如果apiserver需要对外提供服务,或者集群中的某些容器也需要访问apiserver以获取集群中的某些信息,则更安全的做法是启用HTTPS安全机制。Kubernetes提供了基于CA签名的双向数字证书认证方式和简单的基于HTTP BASE或TOKEN的认证方式,其中CA证书方式的安全性最高。本节先介绍以CA证书的方式配置Kubernetes集群,要求Master上的kube-apiserver.kube-controller-manager. kube-scheduler进程及各Node上的kubelet, kube-proxy进程进行CA签名双向数字证书安全设置

k8s中哪些组件需要进行tls证书认证，哪些不需要？

kube-scheduler、kube-controller-manager 一般和 kube-apiserver 部署在同一台机器上，它们使用非安全端口和 kube-apiserver通信，非安全端口默认为http的8080，可以使用--insecure-port指定，监听非安全端口的地址默认为127.0.0.1，可以使用--insecure-bind-address指定；

kubelet、kube-proxy、kubectl 部署在其它 Node 节点上，如果通过安全端口访问 kube-apiserver，则必须先通过 TLS 证书认证，再通过 RBAC 授权。安全端口默认为https的6443，可以使用--secure-port指定，监听安全端口的地址默认为0.0.0.0（监听所有接口），可以使用--bind-address指定。

## 1、基于CA签名的双向数字证书的生成过程如下： ##

(1)为kube-apiserver生成一个数字证书,并用CA证书进行签名。

(2)为kube-apiserver进程配置证书相关的启动参数,包括CA证书(用于验证客户端证书的签名真伪)、自己的经过CA签名后的证书及私钥,

(3)为每个访问Kubernetes API Server的客户端(如kube-controller-manager.kube-scheduler,kubelet, kube-proxy及调用API Server的客户端程序kubectl等)进程生成自己的数字证书,也都用CA证书进行签名,在相关程序的启动参数里增加CA证书、自己的证书等相关参数。1)设置kube-apiserver的CA证书相关的文件和启动参数

# #

生成如下证书：

**根证书公钥与私钥：**ca-public.pem与ca-private.pem

**API Server公钥与私钥：**apiserver-public.pem与apiserver-private.pem

**从节点公钥与私钥：**kubelet-publi.pem与kubelet-private.pem

**集群管理员公钥与私钥：**admin.pem与admin-key.pem

# 二、根证书生成 #

--------------------

我们需要一个证书来为自己颁发的证书签名，这个证书可从其他CA获取，或者是自签名的根证书。这里我们生成一个自签名的根证书。

## 1、CA根证书 ca-private.pem ##

生成一个2048位的密钥:

> \# openssl genrsa -out ca-private.pem 2048

## 2、生成CA私钥 ##

我们自己做测试，那么证书的申请机构和颁发机构都是自己。直接生成证书私钥，-day指定证书有效期

\# openssl req -x509 -new -nodes -key ca-private.pem \-days 3650 -out ca-public.pem \-subj "/CN=kube-ca"

注意:生成ca-private.pem时, -subi参数中"CN"的值通常为域名。

# 三、生成apiserver服务端证书 #

--------------------

# 1、apiserver证书使用说明 #

### kube-apiserver ###

<table> 
 <thead> 
  <tr> 
   <th>使用的证书</th> 
   <th>证书作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><span style="color:#7c79e5;">ca-public.pem</span></td> 
   <td>CA根证书</td> 
  </tr> 
  <tr> 
   <td><span style="color:#f33b45;">ca-private.pem</span></td> 
   <td>CA端私钥</td> 
  </tr> 
  <tr> 
   <td><span style="color:#7c79e5;">apiserver-public.pem</span></td> 
   <td>kube-apiserver的tls认证证书</td> 
  </tr> 
  <tr> 
   <td><span style="color:#f33b45;">apiserver-private.pem</span></td> 
   <td>kube-apiserver的tls认证私钥</td> 
  </tr> 
 </tbody> 
</table>

`--token-auth-file`指定了token.csv的位置，用于kubelet 组件 **第一次启动时没有证书如何连接 apiserver** 。 Token 和 apiserver 的 CA 证书被写入了 kubelet 所使用的 bootstrap.kubeconfig 配置文件中；这样在首次请求时，kubelet 使用 bootstrap.kubeconfig 中的 apiserver CA 证书来与 apiserver 建立 TLS 通讯，使用 bootstrap.kubeconfig 中的用户 Token 来向 apiserver 声明自己的 RBAC 授权身份

`--tls-cert-file=`apiserver-public.pem指定kube-apiserver证书地址

`--tls-private-key-file=`apiserver-private.pem指定kube-apiserver私钥地址

`--client-ca-file=`ca-public.pem 指定根证书地址

`--service-account-key-file=`ca-private.pem/apiserver-private.pem包含PEM-encoded x509 RSA公钥和私钥的文件路径，用于验证Service Account的token，如果不指定，则使用--tls-private-key-file指定的文件

`--etcd-cafile=`ca-private.pem 到etcd安全连接使用的SSL CA文件

`--etcd-certfile=`apiserver-public.pem 到etcd安全连接使用的SSL 证书文件

`--etcd-keyfile=`apiserver-private.pem到etcd安全连接使用的SSL 私钥文件

基于masterssl.cnf创建apiserver-public.pem和apiserver-private.pem文件。

在生成apiserver.csr时,  -subi参数中"/CN"指定的名字需为Master所在的主机名。

## **2、证书生成** ##

### **1）证书配置** ###

创建用于生成证书签名请求（CSR）的配置文件**masterssl.cnf**，该文件用于x509 v3版本的证书。

在该文件中主要需要设置:

(1)、Master服务器的hostname (k8s-master)、IP地址$\{MASTER\_IPV4\}(192.168.10.50),

(2)、Kubernetes Master Service的虚拟服务名称(kubernetes.default等)和使用自己规划作为kubernetes service IP端的首IP替换$\{K8S\_SERVICE\_IP\}

即apiserver参数的--service-cluster-ip-range的首IP,

若--service-cluster-ip-range=192.168.10.0/16，则$\{K8S\_SERVICE\_IP\}为192.168.0.1

若--service-cluster-ip-range=10.0.0.0/16，则$\{K8S\_SERVICE\_IP\}为10.0.0.1

masterssl.cnf文件的示例如下:

> \[req\]  
> req\_extensions = v3\_req  
> distinguished\_name = req\_distinguished\_name  
> \[req\_distinguished\_name\]  
> \[ v3\_req \]  
> basicConstraints = CA:FALSE  
> keyUsage = nonRepudiation, digitalSignature, keyEncipherment  
> subjectAltName = @alt\_names  
> \[alt\_names\]  
> DNS.1 = kubernetes  
> DNS.2 = kubernetes.default  
> DNS.3 = kubernetes.default.svc  
> DNS.4 = kubernetes.default.svc.cluster.local  
> IP.1 = $\{K8S\_SERVICE\_IP\}  
> IP.2 = $\{MASTER\_IPV4\}

1）alt\_names指的是最终可以访问的域名或者IP，所以，其实一个证书是可以多个网站同时使用的。被访问域名只要满足DNS和IP中的一个，其证书就是合法的。  
SubjectAltName是X509 Version 3 (RFC 2459)的扩展，允许ssl证书指定多个可以匹配的名称。SubjectAltName 可以包含email 地址，ip地址，正则匹配DNS主机名，等等。

SAN（Subject Alternative Name）是 SSL 标准 x509 中定义的一个扩展。使用了 SAN 字段的 SSL 证书，可以扩展此证书支持的域名，使得一个证书可以支持多个不同域名的解析。

### **2）、生成apiserver服务端私钥：** ###

> openssl genrsa -out apiserver-private.pem 2048

### **3）、生成**服务端**证书签名请求文件（**CSR**）：** ###

和CA证书的生成不同的是，我们需要先生成一个csr证书请求文件文件(CSR,Cerificate Signing Request)，有了这个文件之后再利用CA根证书生成最终的证书。

**         基于配置文件masterssl.cnf生成证书签名请求文件（**CSR**）：**

> openssl req -new -key apiserver-private.pem  \-out apiserver.csr \-subj "/CN=k8s-master" -config **masterssl.cnf**
> 
> **(这个是** `NO SAN` 命令`: `openssl req -new -key apiserver-private.pem  \-out apiserver.csr 只执行 `NO SAN` 命令也可以签发证书，不过却不能够添加多个域名。)

### 4）、生成apiserver服务端**认证公钥** ###

使用ca-private.pem、 ca-public.pem 和apiserver.csr 生成apiserver**tls认证公钥**：

> openssl x509 -req -in apiserver.csr  \-CA ca-public.pem  \-CAkey ca-private.pem \-CAcreateserial -out apiserver-public.pem  \-days 3650 -extensions v3\_req -extfile masterssl.cnf

全部执行完后会生成6个文件:

apiserver-private.csr  
apiserver-private.pem  
apiserver-public.pem  
ca-private.pem  
ca-public.pem  
ca-public.srl

查看证书：

openssl x509  -noout -text -in ./apiserver-public.pem

一般生成的根证书(ca-private.pem, ca-public.pem)与apiserver证书(apiserver-private.pem,apiserver-public.pem)放置在Master节点的某个目录(例如/mnt/app/kubernetes/ssl)

apiserver的配置中需要指定如下参数：

\--service-account-key-file=/mnt/app/kubernetes/ssl/apiserver-private.pem \\  
\--tls-private-key-file=/mnt/app/kubernetes/ssl/apiserver-private.pem \\  
\--tls-cert-file=/mnt/app/kubernetes/ssl/apiserver-public.pem \\  
\--client-ca-file=/mnt/app/kubernetes/ssl/ca-public.pem  \\  
同时,可以关掉非安全端口8080,设置安全端口为443 (默认为6443):

最后重启kube-apiserver服务。

## 3. kube-controller-manager客户端双向认证证书 ##

kubelet 发起的 CSR 请求都是由 kube-controller-manager 来做实际签署的,所有使用的证书都是根证书的密钥对 。由于kube-controller-manager是和kube-apiserver部署在同一节点上，且使用非安全端口通信，故不需要证书。

<table> 
 <thead> 
  <tr> 
   <th>使用的证书</th> 
   <th>证书作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>ca.pem</td> 
   <td>CA根证书</td> 
  </tr> 
  <tr> 
   <td>ca-key.pem</td> 
   <td>kube-apiserver的tls认证私钥</td> 
  </tr> 
 </tbody> 
</table>

`--cluster-signing-cert-file：`指定签名的CA机构根证书，用来签名为 TLS BootStrap 创建的证书和私钥

`--cluster-signing-key-file：`指定签名的CA机构私钥，用来签名为 TLS BootStrap 创建的证书和私钥

`--service-account-private-key-file：` 同上

`--root-ca-file=：` 根CA证书文件路径 ，用来对 kube-apiserver 证书进行校验，**指定该参数后，才会在Pod 容器的 ServiceAccount 中放置该 CA 证书文件**

`--kubeconfig` ：kubeconfig配置文件路径，在配置文件中包括Master的地址信息及必要认证信息

> apiversion: v1  
> kind: Config  
> users:  
> \- name: controllermanager  
>   user:  
>     client-certificate:  
>     client-key: /mnt/app/kubernetes/ssl/manager-client-private.pem  
> clusters:  
> \- name: local  
>   cluster:  
>     certificate-authority: /var/run/kubernetes/ca.crt  
> contexts:  
>   context:  
>     cluster: local  
>     user: controllermanager  
>     name: my-context  
> current-context: my-context

controller-manager的配置中需要指定如下参数：  
\--service-account-private-key-file=/mnt/app/kubernetes/ssl/apiserver-private.pem  
\--root-ca-file=/mnt/app/kubernetes/ssl/ca-public.pem  
\--cluster-signing-cert-file=/mnt/app/kubernetes/ssl/ca-public.pem  
\--cluster-signing-key-file=/mnt/app/kubernetes/ssl/ca-private.pem

当然也可以为controller-manager创建证书，controller-manager相对于apiserver是客户端：

**2)、设置kube-controller-manager的客户端证书、私钥和启动参数**

$ openssl genrsa -out manager-client-private.pem  2048

$ openssl req -new -key  manager-client-private.pem  -subj "/CN=k8s-master"  -out  manager-client.csr

$ openssl x509 -req  -in  manager-client.csr  -CA ca-public.pem  \-CAkey ca-private.pem  \-CAcreateserial -out  manager-client-public.pem  -days 5000

然后可以通过curl测试：

curl  --cacert /mnt/app/kubernetes/ssl/ca-public.pem --key /mnt/app/kubernetes/ssl/manager-client-private.pem --cert /mnt/app/kubernetes/ssl/manager-client-public.pem  https://k8s-master:6443

如果看到下面错误，说明认证有问题。  
\{  
  "kind": "Status",  
  "apiVersion": "v1",  
  "metadata": \{  
      
  \},  
  "status": "Failure",  
  "message": "Unauthorized",  
  "reason": "Unauthorized",  
  "code": 401  
\}

/mnt/app/kubernetes/ssl/kubeconfig.yaml

> apiVersion: v1  
> kind: Config  
> users:  
> \- name: controllermanager  
>   user:  
>     client-certificate:/mnt/app/kubernetes/ssl/manager-client-public.pem  
>     client-key:/mnt/app/kubernetes/ssl/manager-client-private.pem  
> clusters:  
> \- name: local  
>   cluster:  
>     certificate-authority: /mnt/app/kubernetes/ssl/ca-public.pem  
> contexts:  
> \- context:  
>     cluster: local  
>     user: controllermanager  
>   name: my-context  
> current-context: my-context

# #

## 5、删除相关serviceAccount的token ##

由于系统重新生成证书，需要删除相关serviceAccount的token，然后重启apiserver，apiserver根据最新

kubectl get secret -n kube-system                       
NAME                  TYPE                                  DATA      AGE  
coredns-token-cdn9x   kubernetes.io/service-account-token   3         3d  
default-token-lht2v   kubernetes.io/service-account-token   3         3d

kubectl delete secret coredns-token-cdn9x  -n kube-system  
 secret "coredns-token-cdn9x" deleted

# 四、node节点客户端双向证书生成 #

--------------------

设置每台Node上kubelet的客户端证书、私钥和启动参数

1)、首先复制kube-apiserver的ca-public.pem和ca-private.pem文件到Node上,

2)、在生成kubelet-public.pem时-CA参数和-CAkey参数使用的是apiserver的ca-public.pem和ca-private.pem文件。

3)、在生成kubelet client.csr时\-subj参数中的"/CN"设置为本Node的IP地址。

> \-subj   指定证书申请者的个人信息

可以将节点IP放入到环境变量

\# Export this worker's IP address.

export WORKER\_IP=<WORKER\_IPV4>

>   
> openssl genrsa -outkubelet-private.pem 2048  
> openssl req -new -key kubelet-private.pem   \-out kubelet.csr \-subj "/CN=kubelet\-key" -config kubelet\-openssl.cnf  
> openssl x509 -req -in kubelet.csr  -CA ca-public.pem  \-CAkey ca-private.pem  \-CAcreateserial -out kubelet-public.pem \-days 3650 -extensions v3\_req -extfile kubelet\-openssl.cnf

openssl genrsa -outkubelet-private.pem 2048  
openssl req -new -key kubelet-private.pem   \-out kubelet.csr \-subj "/CN=kubelet\-key"  
openssl x509 -req -in kubelet.csr  -CA ca-public.pem  \-CAkey ca-private.pem  \-CAcreateserial -out kubelet-public.pem \-days 3650

curl  --cacert /mnt/app/kubernetes/ssl/ca-public.pem --key /mnt/app/kubernetes/ssl/kubelet-private.pem \--cert /mnt/app/kubernetes/ssl/kubelet-public.pem  https://k8s-master:6443

将这些文件复制到一个目录中(例如/etc/kubernetes/ssl/)。

其中kubelet-openssl.cnf内容如下：

从节点上配置kubelet所使用的配置文件worker-kubeconfig.yaml (kubelet和kube-proxy进程共用)指定证书:

配置客户端证书等相关参数,内容如下:

kubelet的如下参数使用证书:

\--kubeconfig=/etc/kubernetes/worker-kubeconfig.yaml  
\--tls-private-key-file=/etc/kubernetes/ssl/kubelet-private.pem  
\--tls-cert-file=/etc/kubernetes/ssl//kubelet-public.pem

重启kubelet

kube-proxy复用上一步kubelet创建的客户端证书,配置启动参数:

\--master=https://192.168.18.3:443

\--kubeconfig=/etc/kubernetes/worker-kubeconfig.yaml

重启kube-proxy服务。

**至此,一个基于CA的双向数字证书认证的Kubernetes集群环境就搭建完成了。**

# 五、集群管理员双向认证证书生成 #

--------------------

此证书用于kubectl，设置方式如下：

$ openssl genrsa -out admin-key.pem 2048  
$ openssl req -new -key admin-key.pem -out admin.csr -subj "/CN=kube-admin"  
$ openssl x509 -req -in admin.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out admin.pem -days 365  
  
\# 配置一个名为default的集群，并指定服务地址与根证书  
kubectl config set-cluster default --server=https://172.17.4.101:443 --certificate-authority=$\{PWD\}/ssl/ca.pem

\# 设置一个管理用户为admin，并配置访问证书  
kubectl config set-credentials admin --certificate-authority=$\{PWD\}/ssl/ca.pem --client-key=$\{PWD\}/ssl/admin-key.pem --client-certificate=$\{PWD\}/ssl/admin.pem

\# 设置一个名为default使用default集群与admin用户的上下文，  
kubectl config set-context default --cluster=default --user=admin

\# 启用default为默认上下文  
kubectl config use-context default