阿里云ECS搭建Kubernetes集群踩坑记

亦凉 2022-04-12 11:37 356阅读 0赞

# 阿里云ECS搭建Kubernetes集群踩坑记 #

### 文章目录 ###

*  阿里云ECS搭建Kubernetes集群踩坑记
 *   *  1. 现有环境、资源
     *  2. 规划
     *  3. 部署
     *   *  3.1 master部署
         *  3.2 添加node
     *  4. 小结

## 1. 现有环境、资源 ##

<table> 
 <thead> 
  <tr> 
   <th>资源</th> 
   <th>数量</th> 
   <th>规格</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>EIP</td> 
   <td>1</td> 
   <td>5M带宽</td> 
  </tr> 
  <tr> 
   <td>ECS</td> 
   <td>3</td> 
   <td>2 vCPU 16 GB内存 100G硬盘</td> 
  </tr> 
  <tr> 
   <td>ECS</td> 
   <td>3</td> 
   <td>2 vCPU 16 GB内存 150G硬盘</td> 
  </tr> 
  <tr> 
   <td>SLB</td> 
   <td>2</td> 
   <td>私网slb.s1.small</td> 
  </tr> 
 </tbody> 
</table>

## 2. 规划 ##

坑：

1.  上网问题，因为只有一个EIP，所有其它节点只能通过代理上网;
2.  负载均衡问题，因为阿里不支持LVS，负载均衡TCP方式后端又不支持访问负载均衡，HTTP和HTTPS方式，只支持后端协议为HTTP;

为了避免上面的坑，作以下规划：

1.  Kubernetes master 3台100G，硬盘挂载到`/data`下，`/data/etcd`作软链接到`/var/lib/etcd`。节点不作调度分配一般POD；SLB设置`kubeadm init`这台master1作为后端，方式为TCP，且在master1上docker中安装haproxy和keepalived解决自己不能连接VIP问题；
2.  3台150G硬盘作为ceph osd，机器也作为Kubernetes nodes；
3.  EIP绑定到node5，安装squid作为所有节点上网代理，安装ansible作为管理分发文件，也作为SSH管理跳板机；
4.  生成一套ssh key， 复制ssh私钥到所有节点，添加公钥到所有节点，考虑到安全性，部署完成后，删除除node5上的私钥；
5.  配置yum、docker ce使用代理上网；
6.  版本信息  
    操作系统：`CentOS7`  
    Kubernetes：`v1.12.3`  
    Docker CE：`docker-ce-18.06.1.ce`  
    podSubnet：`10.244.0.0/16`  
    网络插件：`canal`

## 3. 部署 ##

先解决上网问题：

1.  将EIP绑定到node5，并安装squid;
2.  申请阿里内网免费SLB，将node5的3128端口使用TCP方式负载均衡；
3.  在除node5的节点上，`~/.bashrc`后面添加以下内容：

export http_proxy=http://squid_slb_ip:3128
    export https_proxy=http://squild_slb_ip:3128
    export no_proxy=''

1.  在除node5的节点上执行以下命令（docker安装后）：

mkdir -p /etc/systemd/system/docker.service.d
    cat >/etc/systemd/system/docker.service.d/http-proxy.conf<<EOF [Service] Environment="HTTP_PROXY=http://squid_slb_ip:3128" "HTTPS_PROXY=http://squid_slb_ip:3128" "NO_PROXY=" EOF
    
    systemctl daemon-reload 
    systemctl restart docker

### 3.1 master部署 ###

先在阿里负载均衡申请内网免费SLB，设置master1的6443为后端端口，8443为监听端口。  
因Kubernetes apiserver为https协议，阿里SLB中能负载均衡HTTPS的只有TCP方式，而TCP方式限制是负载均衡后端不能此负载均衡，所以为了master1能访问这个VIP，手动添加keepalived+haproxy：

先使用脚本初始化环境（需要能上网），脚本内变量`INSTALL_CLUSTER="false"`，执行时询问是否添加节点选否。  
[https://github.com/ygqygq2/kubernetes/blob/master/kubeadm/kubeadm\_install\_k8s.sh][https_github.com_ygqygq2_kubernetes_blob_master_kubeadm_kubeadm_install_k8s.sh]

mkdir /etc/haproxy
    cat >/etc/haproxy/haproxy.cfg<<EOF global log 127.0.0.1 local0 err maxconn 50000 uid 99 gid 99 #daemon nbproc 1 pidfile haproxy.pid defaults mode http log 127.0.0.1 local0 err maxconn 50000 retries 3 timeout connect 5s timeout client 30s timeout server 30s timeout check 2s listen admin_stats mode http bind 0.0.0.0:1080 log 127.0.0.1 local0 err stats refresh 30s stats uri /haproxy-status stats realm Haproxy\ Statistics stats auth admin:k8s stats hide-version stats admin if TRUE frontend k8s-https bind 0.0.0.0:8443 mode tcp #maxconn 50000 default_backend k8s-https backend k8s-https mode tcp balance roundrobin server lab1 master1_ip:6443 weight 1 maxconn 1000 check inter 2000 rise 2 fall 3 # 注意更换IP EOF
    
    docker run -d --name k8s-haproxy \
    -v /etc/haproxy:/usr/local/etc/haproxy:ro \
    -p 8443:8443 \
    -p 1080:1080 \
    --restart always \
    haproxy:1.7.8-alpine
    
    docker run --net=host --cap-add=NET_ADMIN \
    -e KEEPALIVED_INTERFACE=eth0 \
    -e KEEPALIVED_VIRTUAL_IPS="#PYTHON2BASH:['master_slb_ip']" \
    -e KEEPALIVED_UNICAST_PEERS="#PYTHON2BASH:['maser1_ip'" \
    -e KEEPALIVED_PASSWORD=k8s \
    --name k8s-keepalived \
    --restart always \
    -d osixia/keepalived:1.4.4

在master1上再次使用该脚本，设置好变量。  
[https://github.com/ygqygq2/kubernetes/blob/master/kubeadm/kubeadm\_install\_k8s.sh][https_github.com_ygqygq2_kubernetes_blob_master_kubeadm_kubeadm_install_k8s.sh]

INSTALL_CLUSTER="true"
    # 是否安装Keepalived+HAproxy
    INSTALL_SLB="false"
    # 定义Kubernetes信息
    KUBEVERSION="v1.12.2"
    DOCKERVERSION="docker-ce-18.06.1.ce"
    # k8s master VIP（使用负载均衡IP）
    k8s_master_vip="master_slb_ip"
    # 主机名:IP，需要执行脚本前设置
    server0="master1:master1_ip"
    server1="master2:master2_ip"
    server2="master3:master3_ip"

脚本执行后，至少是可以`kubeadm init`成功的，脚本过程中，会有命令提示，若master2和master3添加etcd集群失败，可手动按上面命令提示解决。

集群健康后，修改master\_slb的后端，添加master2和master3的6443。并将`/etc/kubernetes/admin.conf` 和`~/.kube/config`里修改成  
`server: https://127.0.0.1:8443`。因为他们都为master\_slb后端，都不能访问master\_slb的IP了。而其它非master节点，则可以通过`server: https://master_slb_ip:8443`访问。

### 3.2 添加node ###

将master1上的`/etc/kubernetes/admin.conf`拷贝为node5上的`~/.kube/config`，并修改为`server: https://master_slb_ip:8443`，这样即可以node5上通过`kubeadm token create --print-join-command`获取集群添加命令。

在node5上继续使用该脚本，设置好变量。  
[https://github.com/ygqygq2/kubernetes/blob/master/kubeadm/kubeadm\_install\_k8s.sh][https_github.com_ygqygq2_kubernetes_blob_master_kubeadm_kubeadm_install_k8s.sh]

INSTALL_CLUSTER="false"
    # 可获取kubeadm join命令的节点IP
    k8s_join_ip="node5_ip"  # 脚本中是通过ssh到该IP变量获取kubeadm join命令

执行脚本，即可添加节点成功。

## 4. 小结 ##

因为EIP只有一个，所以存在单点问题，当然可以通过添加EIP绑定ECS解决。因为各种限制条件，没有可以直接上网的私有云服务器好用，使用过程中，可能出现访问不允许代理情况，或者部分地址不需要使用代理访问。若后续Nginx ingress使用阿里SLB暴露服务，需要考虑nginx ingress是否为HTTPS。总之，很折腾。

[https_github.com_ygqygq2_kubernetes_blob_master_kubeadm_kubeadm_install_k8s.sh]: https://github.com/ygqygq2/kubernetes/blob/master/kubeadm/kubeadm_install_k8s.sh

发表评论取消回复

表情：

评论列表（有 0 条评论，356人围观）

还没有评论，来说两句吧...

相关阅读

相关 Nacos 集群服务搭建踩坑记录

言: 因为了解到Eureka2.0及其部分组件闭源的消息, 项目架构选型时，注册中心组件选择了Nacos作为项目的注册中心，我负责搭建Nacos服务本文所使用的是替...

水深无声/ 2024年04月18日 09:09/ 0 赞/ 83 阅读

相关【Kafka】基本使用：安装、集群搭建、命令操作（阿里云搭建踩坑记录）

1.Kafka安装部署 1.1 单机模式 1).下载kafka。 [https://kafka.apache.org/downloads][https_kafka

Dear 丶/ 2022年12月21日 03:29/ 0 赞/ 221 阅读

相关阿里云服务器搭建 Redis 集群

使用 Docker 搭建这里以 3 个节点为例。此命令为部署 Redis 集群，如果本地的 docker 没有 redis 的镜像，那么他会先自动下载再部署。 ![w

淩亂°似流年/ 2022年12月11日 13:55/ 0 赞/ 215 阅读

相关阿里云服务器搭建单体redis 以及踩坑

在搭建阿里云服务器的过程中，踩坑很多，特写此文；简介 Redis是一个开源（BSD许可），内存数据结构存储，用作数据库，缓存和消息代理。它支持数据结构，如字符串

矫情吗；*/ 2022年12月06日 12:51/ 0 赞/ 176 阅读

相关 kubernetes集群搭建

一、概述 1.简介官方中文文档：[https://www.kubernetes.org.cn/docs][https_www.kubernetes.org.cn_do

喜欢ヅ旅行/ 2022年05月09日 14:40/ 0 赞/ 237 阅读

相关阿里云ECS搭建Kubernetes集群踩坑记

阿里云ECS搭建Kubernetes集群踩坑记文章目录阿里云ECS搭建Kubernetes集群踩坑记 1. 现有环境、资源 2.

亦凉/ 2022年04月12日 11:37/ 0 赞/ 357 阅读

相关 redis集群搭建踩坑指南

最近在网上一台阿里云服务器上搭建了一个3主3从的redis集群，在这记录一下搭建过程中的踩坑过程。先贴出参考的博客： [https://blog.csdn.net/p

超、凢脫俗/ 2022年04月02日 03:29/ 0 赞/ 287 阅读

相关阿里云ECS服务器的搭建

之前写了一个Android小项目，然后里面各种与后台数据库的交互，然后差不多完成了吧！感觉应该买一个服务器，而不是每次都是需要启动MyEclipse，启动Tomcat服务器才能

比眉伴天荒/ 2022年02月14日 14:19/ 0 赞/ 451 阅读

相关阿里云ECS7安装搭建：hadoop2.7.6分布式集群

简介 hadoop是一个分布式系统基础架构，是大数据生态的一个总称；核心设计包括：HDFS和MapReduce，HDFS为海量数据提供了存储，而MapRed

布满荆棘的人生/ 2022年02月04日 10:17/ 0 赞/ 344 阅读

相关阿里云ECS7安装搭建：hbase1.3.3分布式集群

简介 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapRedu

╰半橙微兮°/ 2022年01月31日 08:13/ 0 赞/ 346 阅读