基于kubernetes构建Docker集群环境实战

偏执的太偏执、 2021-11-08 17:50 267阅读 0赞

kubernetes是google公司基于docker所做的一个分布式集群，有以下主件组成

etcd: 高可用存储共享配置和服务发现，作为与minion机器上的flannel配套使用，作用是使每台 minion上运行的docker拥有不同的ip段，最终目的是使不同minion上正在运行的docker containner都有一个与别的任意一个containner（别的minion上运行的docker containner）不一样的IP地址。

flannel: 网络结构支持

kube-apiserver: 不论通过kubectl还是使用remote api 直接控制，都要经过apiserver

kube-controller-manager: 对replication controller, endpoints controller, namespace controller, and serviceaccounts controller的循环控制，与kube-apiserver交互，保证这些controller工作

kube-scheduler: Kubernetes scheduler的作用就是根据特定的调度算法将pod调度到指定的工作节点（minion）上，这一过程也叫绑定（bind)

kubelet: Kubelet运行在Kubernetes Minion Node上. 它是container agent的逻辑继任者

kube-proxy: kube-proxy是kubernetes 里运行在minion节点上的一个组件, 它起的作用是一个服务代理的角色

**图为GIT+Jenkins+Kubernetes+Docker+Etcd+confd+Nginx+Glusterfs架构**：

**如下：**

![aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvMTA4NzcxNi8yMDE3MDQvMTA4NzcxNi0yMDE3MDQwMTEzNTE1MjE2NC0xMjU3NTAzMDk0LnBuZw][]

**环境：**

centos7系统机器三台：

10.0.0.81: 用来安装kubernetes master

10.0.0.82: 用作kubernetes minion （minion1）

10.0.0.83: 用作kubbernetes minion (minion2)

**一、关闭系统运行的防火墙及selinux**

1。如果系统开启了防火墙则按如下步骤关闭防火墙（所有机器）

\# systemctl stop firewalld \# systemctl disable firewalld

**2.关闭selinux**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>#setenforce 0</code></p> <p><code>#sed -i '/^SELINUX=/cSELINUX=disabled' /etc/sysconfig/selinux</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**二、MASTER安装配置**

1. **安装并配置Kubernetes master(yum 方式)**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code># yum -y install etcd kubernetes</code></p> </td> 
  </tr> 
 </tbody> 
</table>

配置etcd。确保列出的这些项都配置正确并且没有被注释掉，下面的配置都是如此

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> </td> 
   <td> <p><code>#vim /etc/etcd/etcd.conf</code></p> <p><code>&nbsp;</code>&nbsp;</p> <p><code>ETCD_NAME=default</code></p> <p><code>ETCD_DATA_DIR=</code><code>"/var/lib/etcd/default.etcd"</code></p> <p><code>ETCD_LISTEN_CLIENT_URLS=</code><code>"http://0.0.0.0:2379"</code></p> <p><code>ETCD_ADVERTISE_CLIENT_URLS=</code><code>"http://localhost:2379"</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**配置kubernetes**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> <p>7</p> <p>8</p> </td> 
   <td> <p><code>vim&nbsp;</code><code>/etc/kubernetes/apiserver</code></p> <p><code>&nbsp;</code>&nbsp;</p> <p><code>KUBE_API_ADDRESS=</code><code>"--address=0.0.0.0"</code>&nbsp;<code>KUBE_API_PORT=</code><code>"--port=8080"</code></p> <p><code>KUBELET_PORT=</code><code>"--kubelet_port=10250"</code></p> <p><code>KUBE_ETCD_SERVERS=</code><code>"--etcd_servers=http://127.0.0.1:2379"</code></p> <p><code>KUBE_SERVICE_ADDRESSES=</code><code>"--service-cluster-ip-range=10.254.0.0/16"</code></p> <p><code>KUBE_ADMISSION_CONTROL=</code><code>"--admission_control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"</code></p> <p><code>KUBE_API_ARGS=</code><code>""</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**2. 启动etcd**, kube-apiserver, kube-controller-manager and kube-scheduler服务

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code># for SERVICES in etcd kube-apiserver kube-controller-manager kube-scheduler; do systemctl restart $SERVICES systemctl enable $SERVICES systemctl status $SERVICES done</code></p> </td> 
  </tr> 
 </tbody> 
</table>

3.设置etcd网络

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>#etcdctl -C 10.0.0.81:2379 set /atomic.io/network/config '{"Network":"10.1.0.0/16"}'</code></p> </td> 
  </tr> 
 </tbody> 
</table>

4. 至此master配置完成，运行kubectl get nodes可以查看有多少minion在运行，以及其状态。这里我们的minion还都没有开始安装配置，所以运行之后结果为空

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code># kubectl get nodes NAME LABELS STATUS</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**三、MINION安装配置(每台minion机器都按如下安装配置)**

**1. 环境安装和配置**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code># yum -y install flannel kubernetes</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**　　****配置kubernetes连接的服务端IP**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>#vim /etc/kubernetes/config</code></p> <p><code>KUBE_MASTER=</code><code>"--master=http://10.0.0.81:8080"</code></p> <p><code>KUBE_ETCD_SERVERS=</code><code>"--etcd_servers=http://10.0.0.81:2379"</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**配置kubernetes** ,（请使用每台minion自己的IP地址比如10.0.0.81：代替下面的$LOCALIP）

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> </td> 
   <td> <p><code>#vim /etc/kubernetes/kubelet&lt;br&gt;KUBELET_ADDRESS="--address=0.0.0.0"</code></p> <p><code>KUBELET_PORT=</code><code>"--port=10250"</code></p> <p><code># change the hostname to this host’s IP address KUBELET_HOSTNAME="--hostname_override=$LOCALIP"</code></p> <p><code>KUBELET_API_SERVER=</code><code>"--api_servers=http://10.0.0.81:8080"</code></p> <p><code>KUBELET_ARGS=</code><code>""</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**2. 准备启动服务**（如果本来机器上已经运行过docker的请看过来，没有运行过的请忽略此步骤）

运行ifconfig，查看机器的网络配置情况（有docker0）

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> </td> 
   <td> <p><code># ifconfig docker0</code></p> <p><code>Link encap:Ethernet HWaddr 02:42:B2:75:2E:67 inet addr:172.17.0.1 Bcast:0.0.0.0 Mask:255.255.0.0 UP</code></p> <p><code>BROADCAST MULTICAST MTU:1500 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0</code></p> <p><code>errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0</code></p> <p><code>RX bytes:0 (0.0 B) TX bytes:0 (0.0 B)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

warning:在运行过docker的机器上可以看到有docker0，这里在启动服务之前需要删掉docker0配置，在命令行运行:sudo ip link delete docker0

**3.配置flannel网络**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>#vim /etc/sysconfig/flanneld</code></p> <p><code>FLANNEL_ETCD_ENDPOINTS=</code><code>"http://10.0.0.81:2379"</code></p> <p><code>FLANNEL_ETCD_PREFIX=</code><code>"/atomic.io/network"</code><code>　　</code></p> </td> 
  </tr> 
 </tbody> 
</table>

PS：其中atomic.io与上面etcd中的Network对应

**4. 启动服务**

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code># for SERVICES in flanneld kube-proxy kubelet docker; do systemctl restart $SERVICES systemctl enable $SERVICES systemctl status $SERVICES done</code></p> </td> 
  </tr> 
 </tbody> 
</table>

**四、配置完成验证安装**

确定两台minion(10.0.0.82和10.0.0.83)和一台master（10.0.0.81）都已经成功的安装配置并且服务都已经启动了。

切换到master机器上，运行命令kubectl get nodes

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> </td> 
   <td> <p><code># kubectl get nodes</code></p> <p><code>NAME STATUS AGE</code></p> <p><code>10.0.0.82 Ready 1m</code></p> <p><code>10.0.0.83 Ready 1m</code></p> </td> 
  </tr> 
 </tbody> 
</table>

可以看到配置的两台minion已经在master的node列表中了。如果想要更多的node，只需要按照minion的配置，配置更多的机器就可以了。

[aHR0cHM6Ly9pbWFnZXMyMDE1LmNuYmxvZ3MuY29tL2Jsb2cvMTA4NzcxNi8yMDE3MDQvMTA4NzcxNi0yMDE3MDQwMTEzNTE1MjE2NC0xMjU3NTAzMDk0LnBuZw]: /images/20211108/6198bcaf970849deb0999f7cd764d4d0.png