解读如何打造支撑万亿规模的K8s集群？

男娘i 2022-11-07 11:51 163阅读 0赞

大家好，我是韩先超。国内最早一批K8S布道者。

如今大公司都在引进K8s人才，学习K8s是进入名企的一条捷径。今天，我们就从一线大厂技术实战案例入手，带领大家解锁K8s技能树。

***01***

**为什么大厂都在用K8s？**

2016年底，**京东**业务开始从OpenStack切换到Kubernetes，第一阶段迁移20%的业务到kubernetes，集群规模是500+物理节点，2w+Pod容器。

**阿里巴巴**这边也管理几十个K8S集群，其中最大的集群约 1 万个节点，每个集群会运行几十万个应用，api的QPS达到1000万+。

这得益于K8s拥有强大的**生态体系**。

NO.1

**功能齐全的UI界面**

![abcff203b588afc04616783ab523abf9.png][]

NO.2

**全方位的立体监控系统**

![5e3543a9385fa2d99f5d35c79d7a12c5.png][]

NO.3

**功能完备的日志收集平台**

![c5f962bb87fb669988b009fcaac592a3.png][]

***02***

**京东：全球最大K8s集群**

CNCF基金会官方确认，京东目前运营着全球**最大规模**的Kubernetes集群，是目前全球容器化最彻底的互联网企业之一。

![db139d4fdd3c49b7a3e8d8a4187884f7.png][]

为了应对618的订单洪峰，京容器东云平台带宽扩容数百G，抵挡了数十次攻击，实现了100%的订单都在云上完成。

![b837cd5b00750d3f5fe07601e61f04a4.png][]

（京东K8s集群架构图参考）

京东运行的Docker实例突破了上百万个，而这些Docker都是通过k8s来维护管理。

***03***

**阿里巴巴：万级规模K8s集群**

支撑阿里巴巴核心电商业务的集群有十几个，最大的K8s集群有几万的节点。

![861d4b26c88f05cc4ecb90261f3e6c21.png][]

（阿里巴巴K8s集群架构图参考）

阿里巴巴通过一系列的**增强与优化**，成功将Kubernetes应用到生产环境并达到了单集群10000 节点的超大规模，具体包括：

**1**

通过将索引和数据分离、数据shard等方式提高etcd存储容量，并最终通过改进etcd底层bboltdb存储引擎的块分配算法，大幅提高了etcd在存储大数据量场景下的性能，通过单 etcd集群支持大规模Kubernetes集群，大幅简化整个系统架构复杂性

通过落地Kubernetes轻量级心跳、改进HA集群下多个API Server节点的负载均衡、ListWatch机制中增加 bookmark、通过索引与Cache的方式改进了 Kubernetes大规模集群中最头疼的List性能瓶颈，使得稳定的运行万节点集群成为可能

**2**

**3**

通过热备的方式大幅缩短controller/scheduler在主备切换时的服务中断时间，提高整个集群的可用性

***04***

**如何解锁K8s案例？**

课程地址 ▷

**51cto平台课程链接如下：**

# 《kubernetes/k8s全栈技术讲解+企业级实战项目课程【新版】》【中级课】 #

**https://edu.51cto.com/course/23441.html**

# 《kubernetes/k8s+SpringCloud全栈技术：基于世界500强的企业实战课程》【高级课】    #

**https://edu.51cto.com/course/26635.html**

**《Docker+K8S+微服务Istio+SpringCloud+Jenkins+DevOps+Prometheus+Openstack+Openshift+EFK+Ceph+Python》****专题包含12门课程，原价3046元，现在只需要两折（折后价700元，课程可分期购买，无手续费，课程销量第一、好评率99%+，专题课程链接如下：**

**https://edu.51cto.com/topic/4439.html 买过其他课程的要是来买专题会自动把买过的课程从总价钱剔除掉，不会重复花钱的，购买课程的私信我（微信：luckylucky421302），拉大家进VIP学习群~**

**课程亮点 ▷**

*  **解读K8s全栈技术**
 *  **SpringCloud深度解读**
 *  **打造K8s成长技能树**
 *  **解读京东阿里****实战案例**
 *  **基于Jenkins+k8s构建企业级DevOps平台**
 *  **智能化日志收集平台部署方案**
 *  **基于Prometheus构建企业级监控系统**

**课程报名 ▷**

**现在扫码，即可享受超低优惠↓**

# 《kubernetes/k8s+SpringCloud全栈技术：基于世界500强的企业实战课程》    #

![dc3e84c73a97dce9a21d2f7010665943.png][]

# 《kubernetes/k8s全栈技术讲解+企业级实战项目课程【新版】》![25a23cc5f6115aa4f0f08cb7dbc28971.png][] #

课程优势：

上线两天，在51CTO上销量和好评排在第一

![12ad1a3580d21da69ce8fa5fc07bfe13.png][]

在51cto学院云计算领域900多门课程中，综合人气排在第一和第二的都是我的课程

![9c4f5412acf91dd82282008270141f7b.png][]

提供10个VIP学习交流群，24小时在线答疑

![794bb958499c92f2c5468b027da4af8f.png][]![39f35e695d2961c10b915edefe98abd8.png][]

在51CTO学院两天销售额突破500单，在所有讲师中排在第一：

![c39d96805023176c289d55a069fcf31b.png][]

学员真实反馈和推荐

![40e7b3eee89182794c43641d2297bb8e.png][]![4fa2723984e63bd653c3d75465922c3e.png][]

坚持做良心教育，保持初心，不断提高课程质量，根据学员需求不断改进和完善，课程好评率达99%以上：  
![e43b0dcc330fc5ab6fdeb7505ca497a1.png][]  
提供完备的售后服务：  
再好的课程，如果没有课外答疑，那就相当于你只买了个寂寞，因为如果看视频出现问题，自己解决不了，又找不到老师答疑，那无疑会浪费自己的很多时间，所以大家在学习的时候最希望的是出现问题有人及时帮你解答，那么老师考虑到同学们的担忧，特提供课外答疑和技术群辅导，老师远程连接指导的学员多达上百人，单独指导学员上千人：  
![79a728830d774db57391a2c32c437325.png][] ![dbd5e3430624acff74216d424676992d.png][]  
![c674bbfbf6dd38ec715ce4a7b27ee951.png][] ![e2c73ae6bcc2a9f2b71a633f6ec7a977.png][]

**课程报名 ▷**

**现在扫码，即可享受超低优惠↓**

# 《kubernetes/k8s+SpringCloud全栈技术：基于世界500强的企业实战课程》    #

![a75afb5c825fa596926b7faedaa1ceea.png][]

# 《kubernetes/k8s全栈技术讲解+企业级实战项目课程【新版】》![c2805ba5cb31828f4dd03b0fa151dbc0.png][] #

## 技术交流 ##

为了大家更快速的学习知识，掌握技术，随时沟通交流问题，特组建了技术交流群，大家在群里可以分享自己的技术栈，抛出日常问题，群里会有很多大佬及时解答的，这样我们就会结识很多志同道合的人，长按或者扫描下图二维码可加我微信，备注运维或者k8s或者devops即可进群，让我们共同的努力，向着美好的未来出发吧~~~，**想要****免费获取****linux、k8s、DevOps、Openstack、Openshift、运维、开发、测试、架构师、Python、Go、面试文档、容器、岗位内推等资料也可进群获取****哈~~**

![a3cc2705bad7922516a064dcea23bbc3.png][]

**微信：** luckylucky421302

↓ 点击下方，阅读全

[abcff203b588afc04616783ab523abf9.png]: /images/20221023/de6ab0587851454886bc336214494551.png
[5e3543a9385fa2d99f5d35c79d7a12c5.png]: /images/20221023/82188178f0c54cc2ad4a9bbb53e47c86.png
[c5f962bb87fb669988b009fcaac592a3.png]: /images/20221023/cf7153c0e7954abd96e6f6f3947d9610.png
[db139d4fdd3c49b7a3e8d8a4187884f7.png]: /images/20221023/9e43f3f52eb94bd68ced98c5486b10d0.png
[b837cd5b00750d3f5fe07601e61f04a4.png]: /images/20221023/3c89d892d3d640f3a4837ac6f570b8e7.png
[861d4b26c88f05cc4ecb90261f3e6c21.png]: /images/20221023/a663f68d0b0a45e98531481476861840.png
[dc3e84c73a97dce9a21d2f7010665943.png]: /images/20221023/93f3805582524e2893b547cf67044c10.png
[25a23cc5f6115aa4f0f08cb7dbc28971.png]: /images/20221023/c96195eff48a47a4b99c1cf1167c5e92.png
[12ad1a3580d21da69ce8fa5fc07bfe13.png]: /images/20221023/7d744bbef7144a13a5326e334d89a335.png
[9c4f5412acf91dd82282008270141f7b.png]: /images/20221023/d58c9a84b22b4edb94adc4223a66b2ec.png
[794bb958499c92f2c5468b027da4af8f.png]: https://img-blog.csdnimg.cn/img_convert/794bb958499c92f2c5468b027da4af8f.png
[39f35e695d2961c10b915edefe98abd8.png]: /images/20221023/05d994f32f59468b82da38f859419c43.png
[c39d96805023176c289d55a069fcf31b.png]: /images/20221023/83d735b94d0c413ba5eebc766562df2b.png
[40e7b3eee89182794c43641d2297bb8e.png]: https://img-blog.csdnimg.cn/img_convert/40e7b3eee89182794c43641d2297bb8e.png
[4fa2723984e63bd653c3d75465922c3e.png]: /images/20221023/973aa7f30fd541d3b75d5bf3e4228bda.png
[e43b0dcc330fc5ab6fdeb7505ca497a1.png]: /images/20221023/de2be849364b4b25ad9559d81eb50354.png
[79a728830d774db57391a2c32c437325.png]: https://img-blog.csdnimg.cn/img_convert/79a728830d774db57391a2c32c437325.png
[dbd5e3430624acff74216d424676992d.png]: /images/20221023/c0adc55462364eff9397a383abf3db97.png
[c674bbfbf6dd38ec715ce4a7b27ee951.png]: https://img-blog.csdnimg.cn/img_convert/c674bbfbf6dd38ec715ce4a7b27ee951.png
[e2c73ae6bcc2a9f2b71a633f6ec7a977.png]: /images/20221023/094adc90a24a4f1989b705a73118cad6.png
[a75afb5c825fa596926b7faedaa1ceea.png]: /images/20221023/b840d62843a54e288238e31a88a98d89.png
[c2805ba5cb31828f4dd03b0fa151dbc0.png]: /images/20221023/a0d45ead55f54e05838d56b0a4915dff.png
[a3cc2705bad7922516a064dcea23bbc3.png]: /images/20221023/2a7a00b3ca9f410583e0b5e58847a51b.png