高并发系统的总结

逃离我推掉我的手 2023-02-17 13:26 8阅读 0赞

秒杀系统  
场景：  
双11秒杀场景，大量的用户短时间内涌入，瞬间流量巨大（高并发），比如：100万人同一时间抢购100件商品。秒杀活动是一个特别考验后台数据库、缓存服务的业务，对于数据库、缓存的性能要求特别严格。  
技术实现：  
1、页面静态化，减少动态的数据，将静态化页面直接通过CDN部署。  
2、采用消息队列缓存请求，将数据通过订阅的形式入库，解决数据库瓶颈问题。  
3、利用缓存应对读请求，将必要的数据，预热到缓存中，便于直接查询。  
4、利用缓存对应写请求，将数据写入缓存，暂时存储，后续与数据库做比对，做到最终一致性。  
5、利用MQ做限流和削峰的处理。

CDN部署全国节点  
场景：  
高并发场景下所有的请求到中心节点，中心节点的带宽无法承担，会造成网络的卡顿。  
技术实现：  
将活动页面上的所有可以静态的元素全部静态化，并尽量减少动态元素。通过CDN来抗峰值，解决中心节点带宽峰值问题，从而解决卡顿问题。

独立日志系统  
场景：  
集群架构系统，排查日志极其困难，需要日志系统，将集群中的日志集合起来，便于开发人员统一查询问题，统计问题，排除问题  
技术实现：  
Elasticsearch+Logstash+Kibana 搭建开源日志系统  
Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析，并将日志输出到Elasticsearch中。  
Elasticsearch：日志分布式存储/搜索工具，原生支持集群功能，可以将指定时间的日志生成一个索引，加快日志查询和访问。  
Kibana：可视化日志Web展示工具，对Elasticsearch中存储的日志进行展示，还可以生成炫丽的仪表盘。

监控告警系统  
场景：  
集群架构，系统单个节点出现异常，需要及时被发现，并快速的排查问题，此时需要监控告警系统。  
技术实现：  
Prometheus + Grafana + 钉钉（或者企业微信）  
Prometheus是一套开源的系统监控报警框架，提供了监控数据搜集、存储、处理、可视化和告警一套完整的解决方案。  
Grafana 是 Graphite 和 InfluxDB 仪表盘和图形编辑器。Grafana 是开源的，功能齐全的度量仪表盘和图形编辑器，支持 Graphite，InfluxDB 和 OpenTSDB。灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式；多个数据源；Graphite 和 InfluxDB 查询编辑器等等。  
钉钉（企业微信）通过告警的配置，可以快速的通知到具体的运维人员和开发人员。

安全系统  
场景：  
系统上线后，会存在不同形式的攻击，需要搭建云安全中心，保证ECS、相关服务和数据的安全  
技术实现：  
搭建一个实时识别、分析、预警安全威胁的统一安全管理系统，通过防勒索、防病毒、防篡改、合规检查等安全能力，帮助用户实现威胁检测、响应、溯源的自动化安全运营闭环，保护云上资产和本地主机并满足监管合规要求。

大数据看板  
场景：  
马拉松的指挥中心需要实时监控数据，查看分析数据报告，以便做出相关的决策  
技术实现：  
将马拉松的数据维度继续扩大，结合具体的分析的业务需求，做相应的数据分析报告和看板，并针对性的做出相应的决策建议。