分布式系统的高效运维要点

柔情只为你懂 2022-06-07 07:44 261阅读 0赞

**分布式系统的高效运维要点**

分布式系统需要部署在很多的机器上，需要很好的自动化与智能化运维才能解决工程师的痛点。

分布式系统高效运维的关键点：

1. 环境的标准化

分布式系统的部署需要一定的环境要求，环境运行标准包括操作系统，软件包，磁盘，网络，文件系统等多个方面。

为了解决这个问题，我们需要对系统的运行环境进行梳理：

1）根据历史上积攒的case和对性能的需求，清晰的定义出运行环境标准；  
         2）设计开发环境检查服务，按照定义的标准对环境进行检查，给出修复方案，人工确认后再修复。

2. 告警体系

从今年年初开始DevOps在如火如荼的开展着，相关的运维操作从PE交接到开发同学自己的手中。其中监控告警作为最重要的一个部分之一，我们需要好好思考如何才能把“监控告警”做好。

一个系统的告警系统至关重要，那么怎么衡量一个好的告警系统呢？  
通常从四个方面来评估:  
         覆盖率：相关的监控项是否覆盖的全面；  
         准确率： 报出的告警是否是告警的直接原因；  
         及时性： 出现问题时，需要第一时间报告出问题；  
         可操作性： 一个告警的出现，需要接收告警的同学知道该如何解决这个告警。

3.  自动化巡检

在一般的运维中，问题的通知是被动的：线上监控发现问题或者用户反馈问题，然后通知PE，PE再通知系统开发的同学来解决问题。系统需要自己成为一个自主化的服务，我们希望能够自己提前发现潜在的问题，主动发现风险，通知PE来预防，而不是被动地等待问题来找我们。日常的巡检是主动预知问题的方式，但是对于该系统的数百个集群数十万台机器，如果通过人来巡检，代价将是巨大的。因此，我们开发了一套自动化巡检工具，来对系统的所有集群和机器进行日常巡检。

4. 系统故障自愈

故障自愈同时也是一个具有挑战性的事情，现在我们回头在看之前踩过的坑，我们认为其挑战性主要集中在以下几方面：  
         1）如何在自愈过程中保证数据的安全性  
      这里数据安全性包括很多方面，首先是故障判断标准是准确的，其次是处理的故障对象全程是准确的，最后是审批策略是安全准确的。  
         2）如何在自愈过程中全程有审计  
      故障自愈多为后台任务进行处理，SRE如果不特别留意去查看的话，基本无法获取审批以及修复过程的信息。如何让SRE们及时获取自愈的审批以及修复流程，在发生审批、修复错误的时候及时发送告警是另一个具有挑战的事情。  
         3）如何在自愈过程中不影响其他前台的运维任务  
故障自愈也是运维任务中的一种，因为它是后台进行的，有可能会跟前台的运维任务冲突，例如坏盘自动下线跟前台的机器下线之间的相互影响，master自愈跟master升级之间的相互影响等等。  
   
       系统的故障自愈主要包含以下三部分：  
       -> 坏盘自动下线维修  
       -> hang机/宕机自动重启  
       -> master自动运维

5.  机器上下线

随着服务负载的变化，集群要通过机器上下线的方式来调整服务能力，当集群压力过大或容量不足时，就要增加机器进行扩容，来提高服务能力和存储空间，当集群压力降低或有计划的下线时，就要减少机器，以减少资源浪费，还有机器在集群间调拨，从A集群下线，然后在B集群上线，都会涉及机器的上下线，在机器上下线的过程中，必须确保数据的安全性，用户的服务不能受到影响，并要求尽量降低运维的复杂度。

6.  热升级

进行热升级面临着如下诸多挑战：  
        -> 数据安全：如何在有进程重启升级的情况下仍然能够保证数据的安全性。  
        -> 服务质量：如何能够在热升级期间不影响用户读写质量。  
        -> 版本对齐：如何处理在分布式系统中那些异常的，升级未成功的老版本机器。  
        ->方便快速：如何能够让SRE同学方便快速的升级，及时获取升级的进度以及升级过程中出现的问题。