从反脆弱角度谈技术系统的高可用性

野性酷女 2021-09-23 05:02 210阅读 0赞

> 欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，欢迎大家加我微信「java\_front」一起交流学习

# 1 非线性 #

我们先来介绍一个概念：非线性。这个概念在我们的生活中无处不在。

你要赶早上8点钟的火车，如果6:30出发可以在7:00到达车站，于是你得到一个结论：只要30分钟就可以到达车站。

你早上想睡晚一点预计7:10出发，想着7:40可以到达车站。但是最可能的结果是你将错过这趟火车。因为正好遇上早高峰，堵车导致你至少需要花费1个小时才能到达车站。

一个小雪球的重量是100克，打雪仗时你被砸中100次，这对你不会造成任何影响。

但是如果你被10公斤的雪球砸中1次，这可能会对你造成严重的伤害。

这就是非线性。事物不是简单的叠加关系，当达到某个临界值时，会造成一种完全截然不同的结果。

# 2 秒杀系统 #

我们来分析一个互联网的秒杀场景。假设你设计的秒杀系统当每秒30个人访问时，响应时间是10毫秒。即从用户点击按钮至得到结果这个过程，只花费了10毫秒。这个时间的流逝基本上察觉不到，性能是不错的。你感觉很好，继续设计：

每秒30个访问量，响应时间10毫秒
    
    每秒300个访问量，响应时间100毫秒
    
    每秒3000个访问量，响应时间1000毫秒

如果你按照这个思路去做系统设计，将会发生重大的错误。因为当每秒3000个访问量发生时，系统的响应时间可能不是1000毫秒，而可能直接导致系统崩溃，无法再处理任何的请求。最常见的场景就是当缓存系统失效时，导致的系统雪崩：

*  当耗时低的缓存层出现故障时，流量直接打在了耗时高的数据库层，用户的等待时长就会增加
 *  等待时长的增加导致用户更加频繁去访问，更多的流量会打在数据库层
 *  这导致用户的等待时长进一步增加，再次导致更频繁访问
 *  当访问量达到一个极限值时，造成系统崩溃，无法再处理任何请求

流量和响应时间绝不是简单的叠加关系，当到达某个临界值时，系统将直接崩溃。

# 3 黑天鹅与三体 #

欧洲人从来都认为只有白天鹅，因为他们从来只看到过白色的天鹅。

他们的这种想法有多坚定，那他们在澳大利亚发现黑色天鹅时，震撼就有多么大。

这就是著名的黑天鹅事件的由来。黑天鹅事件指事前无法预知，一旦发生将具有巨大影响的不确定事件。

我们来分析一下欧洲人的白天鹅理论。他们采用的是归纳推理的方法，这也是科学实验中常用的一种方法。

当他们没有见到黑天鹅之前，认为只存在白色天鹅是成立的。但当黑天鹅出现时，整个认知瞬间土崩瓦解。

一个更加值得关注的系统是混沌系统。这个系统最大的特点是，当一个微小的扰动发生时，会给整个系统带来巨大的影响。典型混沌系统的体现就是蝴蝶效应和三体问题。

一只蝴蝶挥动翅膀可以带来一场飓风。

三个天体在相互的万有引力作用下，运动轨迹无法预测，这也是刘慈欣《三体》三部曲的基础设定。

处于混沌系统，不知道黑天鹅事件将在什么时间，什么地方，以什么形式发生。

我们不知道7点钟出发会被堵多久，不知道秒杀系统在开抢的瞬间会有多大的访问量，不知道某大V在微博上公布的消息会带来多少激增的流量。

# 4 工程系统稳定性 #

我们来思考一个问题：怎样保证一个工程系统的稳定性？有以下两种做法：

*  思路1：考虑到所有意外情况，针对每一个意外的异常情况分别处理
 *  思路2：接受无法预料到所有意外情况的现实，把兜底方案做好，保证即使出现极端情况，系统也不会崩溃

我们仔细分析思路1会发现这其实是一个悖论。

所谓意外情况就是意料之外的情况，无法预料的情况。如果被考虑到了，那么也就不能称之为意外情况了。

塔勒布在经典著作《反脆弱》一直想告诉我们：黑天鹅事件是无法预测的，极端意外情况是无法预测的，尾部风险虽然概率小，但破坏力却极大。

我们无法预测会发生什么故障，以及什么时候发生。但面对不确定性，我们不会束手就擒，至少可以把系统保护好。

# 5 高可用策略 #

为了保证系统的稳定性和高可用性，我们需要采取一些策略。我认为高可用核心策略一般包含：冗余+自动故障转移策略，降级策略，延时策略，隔离策略。高可用实际应用方案多种多样，但一般都在实施上述策略，从而构建一个稳定的高可用工程系统。

## 5.1 冗余 + 自动故障转移策略 ##

最基本的冗余策略就是主从模式。原理是准备两台机器，部署了同一份代码，在功能层面是相同的，都可以对外提供相同的服务。

一台机器启动提供服务，这就是主服务器。另一台机器启动在一旁待命，不提供服务，随时监听主服务器的状态，这就是从服务器。当发现主服务器出现故障时，从服务器立刻替换主服务器，继续为用户提供服务。

自动故障转移策略是指当主系统发生异常时，应该可以自动探测到异常，并自动切换为备用系统。不应该只依靠人工去切换成，否则故障处理时间会显著增加。

## 5.2 降级策略 ##

所谓降级策略，就是当系统遇到无法承受的压力时，选择暂时关闭一些非关键的功能，或者延时提供一些功能，把此刻所有的资源都提供给现在最关键的服务。

在秒杀场景中，下订单就是最核心最关键的功能。

当系统压力将要到达临界值时，可以暂时先关闭一些非核心功能如查询功能。

当秒杀活动结束后，再将暂时关闭的功能开启。这样既保证了秒杀活动的顺利进行，也保护了系统没有崩溃。

还有一种降级策略，当系统依赖的下游服务出现错误，甚至已经完全不可用了，那么此时就不能再调用这个下游服务了，否则可能导致雪崩。所以直接返回兜底方案，把下游服务直接降级。

## 5.3 延时策略 ##

用户下订单成功后就需要进行支付。

假设秒杀系统下订单每秒访问量是3000，我们来思考一个问题，有没有必要将每秒3000次访问量的压力传递给支付服务器？

答案是没有必要。

因为用户秒杀成功后可以稍晚付款，比如可以跳转到一个支付页面，提示用户只要在10分钟内支付完成即可。

这样每秒3000次的访问量就被分摊至几分钟，有效保护了系统。技术架构还可以使用消息队列做一个缓冲，让支付服务按照自己的能力去处理业务。

## 5.4 隔离策略 ##

物理隔离：应用分别部署在不同物理机、不同机房，资源不会互相影响。

线程隔离：不同的请求进行分类，交给不同线程池处理，当一类请求出现高耗时和异常，不影响另一类请求访问。

# 6 无所不备则无所不寡 #

《孙子兵法》虚实篇告诉我们一个道理：备前则后寡，备后则前寡，备左则右寡，备右则左寡，无所不备，则无所不寡。

力量集中在前，后面就空虚。力量集中在后，前面就空虚。力量集中在左，右面就空虚。力量集中在右，左面就空虚。如果力量分散在前后左右，那么前后左右就都空虚。

不确定性分散在前后左右无法预测。我们不可能将精力分散在前后左右，但是技术人员至少可以做好一点：保护好系统。

> 欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，欢迎大家加我微信「java\_front」一起交流学习

发表评论取消回复

表情：

评论列表（有 0 条评论，210人围观）

还没有评论，来说两句吧...

相关阅读

相关从反脆弱角度说一说：技术系统高可用性策略

1 非线性我们先来介绍一个概念：非线性。这个概念在我们的生活中无处不在。你要赶早上8点钟的火车，如果6:30出发可以在7:00到达车站，于是你得到一个结论：只要30

待我称王封你为后i/ 2023年09月25日 19:18/ 0 赞/ 81 阅读

相关从 JVM 角度谈引用

一诉求我们希望能描述这样一类对象：当内存空间还足够时，则能保留在内存中；如果内存空间在进行垃圾收集后还是很紧张，则可以抛弃这些对象。适用于缓存场景。二面试题

朴灿烈づ我的快乐病毒、/ 2022年08月31日 12:22/ 0 赞/ 158 阅读

相关浅谈系统的高可用性

“高可用性”（High Availability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。对于高可用这个概念，个人认为至少满足下列几点

末蓝、/ 2022年08月18日 02:03/ 0 赞/ 228 阅读

相关从jvm代码优化角度谈撸代码

1.前言以编译程序执行本地代码，比解释执行更快，除虚拟机解释执行字节码额外消耗时间的原因之外，另一个很重要原因就是虚拟机设计团队几乎把对代码的所有优化措施都集中在即时编

雨点打透心脏的1/2处/ 2022年05月31日 08:59/ 0 赞/ 190 阅读

相关 SQL Server 高可用性（一）AlwaysOn 技术

　　从 SQL Server 2008 开始，微软在“高可用”、“灾难恢复”技术中使用 AlwaysOn 一词。在 SQL Server 2012 中，微软明确地打出的 Alw

青旅半醒/ 2022年04月04日 09:29/ 0 赞/ 578 阅读

相关 SQL Server 高可用性（一）AlwaysOn 技术

　　从 SQL Server 2008 开始，微软在“高可用”、“灾难恢复”技术中使用 AlwaysOn 一词。在 SQL Server 2012 中，微软明确地打出的 Alw

小咪咪/ 2022年04月03日 11:27/ 0 赞/ 274 阅读

相关 OFM系统高可用性总体框架设计

高可用性通常用来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。一个高可用性HA框架是每个系统架构设计的重要考究部分。高可用性一般使用正常服务时间与运

小灰灰/ 2022年02月13日 23:24/ 0 赞/ 405 阅读

相关从程序员的角度谈创业三年

关于决定是否创业 2012年4月，正好三年前整，在深圳能源正混的郁郁不得志的时候，大学的好兄弟找到我一起创业，他们有钱、有idea，就是差人，当时的我还是技术菜鸟，本科学的也

╰+哭是因爲堅強的太久メ/ 2021年12月16日 02:43/ 0 赞/ 276 阅读

相关从反脆弱角度谈技术系统的高可用性

> 欢迎大家关注公众号「JAVA前线」查看更多精彩分享文章，主要包括源码分析、实际应用、架构思维、职场分享、产品思考等等，欢迎大家加我微信「java\_front」一起交流学习

野性酷女/ 2021年09月23日 05:02/ 0 赞/ 211 阅读

相关从功能测试角度谈大数据测试

大数据，已经成为了一个时代的代名词，当今的互联网属于大数据时代，大数据时代的到来，颠覆了以往对数据的惯性思考方式，要保证数据执行，软件质量，测试质量，数据使用场景等，都需要重新

矫情吗；*/ 2021年09月17日 09:24/ 0 赞/ 238 阅读