记录一次线上严重事故（变更表结构导致商城系统宕机）

淡淡的烟草味﹌ 2022-12-24 04:53 171阅读 0赞

## 事故一 ##

**事件**：

> 早上 7点左右 ，商城表更新了价格字段精度(500万级)，导致商城系统系统不可用

**影响**：

> 1.  商城系统从 7点到11点间不可用 （严重级）
> 2.  报表系统整天不可用 （严重级）

**事故解决过程：**  
（创建一个和原来一样的空表，加上需要变更的表结构，然后把原来表数据复制过来）

> 1.  早上9：30 点左右，商城表重新建立索引，商城系统恢复
> 2.  报表系统同步一直到12点发现还一直卡着，然后找阿里云技术解决，一直到20：00 才ok

**技术原因分析**：

> 1.  刷表结构导致商城系统不可用原因： 刷表结构后，表的所有索引需要重建，而polardb数据库创建从库建立索引失效，price 表每次全表扫描，查询时间平均 13秒，  
>     由于这个张表的查询时间过长导致所有的线程被耗尽，k8s 做健康检查的时候没有线程响应，k8s认为服务挂了（10秒未响应），kill掉这个应用

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z5ajEzOTI1NDc1OTU3_size_16_color_FFFFFF_t_70_pic_center]

> 1.  报表同步问题：频繁修改dts同步表结构导致dts卡死，原因是 adb 数据库缓存过小，后来找阿里云那边搞好的

**问题总结**：

> 1.  之后我们需要严格对待表结构变更问题，之前数据量比较小基本变更一下表结构几秒钟就ok了，目前我们有些表的数据已经是千万级规模了，很容易出现锁表。

**解决方案**：

> 1.  以后所有的线上数据运维必须走dms工具
> 2.  涉及表结构变更的发版要提前做好预案

## 事故2： ##

**事件**：

> 早上 9：40 左右 ，因为要同步adb表结构需要删表，操作失误误把线上product库删掉了

**影响**：

> 整个系统从9：40到11点间不可用 （严重级）

**事故解决过程**：

> 1.恢复备份数据，耗时1小时左右 2.验证并补全错误数据

**原因分析**：

> 本次事故主要是人为操作失误造成

**问题总结**：

> 为防止人为操作失误 最好的办法是从流程上来解决 ， 为此以后所有的数据上线必须走dms审核工具，并且要做好数据备份，不允许直接操作数据库

**远期改进**：  
1.做好分库分表，减少单表数据量

2.做好数据库的冷备，缩短以后数据的恢复时间

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2Z5ajEzOTI1NDc1OTU3_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/5dd28f8507624094a28ea9ebbe5a025d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，171人围观）

还没有评论，来说两句吧...

相关阅读

相关大意了，一次多线程操作不当导致的线上事故...

今天给大家分享个生产事故，一个由于多线程操作不当导致的线上事故，事情是这样的～事故描述从6点32分开始少量用户访问app时会出现首页访问异常，到7点20分首页服务大

谁践踏了优雅/ 2023年09月27日 11:13/ 0 赞/ 92 阅读

相关记录一次线上误操作事故

线上操作失误记录 > 事故简述：由于客户机器数据库备份计划任务执行比较频繁，并且所有表备份在同一个目录下面，显得比较杂乱无章，想着先删除整体，修改下结构，重新备份。

落日映苍穹つ/ 2023年07月13日 04:10/ 0 赞/ 18 阅读

相关记一次 MySQL 启动导致的事故

`MySQL` 启动存在端口被监听, 但服务没完全启动的情况. 背景 `MySQL` 启动时会进行 `第一次` 初始化数据库, 等待 `MySQL` 完全启动后, 再进

墨蓝/ 2022年12月28日 01:37/ 0 赞/ 267 阅读

相关记录一次线上严重事故（变更表结构导致商城系统宕机）

事故一事件： > 早上 7点左右，商城表更新了价格字段精度(500万级)，导致商城系统系统不可用影响： > 1. 商城系统从 7点到11点间不可用（严重级

淡淡的烟草味﹌/ 2022年12月24日 04:53/ 0 赞/ 172 阅读

相关记录一次线上 OOM

记录一次线上 OOM 事故日期： 2020-11-02 18:30 \\描述：\\最开始是 APP 首页加载报网络超时，后来管理后端也出现了网络超时的情况。个人

阳光穿透心脏的1/2处/ 2022年11月22日 00:29/ 0 赞/ 319 阅读

相关记一次RegionServer节点的宕机事故[hbase1.1.2]

我们的大数据部署在金山云，hbase集群中的进程RegionServer(RS)死掉以后不会自动启动，只能手动拉起。因此我写了个定时监控脚本，一旦监测到RS死掉就立即启动，以保

清疚/ 2022年06月03日 02:57/ 0 赞/ 524 阅读

相关记一次mysql宕机

E_WARNING: PDO::prepare(): MySQL server has gone away: PDO::prepare(): MySQL server

分手后的思念是犯贱/ 2022年05月26日 03:07/ 0 赞/ 315 阅读

相关 Facebook 宕机事故系服务器配置问题导致

[百度智能云·域名服务，.com新用户首购仅需25元][.com_25] ![hot3.png][] 昨天 Facebook 及旗下产品 Instagram 和 Whats

偏执的太偏执、/ 2022年01月31日 00:41/ 0 赞/ 233 阅读

相关记一次JVM FullGC引发严重线上事故的定位、分析、解决过程！

公众号后台回复“学习”，获取作者独家秘制精品资料 ![640?wx\_fmt=png][640_wx_fmt_png] ![640?wx\_fmt=jpeg][640_wx

梦里梦外;/ 2021年10月19日 11:16/ 0 赞/ 406 阅读

相关记一次线上hystrix的事故

我们线上有个系统是有若干个服务组成，服务之间通过thrift rpc进行通信，在调用rpc服务的时候加了一层hystrix，目的是防止“雪崩”。这样的系统架构算是一个比较“中规

系统管理员/ 2021年05月12日 11:55/ 0 赞/ 566 阅读