后端架构师12年高可用实践：从宕机到稳如磐石

　　去年春节，我蹲在监控台后面啃半凉的韭菜盒子，屏幕里三个集群同时飘红——不是告警，是直接抽搐，像心电图进了ICU。总编电话进来那会儿，我正用指甲刮盒底最后一星油渍，他说“稳住别崩”，我回他“崩完了，连熔断阀都忘了设”。他顿了两秒，挂了。我盯着他微信头像右上角那个小绿点，亮了十七分钟没动。

文章配图，仅供参考

　　选题会上我摊开十二年日志本，封面烫金字早磨没了，只剩一道油渍印子。主编翻到“2017年双十一流量突刺”那页，手指停在“降级策略失效”七个字上，问我：“这会儿再补限流逻辑，来得及？”我没接话。旁边小编把笔搁在桌沿，斜着滑下去一厘米，停住——那支笔我认识，她入职第一天发的，蓝壳，漏墨，至今没换过。我原以为得讲清楚当时为什么没配自适应限流，结果开口说的第一句是：“那天运维老张穿了双新球鞋，踩错机柜地砖，摔了一跤。”

　　后怕？不完全是。是冷眼。你信不信，真到大崩那一刻，人反而静得瘆人。没有喊叫，没有键盘砸桌，只有空调外机在楼顶吭哧吭哧喘，像台将死的老拖拉机。我调出春节前七天压测报告，第三页脚注里写着“缓存预热失败率 13.2%”，而我们没人点开看过——不是疏忽，是所有人默认“反正除夕夜没人刷”。结果呢？零点整，首页Banner图404跳转到一个已下线的促销活动页，那个页面连CDN都早被回收了。我敢打包票：这个跳转链路，三年没走通一次测试，但系统硬生生跑出了六万次500错误。

　　优胜劣汰。就这四个字。不是玄学，是血肉磨出来的刻度。你写十套高可用方案，八套死在评审会；剩下两套上线，一套活三个月后被新DB拆解替代，另一套熬到今天，只因为它去年五月在某个凌晨两点自动切走了98.7%的写流量——没通知任何人，也没留日志，纯粹靠心跳探针抖动幅度超过阈值触发。我说不准它什么时候会被干掉，但我敢说，它比所有PPT里的SLA模型都诚实。

　　隔壁工位咖啡洒了。不是泼，是杯沿自己裂了道缝，褐色液体顺桌沿滴到地上，洇开一小片。没人擦。谁都不动。主编突然笑了一声，说：“上次你们提‘故障驱动架构演进’，我把这词塞进集团技术白皮书第三章了。”他手机响了一下，来电显示是“王副总（人力）”，他摁掉，又点了根烟。我盯着烟灰缸里那截还没燃完的烟屁股，突然想起2016年那个暴雨夜——我们用三台废弃PC搭临时路由，光缆是从配电房爬过去的，接口胶带缠了十七层，后来雷劈了变电站，那三台机器居然多扛了四分十八分钟。这事现在没人记得，文档里更找不到，但我知道，因为最后关机时我手抖，按错了Ctrl+Alt+Del，弹出来的是Windows XP蓝屏，而不是关机界面。

　　其实最蠢的一次，是2019年那次数据库迁移。我们给主库加了个旁路监听进程，用来同步binlog到分析集群。结果发现监听端口跟内网监控Agent用了同一个，而监控Agent有个bug：每小时会重启并短暂关闭端口监听三秒。就是这三秒，让binlog丢了二十三条事务——不多，但其中一条，是某省社保局用户修改身份证号。没人知道，直到三个月后对账差一分钱，查到这条记录，才发现它卡在监听缓冲区最后一帧里，既没发出去，也没报错。这事我至今没跟团队说过，说了怕他们睡不好。可你说它是隐患？它早就过了生命周期。现在我们连监听进程都砍了，改用WAL流式解析——但你知道吗？WAL解析器上周五也抽风了，重放延迟堆到八小时。不过没关系，下游BI报表系统根本不校验时间戳，只管取数。我昨天看报表，发现某市社保缴纳率莫名其妙涨了0.0002%，算了，先放着。

　　上个月工资条发下来，基础薪没涨，绩效栏写着“高可用体系建设奖：三千元”，括号里注明“覆盖2022–2024三年累计故障归因闭环”。我盯着那行字看了好久，忽然想起去年除夕夜抢修完，凌晨五点路过楼下便利店，货架上最后一盒草莓酸奶卖空了，只剩一个玻璃瓶，标签朝外，上面印着生产日期：二零二三年十二月二十九日。保质期二十八天。我拍了照，没发群里，删了。

　　下次选题会，我打算闭嘴。但得先去修下我笔记本风扇——它最近总在压测模拟时嗡嗡响，音调变了三次，像在学某种方言骂人。我录过一次，放给实习生听，他听完说：“老师，这声儿，有点像咱们服务网格里那个长期空闲连接超时前的最后一次心跳。”我说不对，是CPU散热膏干了。他点点头，又低头敲代码去了。我打开IDE，光标在import语句那里停住，写了又删，删了又写，最后只打出一行注释：// 此处不应有注释

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!