微软补丁让全球办公网络宕机 你说如今 AI 都这么发达了,但今年全球网络大崩溃的事件怎么这么多?上次聊宕机还是在上次。而这次,事件的主角是微软 Outlook 邮箱。全球74个国家和地区的报告说微软崩了,经历24小时候才恢复。据估算,这次微软带来的损失大约在70亿美元。
虽然咱们不咋用邮箱,但是国外大部分公司和政府机关,上班都是用 Outlook 沟通。所以在崩溃的这24小时里,英国几百家医院用回了纸质病历,法院文书发不出去只能延期宣判,但刚好是周五所以打工人们都在摸鱼庆祝。。。
而事故的原因更是难绷。7月份时,微软给网关服务器打了个补丁,里面藏着一个缺陷。它会让服务器一个内部程序出现「锁竞争」。锁竞争就是抢东西,好比营业厅里只有一枚公章,每个柜员办业务都得排队等它。所以这个缺陷,在 CPU 核心越多的服务器上,反而更严重。
微软做压力测试用的基本是核心少的服务器,自然发现不了这个问题。于是这个补丁就这么在全球的网关上平安无事地跑了三个多月。。。直到出事前15小时的一次切换。Teams 从备用网关转移到了主网关,跟 Outlook 背后的邮件服务 Exchange Online 挤在了一起。
这放在平时没问题,但刚好这次主网关有14%的服务器还关闭着,正在慢慢恢复。Teams 的流量又全挤了过来,还正好赶上美国上班的流量高峰。于是主网关剩下的服务器越来越忙,直接触发了锁竞争,开始一台接一台卡死。
微软的保护机制还帮倒忙,哪台服务器卡死了,系统就自动把它的用户转移到主网关里其他还正常的服务器上,可大家都有问题,所以转哪哪死。不到两小时,超过80%的主网关服务器都寄了。
到这故事还没结束。。。微软发现问题后,就马上开始重启服务器。结果被积压的大量流量压垮。于是用户就这么反复被折磨,刚能用又不能用了。最后微软只能把那段代码改回老版本,再一批批重启,才把服务一点点救回来。
结合微软这个市场份额,就是一家出事,半个地球跟着炸。但你可能真遇不到比微软更适合的服务商。所以事后继续凑合过呗,还能离咋滴。
这类事件也还没完,等下一条微博我给大家讲讲,网络故障让全美航班瘫痪的故事,也是这几天的。。。




