最近,欧洲人疯抢中国空调的消息备受关注,然而,最需要空调的或许是AI超算。远在英国,就发生了这样一件事:英国最强AI超算之一的Dawn,在30多度高温下直接瘫了整整一周。
这台位于剑桥大学的超算,有着豪华的标签:它是英国政府3亿英镑国家AI算力计划的核心组成部分,配备1024块Intel GPU、256台液冷服务器,已支撑了超过350个科研项目。今年1月,它刚获得3600万英镑的扩容升级,预计性能将提升6倍。但6月底,一波热浪袭来,它就歇菜了。
更具戏剧性的是,这台超算上正在进行的研究包括气候变化模拟。用来预测全球变暖的机器,却被全球变暖打败了。
今年6月,英国遭遇了有记录以来最猛的六月热浪。6月26日,诺福克地区的林伍德镇气温达到37.7°C,打破了1957年和1976年保持的35.6°C六月纪录。英国气象局罕见地发布了连续三天的红色极端高温警告,1000多所学校停课,铁路信号因高温故障,公路路面开始融化。
6月27日,随着当日热浪峰值降临,Dawn超算所在的剑桥西区数据中心冷却系统顶不住了。(林伍德和剑桥都在英格兰东部,相距大约103公里)Dawn就此停摆。
事件发生后,剑桥大学发言人表示:Dawn遭遇了热天气期间的技术问题,冷却能力已完全恢复,预计访问将于7月6日重新开放。从6月27日到7月6日,Dawn整整“冷却”了一周多。对于一台每小时都在烧钱、每一秒都在推进科研进度的超算来说,这一周的停摆影响巨大。
受影响最深的项目已经显现。剑桥大学Vendruscolo教授的团队正在用Dawn做帕金森新药分子筛查。Dawn的机器学习能力可以在几天之内筛查数十亿个分子,寻找能与帕金森相关蛋白聚集体结合的化合物。如果用传统方法,半年起步,花费数百万英镑,而且只能覆盖Dawn几小时就能扫完的一小部分。停机一周,意味着这条救命的流水线直接停转。
牛津大学的Lennard Lee是英国癌症疫苗AI与超算项目的负责人,他的团队拿到了Dawn 10000个GPU小时的算力配额,用AI加速个性化癌症疫苗的靶点发现。Lee此前表示,以前需要几年才能完成的发现,现在只需要几周。虽然事后Lee表示没有数据丢失,也不需要重做工作,但他话语中的庆幸,本身就说明了问题的严重性。
此外,英国南极调查局用Dawn训练的IceNet海冰预测模型暂停了,剑桥博士生Bill McGough用Dawn训练的AI肾癌筛查项目也停了……Dawn上面跑的350多个项目,几乎无一幸免。而造成这一切的,不过是37.7°C。
那么,谁应该为这起事件负责呢?Dawn的冷却系统由法国Legrand集团旗下的USystems供应。事后,USystems声明称,他们的设备在整个事件中完全按照设计规格运行,表现正常。也就是说,散热出现问题,但不赖他们,设备本来就不是按这个温度设计的。
这究竟是设计标准太保守,还是气候变化太快?答案可能是两者皆有。英国六月的历史极端温度只有35.6°C,Dawn的冷却系统大概率就是按这个量级设计的。37.7°C超出了设计标准,而且这个“超标”来得毫无预警,因为上一次达到这个纪录,还是在接近50年前。
另外,Dawn也不是唯一的受害者。同一周,英国朴次茅斯的Queen Alexandra医院冷却机组故障,宣布紧急事件。手术室、心导管室、影像科都停了,医院还让患者自带大量饮用水,因为医院非常热。诺福克与诺里奇大学医院(简称NNUH)更惨,所有MRI扫描仪的冷却系统因高温高湿全部失灵,至少254个门诊被取消。
从某种程度上而言,不是超算脆弱,而是英国的整个温控基础设施,都没为这种天气做好准备。
Dawn被热瘫这件事,如果放在更长的时间线上看,并不意外。2022年7月,英国遭遇了当时的史上最热天(40.3°C)。Google伦敦数据中心的冷却系统“多个冗余系统同时失效”,被迫关机保护硬件,Google Cloud伦敦区域服务中断超过18小时才完全恢复。Oracle伦敦南区数据中心同天瘫痪,Oracle的声明用了“非季节性高温”这个词。2022到2026,4年过去了,类似事件再次上演。
实际上,30多度搞瘫一台超算,散热是最难突破的瓶颈。尤其对欧洲地区来说,设备普遍采用自然冷却,这种方式天然受限于室外自然温度。所有散热系统,不管多先进,最终都要把热量倒给室外空气,室外空气温度是整条链的终极瓶颈。链路展开为:芯片把热量传给散热器,散热器传给冷却液或空气,冷却液传给冷却塔,冷却塔传给大气。大气是最后一个接盘侠。当大气温度达到37°C时,它就开始难以承接热量了。
具体来说,当室外温度从20°C飙到37°C,冷却塔和干冷器的散热效率可能骤降40%到50%。有人会问,咋不开空调?因为压缩机在高温下效率下降、电流升高,容易过热跳闸。Oracle 2022年的事故报告原话就是:两台冷却机组在被要求超出设计极限运行时发生了故障。Dawn这次的情况,合理推测可能也类似。它用的Dell PowerEdge XE9640服务器配备了直接液冷系统,这是比传统风冷先进得多的散热方案。冷却液直接贴着芯片表面流过,带走热量的效率远高于吹空气。但液冷解决的是机架内部的效率,热量被冷却液带走之后,仍要通过冷却分配单元、设施冷水回路、冷却塔,一路传递到室外大气。最后一环,还是受制于室外温度。
而冷却系统一旦停摆,后续还会导致一系列连锁反应。研究数据显示,冷却系统一旦停机,5分钟内服务器入口温度就能从22°C飙升到35°C以上。遇到这种情况,芯片会启动自保:先降频(thermal throttling),主动降低运行速度减少发热,性能暴跌;如果温度继续涨,超过安全阈值,就会强制关机。运营商这时只有两个选择:让设备自己断电,可能损坏数据;主动有序关机,保护硬件但业务停摆。Google、Oracle、剑桥Dawn,都选了后者。
随着AI数据中心不断“膨胀”,温度对AI的影响可能会越来越显著。传统数据中心一个机架的功率密度大约5到10千瓦,但AI训练机架已经到了30到50千瓦,Nvidia最新的GB200 NVL72机架更是达到了120到132千瓦(下一代Rubin可能到600千瓦)。一个AI机架100千瓦的发热量,相当于在一个电话亭大小的空间里同时开50台电暖器。
更麻烦的是,GPU本身正在变得越来越“热”。2017年的Nvidia V100大约300瓦,2023年的H100跳到700瓦,2024年的B200达到1000瓦,2025到2026年的B300和AMD MI355X直接拉到1400瓦。七年时间,单芯片发热翻了3到5倍。所以,不管是从数量还是单个芯片来讲,随着AI变强,它就越怕热、越需要散热。
至此,可以发现两条正在对撞的曲线:芯片在指数级变热,地球也在加速变热。事情变得更加棘手了。Google早在2011年就跑去芬兰建数据中心,Meta去了瑞典北部,就是为了用寒冷气候做天然散热。马斯克更是想到了要去太空建AI数据中心。但英国政府今年1月刚给Dawn砸了3600万英镑扩容,还在规划爱丁堡的新国家超算。这些设施的散热设计,是按上一个时代的英国夏天算的,还是按正在到来的新常态?谁也说不好。但有一件事是确定的:用来预测气候变化的超算,被气候变化热停了。这已经不是一个段子,这是AI时代基础设施面临的真实课题。