医院信息系统典型故障案例解析
上QQ阅读APP看书,第一时间看更新

案例10 不间断电源安装疏漏导致机房设备损坏

【案例概述】

案例关键字:UPS 电路切换
机房内所有的设备都是有使用寿命的,当设备到了报废期,更换就势在必行。小L就经历了一次UPS的更换,这次看似普通的工作,却因旧UPS厂家在安装时的一个疏忽——图纸与现实不符,在更换UPS的前期检查中也没有发现,让小L经历了职业生涯中最惊险的一晚。

【案例还原】

小L所任职的医院,2010年门诊楼新机房建成时就已经配置了XX品牌的两台型号为80KVA的UPS和配电柜,两台UPS通过并联的方式连接。2017年下半年,其中一台UPS因故障而停机,经原厂工程师检测,认为已经无维修价值。为保障机房配电系统整体高效运转,经过现场调研、可行性分析、论证等流程,医院最终决定购置了2台型号为XXXX 80KVA的UPS。2017年10月,小L担任此次系统切换总负责人,此次任务可谓“一波三折”!
作为久经沙场的小L自然知道这种基础设备更换的重要性,在事先也多次与相关人员沟通,做好了周密的计划。到了实际切换的那一天,在旧UPS原厂工程师的现场协助下,大家对旧UPS的整体情况进行了认真检查,确认无误后按计划进行电路切换操作,切换顺利,市电旁路供电正常。于是小L断开UPS主机所有的开关线路,在确认已损坏的UPS主机各连接线路无电流的情况下,开始拆除坏旧主机线路。然而,让人意想不到的情况却在此时出现了,十分钟不到的时间,有的设备出现断电,有的设备开始报警(电压不稳造成设备报警),随后设备断电的现象越来越多。经验丰富的小L当机立断,召集大家恢复原坏主机的线路,很快,原损坏拆除的主机线路恢复,供电后故障消失。接下来,小L对所有设备进行检查,有近20台服务器的电源模块损坏,另外还有30多台不同楼层弱电房里的交换机损坏。小L马上与维保公司联系紧急借调35台交换机和部分服务器电源模块。同时小L带领大家进入争分夺秒的抢修环节。一组人负责处理电源模块损坏的服务器,要求从同型号且电源模块完好的服务器上拆借一个到电源模块已损坏的服务器上,让服务器在单电源模块下把业务系统启动起来;另一组人员负责将相关的网络配置备份恢复应用于新交换机上,并更换损坏的交换机,恢复网络。经过大家的努力,终于在早上上班人流高峰到来前所有网络和业务恢复正常。
小L长吁一口气后,马上召集大家乘胜追击,共同制订问题查找方案,确认方案完善且可行后,立刻进入“线索查找”环节。一组人负责检查从负载开关至机柜PDU的线路,另一组人负责检查从负载开关至市电总开关的线路。经检查,静电地板下方线路无明显故障。检查配电旁路柜,对照厂家图纸进行详细检查时,发现图纸上面提示共零,而当前缺少一根零线(图1-10-1、图1-10-2),当零线断掉,只有三相电时就会出现电压不稳定的现象。此刻可谓是“山重水复疑无路,柳暗花明又一村”,原来是当时厂家在供应旁路配电时少安装了一根零线,在正常使用或关机的情况下,这种情况并不会发生故障,但是不能对坏旧的UPS主机进行移动或搬运,因为移动或搬运必然会涉及拆线,当某一台主机拆完线后,零线断开,就会出现之前的故障。
图1-10-1 配电旁路柜
按照要求需要从市电配线柜(零牌)放一根零线至UPS主机输出配电柜的零牌,现实情况没有,但是图纸上面有这根线
图1-10-2图纸
问题找到了,一切向着好的方向发展,第二天凌晨,趁业务不繁忙,小L再次申请停电1小时,把当初漏放的两个配电柜之间的零线补上。经检测观察,所有电路供电正常。第三天凌晨,小L再次申请停电两小时,拆除原UPS主机线路、安装新UPS,并将坏的UPS搬走,本次UPS更换完成。

【案例总结】

1.对于大型设备的安装、更换,要做好施工计划与应急方案。
2.对于两套设备的更替工作,要请双方原厂工程师到现场协助,如果出现不可预知的问题,方便沟通和排查。
3.在制订新旧设备更替方案时,我们往往会把重点放在新设备安装准备工作上,容易忽略检查旧设备本身是否存在问题。如本案例中,虽然在正式施工前做了大量的检查工作,对原电路图纸进行了对比分析、检测线路等,但是安装前的所有准备工作都以电路图纸为准,然而实际上旧设备的安装本身存在疏漏,而且这种疏漏并不影响正常的使用,通过普通的线路检测很难查出,需要对照电路图纸对线路进行手工梳理。因此对旧设备的检查,需要采用原图纸与实际相结合的方式进行。
4.组织专业人员定期对UPS的功能进行测试,如UPS同市电的切换、电池容量测试等,每年进行两次完整的放电,激活UPS的电池活性。
5.在条件许可的情况下,购买机房设备的维保可以有效缓解日常维护的工作压力。