作为医院信息中心的运维人员,做的最多的工作就是日常巡检、故障恢复。只要办公室的电话铃一响,“战斗”就打响了。
只是,这次响的不是电话铃...
平地惊雷,机房传来“爆炸声”
8月20日8点50分,完成例行检查的我正在办公室里查看软件的运行情况,突然被机房的两声巨响打断了。开始还以为上面在搞装修,但UPS发出的“滴滴”警报声让我感觉情况不妙,立马跑到机房,刚打开门就闻到浓重的烧焦的味道。糟了,不知道哪个设备出问题了。
展开巡查,服务器、核心交换机等设备都在正常运行,一颗心终于放回了肚子里。查看UPS故障代码002,估计是配电房的工作人员操作不当,导致2台UPS保险丝同时烧坏了。
UPS显示电池还可以继续供电6小时,用万用表测量了电源输入输出电压,均正常。给UPS电源的经销商和厂家售后打电话,在厂家的远程指导下查找故障,经排查后,推断UPS设备已经损坏,需要工程师上门维修。厂家的工程师因路途遥远不能在短时间内到达现场,因此,需要将机房的电路在UPS电池耗尽前切换到市电供电。
切换用电,启动应急预案
做我们这行的都知道,在医院的机房,切换用电绝不是像在家里换个插座似的那么简单。
首先,将机房UPS电源损坏情况上报医院领导,并通知全院职工,因为切换用电可能需要2个小时,请大家在此期间,采用应急预案,做好手工开处方和收费的准备。
中午12点,关闭所有设备和插座开关,切断供电,将UPS输出电源线从电源输入配电柜转接到输出配电柜,切换到市电供电。
市电接通后,反复测量输出电压220V正常,逐步打开所有设备电源。
核心交换机OK;
备份服务器OK;
PACS服务器OK;
虚拟服务器OK;
......
HIS服务器开机启动失败!!!
祸不单行,服务器硬件故障
Loading Drivers Now
Scanning system, connecting boot device(s)
Select Boot Device
按F12,系统毫无反应,找不到启动设备。
咨询了服务器的售后工程师,又被雷劈了一下——“主板故障”!
祸不单行这个词怎么就跑到我们医院了呢。
此时已是下午2点,时间在分秒流逝,而我却忙得“毫不知情”。
突然想起来我们的备份软件(UPM的备特佳)是有业务接管功能模块的,于是赶紧联系了软件厂商——和力记易的工程师。(备注:北京和力记易科技有限公司,简称UPM,国内老牌的数据备份与恢复软件厂商,医疗卫生领域容灾备份解决方案的专家型企业)
在和力记易(UPM)工程师的远程指导下,我在暂停了备特佳软件的实时备份后,启动了SQL Server服务,将灾备服务器的IP地址修改成了HIS生产服务器的IP地址。之后,附加银医通数据库YxBankBCM、YxWePay,几分钟后,灾备服务器成功接管了HIS服务。
走廊里遇到医院门诊的同事,他问我不是说要启动应急预案吗?我看现在业务挺正常的啊。我笑着说多亏找了个“好保镖”。
虽然接下来还要维修UPS电源和服务器,但好在眼前的难关已经过去了,我非常感谢备特佳容灾备份软件的保驾护航,在关键时刻“临危受命”,不负重托,使得医院的关键业务系统能够保持连续运行。等硬件完成维修之后,我再联系和力记易(UPM)的工程师,将备份机的数据恢复到生产服务器。
医院信息化建设是一个系统的大工程,保障各个信息系统的正常运行是一项艰巨而又富有挑战的工作。在经历了这次“惊心动魄”的实战之后,我不由得感叹,世事无常,有备无患方能“化险为夷”。
作者介绍
李任校 ,任职于湖南省怀化市会同县人民医院信息中心,具有多年医院信息化平台运维和管理经验。会同县人民医院始建于1950年,是一家集医疗、保健、科研、教学、康复为一体的二级甲等综合医院。
(感谢作者的精心整理和经验分享,希望我们UPM的产品与服务是客户数据安全的有力保障,不负重托。)
申请创业报道,分享创业好点子。点击此处,共同探讨创业新机遇!