从运维菜鸟到大咖,你还有多远II:企业数据中心建设及管理
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

三、零地线原来这么重要

零地线布局设计和安装是数据中心供电系统规划设计的主要内容之一,在众多数据中心运行过程中,因为零地线的设计缺欠、安装不规范,甚至设计安装错误,造成的供电系统重大故障屡见不鲜。只不过由于零地线设计安装隐患造成的故障大多是系统性的,原因的查找和分析困难重重,不像设备故障那样界定清晰、责任明确。很多由于零地线系统设计缺欠、安装不规范和设计安装错误造成的系统故障,往往是以诱发设备运行不稳定或故障的形式表现出来的,因此系统运维人员和故障分析专家习惯将故障原因归结为与故障相关的设备和设备厂商。

就目前众多数据中心对零地线系统规划设计、安装和已发生的故障案例来看,除上面讲到的中性线断开导致的问题之外,系统中性线二次接地也是一个常见的问题。

数据中心建设标准规定要用TN-S系统,该系统为三相五线制,即三根相线,一根中性线,一根PE线。中性线只在系统接地极处接在一起,在此处中性线和PE线绝对同电位,然后中性线和PE线分开传输,这样可保证PE线中没有系统工作电流,只有当系统中出现电噪声和瞬时电压波动时,才会有通过滤波器产生的瞬态电流在PE线中流动。所以,在常态情况下系统的各个接线点的地电位是相等的。

但是,在一个实际运行的系统中,却存在着各种原因和各种形式的中性线和PE线短接现象,明显的特征是在PE线中存在着周期性系统常态工作电流。

有多种原因可能造成中性线二次接地,使PE线中存在着周期性系统常态工作电流,如设备中性线与PE线接线错误和人为的中性线二次接地。

1)接线错误

在一个复杂的供电系统中,某些设备在安装时可能将设备中性线、PE线与系统中性线、PE线混接,造成中性线在该点再次接到PE线上。这种现象虽然普遍,但只要严格接线操作规程和重视工作质量是可以解决的。因为此类问题并不影响系统各种设备的正常运行,运维人员理所当然地认为没有问题。即使有问题,查找起来也有很大难度。

2)人为二次接地

有些用户发现零地电压过高时,在没有配置隔离变压器的情况下,就简单地在IT设备配电机架中做中性线二次接地。

人为二次接地的做法来源于一种错误的理念,即认为零地电压过高时,会影响IT系统运行的稳定性。很长一段时间,国内业界都认为“零地电压”过高会对IT设备,如主机、小型机、服务器、磁盘存储设备、网络路由器、通信等的运行造成不良的影响,包括可能导致IT设备中的微处理器CPU芯片出现“莫名其妙”的损坏、可能导致IT设备出现死机事故的概率增大、可能导致网络传输误码率的增大和网速减慢、可能导致存储设备损坏和数据出错等。这些“可能”现象在IT设备运行中是经常出现的,但是笼统地归结为零地电压过高造成的,这恐怕是供电技术业内的“千古奇冤”了。

当然,最直接也是最硬性的依据是:部分IT设备厂商在其设备开机前对系统零地电压提出了≤1V的苛刻要求。

听到这里,Tom深有感触。零地电压问题,还真是金融数据中心特有的问题。当年有个朋友在西安的一个IDC,同样一个机房,一块场地租给了某著名互联网公司,业主验收合格。另一块场地租给某银行作灾备机房,结果业主提出零地电压大于1V这个问题。互联网企业一般都用X86服务器,对于零地电压完全没有要求;而金融企业用IBM、HP小型机多,当年的要求是:只要零地电压大于1V,就拒绝开机。为此,Tom的朋友不得不购买了隔离变压器来满足银行客户的要求。

张老师认为这些IT设备厂家对于零地电压的要求是错误的,原因如下。

(1)IT厂家对零地电压的测量是在IT设备开机之前的,此时负载是断开的,负载电流为零,绝对不存在产生零地电压的负载不平衡和3n次谐波问题。

(2)零地电压≤1V是衡量零线是否接好的标志,并不是影响IT负载正常运行的限值。

(3)负载开机运行后,由于单相设备输入电流(包括基波电流和谐波电流)全部在零线中流动,在IT负载的输入端零地电压普遍都大于1V。零地电压的大小取决于负载量(基波和谐波)的大小、传输线线径和传输长度。

(4)在系统正常运行状态下的零地电压实际测量值为5~20V。

(5)实际测量和系统运行情况表明,零地电压≤1V可能有问题,>5V也许没有问题。

业界基于以上的IT厂家“硬性要求”,制定了建设和验收的“标准”和“规范”,而符合“标准”或“规范”的最简单且最有效的做法是:当发现零地电压过高时,就在UPS输出配电柜中将零地短接,或者在UPS输出端中性线与PE线之间并接一个大容量电容(如100µF),这对于中性线中的50Hz工作电流来说,无异于直接短接。

中性线二次接地形成的地线电流和地电位电压如图2-7所示。

图2-7 中性线二次接地形成的地线电流和地电位电压

从图2-7中可以看出,中性线二次接地后,就变成中性线和PE线在接地极与二次接地点之间并联,中性线中的工作电流(包括单相基波电流、三相不平衡基波电流和谐波电流)按两者的阻抗比分流到地线中,接地点的地电位(特别是IT设备需要的逻辑地)不再是由接地极决定的地电位,而是按中性线电流波形周期性的浮动,即地电位变得“很脏”。

张老师认为,地线噪声才是造成IT系统设备工作不稳定的主要原因。

地线电压差异被称为“系统间地线噪声”。现实中的计算机常常连接了带有网络电缆、打印机数据线和调制解调器电话线等的设备。地线噪声通常是由这些数据线引入的干扰电压,供电设备不能排除这些干扰。这些干扰造成的问题就是系统间地线噪声,而一般的交流电源系统滤波装置不能克服。

系统间地线噪声产生的原因有以下几个方面。

(1)地线注入噪声:虽然设置地线的本意是使设备都有共同的地,但所有的计算机都把地线用作另一种用途,即提供一个参考点来泄放被滤除的计算机无线电频率干扰噪声,每台计算机和工作站电源滤波器滤掉的共模噪声泄入地线中。电涌抑制器设计不合理也会产生这个问题。后果是,该噪声电流产生了噪声电压,使各互联设备的参考电压不一致。因为工作站和CPU之间的距离越远,噪声电压越大,所以在某些情况下数据的传输会受影响。电源保护设备可以减少共模噪声,却不能减少系统间地线噪声。

(2)地线故障:如果互联设备分别接在建筑的不同电气回路中,其中有的电气回路又接上了绝缘性能不好的非互联设备,那么漏电时如果电流断路器还没来得及跳闸,就有很大的漏电电流流入安全接地线,地线中就会产生瞬时地线电压。瞬间电压最低几伏,最大可能达到额定电压(交流220V)50%以上,视地线质量而定。后果是,互联设备的公共参考电压会产生压差,该压差很容易超过数据信号安全电压值。它可能导致损坏计算机输入/输出口(I/O)和CPU主板。

(3)地线电流:这是最常见的问题。如果CPU和工作站由某个或几个不同建筑的不同配电盘供电,那么许多方面的问题都会引起并使得设备的地线电压不一致。各配电盘的连线可能不一样,大多数配电盘之间的连线不能保证配电盘的地线电压相同。在许多情况下,配电盘的地可能和别的物体构成了地线回路(如建筑的金属构件),该回路与数据地线回路各自独立。许多情况都会使配电盘之间产生危险的地线压降,如闪电会使外部地线回路产生电流,进而使系统内部地线回路也产生电流。其他情况还包括建筑接地不良,非互联设备的断路器跳闸电流,以及附近的电气修理操作等。结果是,互联设备公共电压参考点之间产生压差,很容易超过数据线安全电压,造成设备接口和CPU主板的损坏,还会使数据电缆线发热。

(4)闪电引起的电压:这是引起破坏性地线噪声常见的形式。这种情况下地线环相当于一个天线,它会接收到附近闪电引起的巨大电磁脉冲,从而在地线环中产生巨大的循环电流。结果是,互联设备公共电压参考点之间产生压差,很容易超过数据线安全电压,造成设备接口和CPU主板损坏。此外,还可能有其他罕见的电磁脉冲干扰地线环(如NMR/MRI成像设备)。

值得注意的是,以上地线噪声都有随机性,且不是连续性、周期性的,而由于地线设计和安装欠缺或错误,不管是因二次接地使地线中有周期性的零线电流,还是工频UPS无源滤波器导入的谐波电流,都无异于把地线噪声常态化。

图2-8简单地展示了一个理想的互联设备流程图。

图2-8 理想的互联设备流程图

由图2-8中可以看出互联设备系统对地线布局和安装的要求:所有互联设备的地线共一个地,以便这些设备有一个相同的参考电压。地线中没有电流流过,并不受电磁场的干扰。这样地线上就不会有压降,所有节点的电压值都一样,因而地线系统上就不存在系统内部地线噪声。

图2-9中互联设备系统产生了系统间地线噪声,图中标示出了变化的地线噪声电压。这个噪声电压是地线中存在噪声电流产生的,而这个地线噪声电流可能是因二次接地使地线中有周期性的零线电流,也可能是工频UPS无源滤波器导入的谐波电流,或者是两个互联设备数据线中的地线干扰电流。

图2-9 互联设备系统间地线噪声流程图

地线噪声存在的后果是使各互联设备的参考电压不一致。互联设备距离越远,电压差越大,在某些情况下数据的传输会受到影响。当该差值超过数据信号安全电压值时,还可能导致损坏计算机输入/输出口(I/O)和CPU主板。