3.5.2 合:集中存储
存储设备与服务器分离形成的磁盘阵列,给磁盘扩容、设备高可用、RAID调整等方面带来极大便利,但每台服务器都使用单独的存储设备也带来设备分散管理、存储资源无法复用等问题。所以人们又开始思考,能否将多套磁盘阵列整合到一个设备上来,实现存储资源的集中管理,并兼容多种接口方式同时供多台服务器使用。随后,FAS形式的集中存储进入我们的视野。
FAS网络化存储,顾名思义就是服务器和存储设备之间通过独立网络进行互联。FAS网络化存储根据传输协议的不同又可以分为存储区域网络(Storage Area Network, SAN)存储和网络附加存储(Network Attached Storage, NAS)。
1. SAN存储
SAN指的是网络而不是存储设备,通过SAN连接起来的存储设备才称为SAN存储。从独立分散的DAS存储开始,服务器与存储设备之间通过SCSI线缆连接,一台服务器对应一台存储设备,多台服务器连接同一个存储设备形成的SCSI网络,即最初的SAN。
SCSI总线下的SAN存在SCSI总线16个节点以及SCSI线缆25米传输距离的限制,很显然,这样的SAN并不能满足日益增长的存储连接需求,所以人们急需新的网络传输系统,所以FC(Fibre Channel)进入了人们的视野。
FC是“网状通道”,而非“光纤通道”,在这里此Fibre非彼Fiber,FC并不一定使用光纤网络,它可以是SCSI网络、光纤网络甚至以太网络等。FC的出现提高了SAN的扩展性,通过使用FC交换机可以实现多台服务器共享同一个存储设备;FC引入包交换网络并在底层使用同步串行传输方式,大大提高了传输速率;FC可以使用光纤作为传输介质,增大了SAN传输距离;FC通过LUN Masking(LUN掩蔽)及ZONE技术,极大地提高了SAN的安全性。FC-SAN即使用FC协议的SAN,沿用至今,其高速率和高安全性给人留下深刻印象。
FC-SAN为IT基础设施提供了安全、高速率的存储架构,但也存在缺点:贵。FC-SAN架构需要构建独立的FC-SAN环境,包括服务器独立的FC HBA(Host Bus Adapter)卡、SAN交换机以及独立的FC-SAN线缆,同时FC-SAN管理门槛也较高,这无疑成为企业尤其是中小规模企业使用FC-SAN存储架构的“拦路虎”。
正所谓“有问题就解决问题”,为了解决以上问题,人们开始探索能否像下文即将提到的NAS一样通过最常用的IP网络来传输存储设备块数据,并最终研发出了基于IP-SAN的iSCSI(Internet Small Computer System Interface)协议,使得SCSI语言通过Internet传递,承载于TCP/IP之上。IP-SAN的出现使得人们可以以较低成本使用存储设备的块数据,同时在现有服务器上使用iSCSI且不需要升级物理硬件,又可以具备TCP/IP的无距离限制、高扩展性等优点。
无论是FC-SAN还是IP-SAN,服务器最终访问的是存储设备的块数据,同样属于数据块存储的范畴,文件系统层的处理均在服务器操作系统内完成。
2. NAS
在IP-SAN出现之前,为解决使用集中存储的高成本问题,人们发明了NAS(网络附加存储)。服务器通过以太网协议,复用现有的IP网络通道直接访问NAS,实现通过IP网络访问集中存储。因为是基于以太网的TCP/IP传输数据,使得NAS可扩展性极强,可以说只要IP路由可达就能访问NAS。这时可能有人会问:“既然有了NAS,为什么后面还会出现IP-SAN存储?”这是因为两种架构的访问对象不一样,IP-SAN访问的是存储设备块数据,而NAS访问的存储设备是文件系统,这也是为什么NAS属于文件存储的范畴。NAS作为文件存储实现时,是通过把文件系统处理逻辑从服务器迁移到NAS商户,使得NAS可以支持POSIX的文件访问接口,为服务器提供文件级别的数据访问。简单来说,使用NAS不用像使用块存储一样在操作系统层面对块存储进行文件系统格式化,而是直接使用NAS上已经格式化完成的标准文件系统。
NAS被广泛使用的主要原因是其具有极强的扩展性、使用简单、成本较低等特点,还有另外一个重要原因就是它可以实现文件共享,在现在的互联网环境中NAS更多是作为共享存储使用。
3. 统一存储
SAN存储和NAS可以看作对分散的DAS的集中化,使多台服务器可以通过不同的网络通道以数据块或者文件系统的方式访问同一存储设备。那能否对SAN存储和NAS再做一次整合,使其成为一个整合度更高的集中存储呢?答案当然是肯定的。如图3-14所示,存储设备配置多协议控制器,可以同时提供FC方式的连接(访问数据块)和以太网方式的连接(访问文件系统),从而完美地把SAN存储和NAS融合在一起。
图3-14 统一存储
在现今的互联网存储环境中,IT基础环境往往采用的不是单一的存储架构,而是多种存储架构的组合,有基于硬件的存储架构,也有基础软件的存储架构;有纯NAS、SAN存储架构,也有多协议多功能存储架构。
4. 集中存储生产实践
无论是基于SAN还是NAS的集中存储架构,最终目的都是对磁盘空间进行集中管理,包括伸缩扩容、数据备份以及日常管理维护等。除此之外,在数据完整性、可靠性和安全性方面,相比DAS架构,集中存储架构也更有优势。银行业对于上述特性恰恰又都非常看重,无论是过去还是现在,集中式存储架构在银行业内仍然普遍适用。
在保障金融数据可靠性方面,银行业在灾备建设过程中还会考虑通过单机房双活存储+异地备份存储+离线备份的方式实现数据的多重备份,尽可能保障数据安全,如图3-15所示。
图3-15 集中存储架构
主机房部署本地双活存储,存储间通过SnapMirror实现双活存储数据同步,上层服务器会把双活存储作为一个设备使用。当一台单机故障,另一台能够立刻提供服务,上层应用系统无感知,保证本地高可用。备份存储一般可以采用中低端存储,用于双活存储的异步复制备份。双活存储可有效解决物理层故障,备份存储通过异步方式解决逻辑故障,实现时间点恢复;离线备份则一般采用虚拟带库、磁带库完成归档离线文件备份。集中存储架构在数据安全性和存储性能上主要有以下优势。
(1)数据安全性
双活存储间通过高度冗余的数据块级复制技术,可以实现单个存储设备出现故障后的数据零丢失,以及上层业务系统无感知;双活存储差异化数据存放可以提高存储利用率,降低单台存储使用负载,降低故障发生频率;集中存储多路径冗余I/O(Multipath I/O)可以将故障路径的I/O转移到正常的物理路径,以此提供I/O路径可用性;存储硬件双控制器设计及硬件部件双冗余配置,可以最大限度屏蔽硬件部件故障对整个存储系统的影响;数据快照与恢复技术可实现数据逻辑恢复;磁盘Array的RAID级别设置可以保证磁盘故障无影响;备份存储异步复制可以保障数据完整性,并能在双活存储物理设备故障时作为降级存储设备提供服务;备份系统基于时间点的数据恢复,可以作为在存储系统出现逻辑错误时的主要恢复手段;离线备份并异地保存,可以作为最后的数据恢复手段,保证数据万无一失。
(2)存储性能
▪ 多路径冗余I/O,存储厂商多路径控制软件可有效提高存储访问性能,通过横向扩展HBA接口,实现范围内的有效扩展。
▪ 存储分层,通过类似于IBM EasyTier的存储分层技术,能够将常访问的数据自动分布到高性能的固态驱动器中,从而提高读写性能。