工作室/部门/专题组实用高速非编存储系统
存储这个简单又复杂的名词,记录着人类几千年的历史,从历史一步步走来,人类记录方式和记录介质在不断的演变,到了现代,面对海量的资料,磁盘存储无疑扮演着一个主要的角色,目前磁盘存储市场上,存储分类(如下表一)根据服务器类型分为:封闭系统的存储和开放系统的存储,封闭系统主要指大型机,开放系统指基于包括Windows、Linux、Mac OS等操作系统的工作站;开放系统的存储分为:内置存储和外挂存储;我们今天讨论的是外挂存储。
开放系统的外挂存储根据连接的方式分为:直连式存储(Direct-Attached Storage,简称DAS)和网络化存储(Fabric-Attached Storage,简称FAS);开放系统的网络化存储根据传输协议又分为:网络接入存储 (Network-Attached Storage,简称NAS)和存储区域网络(Storage Area Network,简称SAN)。由于目前绝大部分用户采用的是开放系统,其外挂存储占有目前磁盘存储市场的70%以上,因此本文主要针对开放系统的外挂存储进行论述说明。
表一
今天的外挂存储解决方案主要分为:直连式存储(DAS)、存储区域网络(SAN)、网络接入存储(NAS)。
如下表二: 表二
开放系统的直连式存储(Direct-Attached Storage,简称DAS)已经有近四十年的使用历史
直连附加存储( Direct Attached Storage,简称DAS),顾名思义,在这种方式中,存储设备是通过电缆直接到应用工作站的。I/O(输入/输 出)请求直接发送到存储设备。它依赖于工作站主机,其本身是硬件的堆叠,不带有任何存储操作系统。
直连式存储最大的优点则在于,与主机直连中间没有通过诸如交换机、网络设备等所带来的传输延迟或带宽瓶颈。数据读取IO性能是最优的。非常适合高性能数据传输要求的应用,例如电影、电视的内容制作机构;2、3维海量图片处理;高性能数据运算(石油、化工、医疗)等。
随着新一代系统IO总线(PCI-E)的进步,控制器内部处理器性能攀升,再加上外部传输协议的不断更新、进步(SAS、4Gb光纤等)。新的直连方式如雨后春笋,绽放开来。快速淘汰传统的SCSI方式,其中尤其以ESATA,SAS,FC为主,而目前性能和价格上来分析,SAS无疑最为超值,比如强氧的HD08S直连盘阵,通过 SAS接口与主机相连可提供750MB/s(双台绑定)的实际读写速度和10TB以上容量。而性能和扩展新更高的FC存储,则居于中高端领域,象Ciprico MV4210这样的4Gb光纤产品,双台绑定可提供高达1.2GB/s的带宽。容量的扩充也突破了传统模式,通过外部级联多台 MV4210,就可以轻松获取多达40TB的海量容量。
直连容量扩展解决方案
直连式存储依赖服务器或工作站主机的操作系统进行数据IO读写和存储维护管理,数据备份和恢复要求占用主机资源(包括CPU、系统IO等),数据流需要回流主机再到主机连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。直连式存储的数据量越大,备份和恢复的时间就越长,对主机硬件的依赖性和影响就越大。
同时,最大的优点也是最大的缺点,其只针对所连接的应用端服务器(工作站)具有低延迟,高带宽的特点,然而其他用户不得不通过其他方式(比如网络共享)来访问DAS的内容,这需要大量的处理器运算,导致数据共享成为最大的难题!
随着用户数据的不断增长,企业规模不断壮大,DAS无法有效的与工作组其他成员共享文件,提升协同工作效率。其在备份、管理、灾备等方面会变得日益困扰系统管理员。尤其对于银行、电信、实时在线播出等行业7×24小时服务的关键业务系统,这是不可接受的。从而演变出SAN,NAS等多种存储方式。
针对I/O是整个系统效率低下的瓶颈问题,专家们提出了许多种解决办法。其中抓住症结并经过实践检验为最有效的办法是:将数据从通用的应用工作站中分离出来以简化存储管理。 #p#page_title#e#
图一
图二
从图可看出:将存储器从应用工作站中分离出来,进行集中管理。这就是所说的存储网络(Storage Networks)。
使用存储网络的好处:
统一性:形散神不散,在逻辑上是完全一体的。
实现数据集中管理,因为它们才是企业真正的命脉。
容易扩充,即收缩性很强。
具有容错功能,整个网络无单点故障。
专家们针对这一办法又采取了两种不同的实现手段,即NAS(Network Attached Storage)网络接入存储和 SAN(Storage Area Networks)存储区域网络。
网络接入存储(Network-Attached Storage,简称NAS)采用网络(TCP/IP、ATM、FDDI)技术,通过网络交换机连接存储系统和服务器(工作站)主机,建立专用于数据存储的存储私网。随着IP网络技术的发展,网络接入存储(NAS)技术发生质的飞跃。
早期80年代末到90年代初的10Mbps带宽,NAS性能受带宽影响;后来快速以太网(1000Mbps)、VLAN虚网、 Trunk(Ethernet Channel) 以太网通道的出现,网络接入存储的读写性能得到改善; 为网络接入存储 (NAS)带来质的变化和市场广泛认可。
由于网络接入存储采用TCP/IP网络进行数据交换,TCP/IP是IT业界的标准协议,不同厂商的产品(服务器、交换机、NAS存储)只要满足协议标准就能够实现互连互通,无兼容性的要求;并且随着万兆以太网 (10000Mbps)的出现和投入商用,存储网络带宽将大大提高NAS存储的性能。NAS需求旺盛已经成为事实。首先NAS几乎继承了磁盘列阵的所有优点,可以将设备通过标准的网络拓扑结构连接,摆脱了服务器和异构化构架的桎梏; 用户通过TCP/IP协议访问数据,采用业界标准文件共享协议如:NFS、HTTP、CIFS轻松实现共享。
其次,在企业数据量飞速膨胀中,SAN、大型磁带库、磁盘柜等产品虽然都是很好的存储解决方案,但他们那高贵的身份和复杂的操作是资金和技术实力有限的中小企业无论如何也不能接受的。NAS正是满足这种需求的产品,在解决足够的存储和扩展空间的同时,还提供极高的性价比。因此,无论是从适用性还是TCO的角度来说,NAS自然成为多数企业的最佳选择。
强氧的NAS系列产品,在兼容上述协议的同时还支持apple的appletalk协议。极大的扩展了NAS的可用性!
强氧NAS系列产品属于网络存储设备,其内部操作系统基于修改和优化的Linux操作系统,完全采用自主开发的管理软件,管理界面为易于操作管理的WEB方式。整个产品体系结构采用软硬件一体化的设计思想,通过应用系统与硬件系统的深层次结合,实现了简便的安装,同时大大提高了系统的安全可靠性。强氧 NAS系列产品面向各类大中型数据存储应用,是功能完备、性能强大、安全性高、易于管理、应用丰富的专业网络存储系统。它提供的多种应用模式,可以很好的作为企业数据中心、教育资源中心、广电媒资后台、监控集中数据、图书馆档案馆大容量后台、电子政务数据存储等各行各业的专业存储设备。并且其高兼容性和易用性方便了不同应用领域的业务无缝集成。
强氧NAS系统,根据性能和容量的不同,分为三种,分别是最高8TB容量双千兆出口带宽工作组级NAS- S4084,最高16TB容量双千兆出口带宽部门级NAS-S41604,最高24TB容量四千兆出口带宽的企业级NAS- S5248。强氧NAS系统采用EXT3的文件系统类型,提供超过NTFS,EXT2的稳定性,和对大容量阵列支持的同时,EXT3文件系统能够极大地提高文件系统的完整性,避免了意外宕机对文件系统的破坏。
强氧NAS系统支持特有的NasNow功能,用来设置并监控局域网中所有强氧 NAS主机的网络信息。利用 Nasnow来实现网络上NAS的寻找,由于主要采用二层网络协议完成搜索工作,所以该搜索可以跨网络搜索,可及时发现强氧 NAS设备,并根据需要修改相关的配置信息。在NASNOW基础之上,利用MDM实现了多台 NAS的集中管理。MDM(Multiple Device Manager)技术又被称为多设备管理器。MDM使管理员能够管理多个设备,并加强这些设备的访问控制。它通过一个中央地点管理多个服务器设备,包括子系统发现功能。 MDM的功能包括网络中添加新设备的自动发现、对设备的运行记录进行跟踪和审计、用于管理用途的群组功能等。 #p#page_title#e#
强氧NAS还支持最新的RAID6功能,在RAID5基础上增加更高的安全级别,特别是在作为大容量离线存储上,这点尤为重要!
但是NAS在存储领域应用中,在效能上还是很难满足各行业要求快速响应的要求,所以SAN作为老牌的存储方式不断的进化和演变,成为在线存储的主要应用方式!SAN:通过专用光纤通道交换机访问数据,采用FC-AL接口,相对于NAS来说大大缩短延迟系数,提高有效利用带宽!
NAS和SAN的根本不同点?
存储区域网络(Storage Area Network,简称SAN)采用光纤通道(Fibre Channel)技术,通过光纤通道交换机连接存储阵列和服务器(工作站)主机,建立专用于数据存储的区域网络。SAN经过十多年历史的发展,已经相当成熟,成为业界的事实标准(但各个厂商的光纤交换技术不完全相同,其服务器和SAN存储有兼容性的要求)。SAN存储采用的带宽从1Gbps 发展到目前的4Gbps。
NAS和SAN最本质的不同就是文件管理系统在哪里。如图:
图3
由图3可以看出,SAN结构中,文件管理系统(FS)还是分别在每一个应用工作站上;而NAS则是每个应用工作站通过网络共享协议(如:NFS、CIFS)使用同一个文件管理系统。换句话说:NAS和SAN存储系统的区别是NAS 有自己的文件系统管理。
SAN是独立于服务器网络系统之外,几乎拥有无限存储能力的高速存储网络。这种网络采用高速的光纤通道作为传输媒体,以FC(Fiber Channel,光通道应用协议作为存储访问协议,将存储子系统网络化,实现了真正高速共享存储的目标。
强氧的SAN网络系统,优势在于其特别针对广电行业进行优化,支持MAC,PC多平台,根据策略不同可以做到文件级管理或者卷级管理。并且存储越多其存储对应的出口带宽越大!特别适合多总平台的在线编辑操作!
强氧的SAN网络系统是SAN网络上共享、管理和使用数据的完美途径。 是专为满足数据可用性的最高需求的大小型计算环境设计的 64 位簇文件系统。 这项专业技术使多个 Mac 桌面和PC系统通过高速光纤通道网络共享 RAID 存储卷标。 每个客户端可以直接在中央文件系统上读取和写入数据,从而增强工作组协作并提高用户效率。
跨平台的SAN文件系统可以为多种主机提供对同一数据文件的“数据块”级的访问。完全使用Fibre Channel Direct I/O功能,不在SAN网络中使用TCP/IP和NFS方式共享文件,从而充分发挥SAN网络硬件性能,并保证随着SAN网络性能的提高而提高。这不仅极大提高了系统性能,而且降低了磁盘存储成本。
但不可忽视的是,如此一个全光纤网络所耗费的成本也是昂贵的,我们每一个客户端都要添加4Gb的光纤卡和存储系统共享软件节点,当节点越多的时候,这个问题尤为明显!如何做到鱼与熊掌间的,是当今各公司产品开发的一个重点,也是各个行业急需解决的问题!
从原理来看,NAS是将目光集中在用户权限管理和文件分类管理以及它们共享的数据上。SAN是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。所以强氧推出的从桌面系统到数据集中管理到存储设备的全面解决方案是NAS加SAN的一个完美结合。
如上图所示,上面是一家很富有的大型制作机构的实际应用流程,围绕不同工作端的特点分别应用到了不同的存储解决方案。在关键业务,比如剪辑,调色上我们需要大量且快速的共享素材,来进行编辑和调色,所以我们做到SAN里面,而合成,配音,渲染业务,我们做到LAN里,其中合成和渲染所要做到在线是很不现实的,而且按每天的工作量来看,其所要生成的数据量并不大,所以我们进行本地配置DAS的同时用 NAS来通过LAN做素材共享,而且SAN里面的内容我们通过MSCserver共享给LAN里面的客户端,通过增加网络带宽聚合解决了SAN与NAS的数据传输,其中NAS在里面起到了文件管理、不同工作组间的权限和配额分配,很完善的解决了数据共享的问题。整个方案是一套跨平台的数据共享解决方案! #p#page_title#e#
综述: 无论dasnassan都有各自的偏重,他们都有各自的优劣势。
Das: 优势:最高性能、廉价。劣势:无法共享、不适合大型工作组。是高性能数据io要求(影视包装、广告、电影后期制作等高质量视频文件的合成、精剪 、较色)和中小型后期制作公司的不二之选。
Nas: 偏重管理性、数据安全性,高性价比。无论什么规模的企业都应该拥有的数据安全保障机制。
San; 性能和管理的集中体现,缺点只是实施和管理成本过高。
推荐:结合目前中国的主流商业情况,应用端工作站外挂直连存储(DAS),以保证带宽、解决高性能应用。再通过千兆(或万兆)以太网络连接NAS做集中存储,解决多用户环境的素材的集中管理和权限分配。这样的方案性价比出众,实施成本低,人员维护简单易行。(如图)
我们希望 通过上述所有文字,为每位用户在规划自己的存储应用需求时可以清晰的结合自身不同情况以选择最适合自己的存储解决方案