电信业存储特点解析:稳定压倒一切
步入2010年,3G网络逐渐成熟,视频信息日渐丰富,三网融合走上前台,云计算正如火如荼地展开,物联网也逐步从概念走向试点,电信行业正处于存储高速增值的需求阶段。
数据增长快
中国电信行业是存储需求最大的行业。据可靠数据显示,某省的BOSS和智能分析系统的存储容量已经超过2500T。
转型时代的电信综合业务支撑系统(BOSS)将计费、营业、客服三种基本业务系统融合在一起,使得电信企业的信息技术环境变得越来越复杂。面临日益加剧的市场竞争,24×7小时服务被运营商当做了一个最基本的服务措施,所有与存储相关的工作都要在系统不间断运行的状态下完成。同时,电信系统运转过程中产生的海量数据也给存储系统带来了越来越大的压力,决策分析、CRM等应用所需要的庞大数据仓库不仅要求存储系统能够在第一时间完成对这些数据的传输、保存,而且任何小小的存储偏差和故障都不允许。
此外,开放的存储系统呈现快速增长趋势。Windows和Linux平台上的存储容量增长迅速,核心原因就是非结构化数据增加快。以往我们了解较多的是结构化数据,这往往是企业内部交易系统中的数据。另一类则是“业务关键数据”,是指非结构化数据,这类数据往往用来向内部或外部客户提供服务,在开放的环境中可由公众访问,比如像E-mail、Web网站内容、文档、图片、音频/视频数据等。这类数据的不断增长对存储系统提出了新的需求。用户不再仅仅要求单一的存储产品,而是需要厂商从平台到应用提供一站式存储解决方案,需要支持基于策略的数据管理,能够通过不同存储产品的组合获得最佳存储能力。
目前,电信运营商的IT支撑系统走向一个从分散到集中,从简单到复杂的过程。其中,服务器和存储系统由于承担着认证、存储、运行各种增值业务的关键任务,它们密不可分,并且在很大程度上决定了电信转型时期的业务发展。今天,电信运营商在开拓新业务的同时,还需要不断提高服务质量,这对IT系统特别是存储系统提出了更高的要求。结合原有核心电信业务、运营支撑系统的优化改造,传统电信运营商如何合理地规划和建设新一代数据存储系统,已经受到广泛关注。
计费、对账、网管等系统的顺畅运行是电信运营商顺利开展各项业务的基本条件,这些数据的安全与否甚至会关系到运营商竞争策略的制定以及市场地位,因而打造一个坚固稳定的存储系统显得格外重要。
时下,对关键数据的存储和备份也已成为电信业基础运营发展的关键。电信行业的数据环境比较典型: 一是应用类型的多样性,如Web、E-mail、综合营账、短信计费及移动计费等主营业务; 二是数据类型的多样化,在电信行业的应用中包括了数据库数据文件、普通文本文件、各种格式的图形文件、表格、多媒体文件以及其他各种文件格式; 三是系统平台的多样性,在电信行业中Unix、NT等多种平台的使用方法都不尽相同; 四是存储结构的多样性,因为电信行业自身的发展历程和时间的延续,在不同时期的不相同应用导致了多种存储方式并存的现象,规模较大的电信行业网络可能同时具有从DAS、NAS到SAN的各种存储结构。
三类存储利弊分析
目前的存储方式通常被划分为三大阵营,即SAN、iSCSI和NAS,它们分别针对不同的业务应用。SAN存储方式具有高度的数据安全性和高性能运转等特 征,因此在电信关键业务领域被广泛采用。NAS技术则更适用于具有大量历史数据的IP局域网络的集中存储。iSCSI作为新技术,实际上是FC技术和IP技术的综合利用,高性价比和可靠的性能广泛应用于以流媒体为主的视频监控和CDN宽带项目上。
三种技术的不同优势使电信运营商在构建不同存储系统时可各取所长。例如,某运营商为了在保证业务量高速增长时实现后端存储系统性能和容量,故选择了SAN解决方案。为了解决原有直连式存储(DAS)对数据高度集中形成的瓶颈,该运营商利用基于SAN存储区域网的存储和信息共享平台对原系统进行了改造,不仅大大减少了系统的停机时间、备份和恢复时间,而且还进一步优化了存储和服务器资源。 #p#page_title#e#
随着存储技术的发展,用户对于SAN的逐渐认可成为当前存储虚拟化热潮的主要推动力。通过网络存储技术,SAN正急剧改变着传统的存储模式。曾经被大量的异构服务器和存储系统、多重冗余的光纤交换机连结、相互交织的应用系统等问题困扰不已的电信行业用户对全面存储管理的渴望日益强烈。
另外,iSCSI产品在连接通路上就比FC存储更加平民化,把SCSI协议封装在IP包里,这让存储系统走出了贵族式的消费,开始让广大的用户可以使用高速稳定的数据存储服务。 随着iSCSI存储系统中基于Cache Mirror双控技术的成熟,iSCSI有取代中低端FC存储的趋势。例如在某省运营商的“全球眼”系统招标中,最初的考虑方案是FC存储系统。 但是“全球眼”项目存放的大都是视频文件,动辄上百T。如果使用FC存储,存储的投资将达到全网投资的一半以上,而且分布在各地的FC存储系统都需要专人维护,维护费用太高。而最后选用的IP存储设备解决了这些问题: 基于Cache Mirror的双控全冗余技术能够提供电信级的服务,而基于IP网络的Web管理模式,能让用户在30分钟内学会应用。
简约之道
鉴于电信存储的复杂需求,电信级存储几乎被视为是最复杂存储环境的集合。为了避免风险,电信运营商通常会选用多个存储设备厂商的产品来组成这个庞大的存储阵列。但是这种模式最终却成为了阻碍电信系统数据资源共享以及系统协同运作的障碍。为何会如此呢?因为不同存储设备厂商基于不同技术内核设 计出来的产品形成了一个个异构系统,它们缺乏统一标准,从而制约了存储设备的无缝连接。由于这一矛盾日益凸显,大量的资源浪费以及对电信系统整合的迫切需求都在催促着存储市场能够出现一种完美的解决方式来打破这种僵局。
简约存储的理念就这样应运而生了,将复杂的存储环境简单化,消除异构平台所造成的信息传递壁垒是简约存储的基本思路。简约存储的根本目标就是充 分提高存储资源的利用率,降低存储管理的复杂性,将企业内部分散的存储系统有效整合,实现跨平台的存储资源共享和统一管理,将存储再度化繁为简。
虚拟化存储成为实现简约存储的实际途径。虚拟化是一种实现对逻辑环境进行简单管理的有效手段。通过虚拟化,用户将摆脱底层物理环境的复杂性,充分利用基于异构平台的存储空间,在开放的基础上实现对资源的有效规划。虚拟化可以自动配置存储设备及其空间,使用户能在一个域中使用在物理上分散存在的所有存储资源,以便跨地区管理不可预测的事件。而无论这些存储资源所处的存储域的位置、大小、类型和制造商如何,都可从单一逻辑视图中进行管理。
虚拟化存储是实现简约存储的实际途径。它可以在三个不同的层面上实现: 基于专用卷管理软件在主机服务器上实现,利用阵列控制器的固件在磁盘阵列上实现以及利用专用的虚拟化引擎在存储网络上实现。在复杂的电信环境下,由于同时存在多个主机服务器访问多个异构存储设备的状况,基于存储网络的存储虚拟化成为了其主要的发展方向。
引入信息生命管理
为了以最低的成本实现信息价值最大化,企业已经开始将自动化网络存储基础设施与其综合服务和解决方案结合在一起,然后以此为基础制订新的信息管理策略。这种新的信息管理策略称为信息生命周期管理(Information Lifecycle Management, ILM),其目标是完全支持组织、机构业务目标和服务水平的需求。
采用这种新的信息管理方式,企业将根据战略需求对数据进行分类,然后制订相应的策略,确定最优服务水平和最低成本,并利用自动化网络存储基础设施,将信息转移到相应的服务等级,以满足企业要求。
信息生命周期管理通过对信息进行分类和分层管理,可以提高资源的利用率,保证服务水平管理(SLA)的实现,从而保证投资效益的最大化。
ILM需要一个灵活、统一、可扩展、稳定且自动的存储基础设施。 #p#page_title#e#
信息生命周期可分为六个阶段,它们分别为数据创建阶段、数据保护阶段、数据访问阶段、数据迁移阶段、数据归档阶段、数据回收(销毁)阶段。每个阶段对其信息管理的需求都是不一样的。数据创建阶段需要稳定、可靠、高可扩展能力的存储设备; 数据保护阶段将按照数据和应用系统的等级,采用不同的数据保护措施和技术,如磁盘备份、磁带备份、本地复制和远程复制等,以保证各类数据和信息得到及时和有效的保护; 数据访问阶段要按照数据和应用系统的等级实现在线、近线和离线三种访问方式; 数据迁移阶段要将数据从一个存储设备转移到另外一个存储设备,而且不影响系统的正常运行; 数据归档阶段可通过价格低、容量大的存储介质和系统,对要长期保存的数据进行存储。
整个信息生命周期管理涉及信息存储的各项技术,包括网络存储平台、存储基础设施软件、信息复制、备份和恢复软件、基于策略的存储管理软件以及存储、数据优化服务等。
当前传统电信运营商在集团、省和本地网三级管理模式下,数据大量集中于本地网,而集团和省两级系统的数据则严重缺乏,因此无论从业务管理还是技术实现的角度考虑,实现数据向省和集团系统的集中势在必行,这种趋势已经在一些新电信运营商实际运营过程中得到了充分验证。
未来传统电信运营商的数据存储模式会在集团、省和本地网三级结构基础之上构筑,通过简化本地网存储应用,在省级实现数据存储高度集中的基础之上,实现全国范围内数据在集团的汇总。存储还是会以高带宽、高速的FC存储为主作为系统的支撑存储系统,而其他的增值业务,如视频监控、IPTV和彩铃等,因为投资成本及业务的快速变化会大量使用ISCSI的新型存储系统,NAS作为最灵活,最方便的存储系统也将大量使用在办公和一些增值业务上面。
案例解析
省级BOSS系统的存储分析
BOSS系统由计费结算子系统、营业账务子系统、综合查询子系统和报表子系统组成,各子系统之间的数据交互关系如图所示。
子系统组成
公司业务支撑系统包括操作型和分析型系统两部分。分析型业务支撑系统主要由省级经营分析系统和地市数据集市系统构成; 操作型业务支撑系统由全省集中的BOSS计费结算子系统、BOSS营业账务子系统、门户网站系统、区域分散的客服系统构成。
全省集中的计费结算子系统通过地市采集中心从各MSC、SCP、ISMG、SGSN、GGSN等网元采集用户服务记录之后进行计费结算处理,并把经过批价的用户清单发送到BOSS营账子系统,由BOSS营账子系统进行账务处理。
全省集中的营账子系统实现营销、账务和客服功能。营业厅、代办点或客服中心的营业员通过BOSS系统进行用户业务受理,同时产生订单,并通过与HLR等网元的接口程序实现服务开通。同时,营账子系统对清单进行合账,产生账单,并进行销账,同时支持多种缴费方式,实现欠费管理等。客服热线子系统作为BOSS的组成部分,实现业务咨询、投诉和故障申告等功能。
备份需求
BOSS计费结算子系统、营业账务子系统以及关键业务容灾子系统都采用SAN架构,使用高端磁盘存储;
目前备份/恢复系统分割成两个层次。一级备份设备为二级存储(虚拟磁带库VTL): 一方面,利用其高速的数据吞吐能力来匹配主机的数据处理能力,完成快速备份; 另一方面,匹配低速的物理磁带库。二级备份设备利用现有的物理磁带库,将数据备份到物理磁带,达到离线保存的目的。而全部的备份存储设备(包括VTL和物理磁带库)采用备份软件(Veritas NBU),在其管理和控制下工作。离线数据转存只在二级存储和物理磁带库之间进行,不占用主机资源,不受时间窗口控制,可灵活设置和选择。
存储要求表
BOSS系统数据(除详单外)全备份时间周期≤7天。
BOSS系统详单数据全备份时间时间周期≤1个月。
BOSS系统数据增量备份时间周期≤24小时。 #p#page_title#e#
BOSS系统操作系统备份时间周期≤1个月。
BOSS系统原始服务使用记录要求在线保存3个月、离线保存6个月。
对异常服务使用记录要求在线保存3个月、离线保存1年。
结算数据(包括漫游结算和网间结算)要求在线保存4个月、离线保存1年。
省中心联机采集系统保存原始服务使用记录的时间3个月,其中在线保存7天。
省中心保存详单3年,其中在线可查询6个月内的服务使用记录(含智能网服务使用记录)。
省中心保存上发文件3个月,其中在线保存7天。
省中心保存营业、账务及客户服务交易记录数据3年,其中在线可查询12个月内的记录。
省中心保存账单3年。
省中心在线永久保存客户资料(客户信息、用户信息、账户信息)、产品资料和统计报表的结果数据。
在线保留扣费文件时间: 3个月; 离线备份: 2年。
在线保留扣费结果记录时间: 3个月,离线备份: 2年。
在线保留业务管理交易记录时间: 1年; 离线备份: 2年。
在线保留话务控制交易记录时间: 1个月; 离线备份: 2年。
链 接
电信行业存储的三大特性
高可用性 在基础设施系统中,存储与服务器并存,一旦服务器发生故障,用户可正常访问数据,即要求服务器在发生故障的情况下保证存储系统中的数据可用。另外,要求系统运行具有很强的容错能力,以保持高可靠性。
不间断运行 即保证存储系统在不中断的情况下实现数据的备份、系统的维护和应用的不间断运转。
高效的灾难恢复 在用户的应用过程中,自然灾害和人为意外难以避免,在人为意外和自然灾害之后能够顺利地恢复存储系统。