微软WCCS的高性能计算平台侧记
当前,HPC(高性能计算)平台正在汽车、航空、生命科学、地球科学、金融服务、学术研究、数字娱乐等众多领域得到应用,同时,新兴行业也不断催生超级计算需求。然而,作为大型研究机构、大学、大型商业组织私有的昂贵的高性能计算平台却不能满足一般企业的需求,也不能促进整个产业的发展。
作为浙江省软件产业科技创新服务平台重要建设项目之一的高性能集群计算平台,是国内第一个基于微软WCCS(Windows Compute Cluster Server)的HPC高性能计算平台,在建设过程中得到了浙江省政府的大力支持。该平台的建立能够助力浙江省及周边地区的软件经济发展,满足软件性能评测、生物医药分析计算、先进制造业虚拟设计、创意产业影像渲染制作等多行业多领域对高性能计算的需求。此外,该平台还将成为面向浙江省乃至全国的一个公共服务平台,使得在科技力量快速进步的年代里,人人可以拥有高性能计算的梦想得以实现。
现实需求与挑战
杭州国家软件产业基地是中国重要的国家级软件产业基地,其与Intel公司的合作项目“浙江省软件产业科技创新服务平台”的建设被列为浙江省科技厅“十一五”公共科技条件平台建设项目之一,也是13个省级行业创新平台之一。其中,高性能集群计算平台的建设是浙江省软件产业科技创新服务平台建设中的重要内容,是中国企业强化自主创新能力的又一举措。杭州国家软件产业基地试图将其打造成为具有国际先进水准、亚太地区第一流的高性能计算和和图形图像渲染平台,以推动本地的软件和动漫产业相融合,为实现浙江软件产业和动漫产业的外包能力迈入国际先进行列提供坚实的技术保障和物理环境,推进浙江省作为制造大省向先进制造的转变。
杭州国软和Intel合作建立HPC平台始于2006年6月,整个方案于2006年11月通过浙江省信息化办公室专家顾问组的评审并付诸实施。当时,该方案中没有微软的Windows HPC - WCCS及其解决方案,而是预装了Linux为操作系统的运营平台。
众所周知,UNIX/Linux 是技术计算和 HPC 的实际标准。据 IDC 估计,在HPC 的市场份额中Windows 所占市场份额不足 5%。然而,根据杭州国软的测试,Linux的平台却存在着如下问题:
● 部署和操作集群的过程十分复杂,需要最终用户密切配合,管理多种硬件和软件。一旦部署完成,集群的管理和支持也会非常困难。
● 目前基于 Linux 的 HPC 集群很难集成到现有的 IT 基础结构中,通常需要手动执行复杂的配置任务,如身份验证、安全和系统的安装与管理。
● 若要开发用于 Linux 集群的应用程序,通常需要全新的技能,同时还要使用一些非标准的公共领域的工具。大部分企业都想要一种集成的、受支持的开发环境。
综上所述,这些问题会抬高国软HPC平台的成本,限制其长期的发展,也使得公共服务平台的设想难以实现。
与微软携手打造HPC平台
为将杭州国家软件产业基地HPC平台打造成为具有国际先进水准、亚太地区第一流的高性能计算平台,微软与国软展开了多方面的合作,并进行了为期两周的现场培训,微软提供了强大的战略和技术支持。
2007年7月,国软最终选择微软作为合作伙伴,建立了中国第一个也是目前最大的一个基于微软WCCS的HPC 高性能计算平台。目前,该平台已拥有100多个节点,建成后预计达到250个,位列2007中国高性能计算机性能TOP100排行榜之中。整个网络系统和运算单元的管理和调度将通过微软的WCCS来进行,包括AD/ADS/MOM在内的全套微软管理方案,将成为亚太地区第一流的多功能公共服务平台。
对于需要解决复杂计算问题的客户,Windows Compute Cluster Server 2003(WCCS 2003) 提供了一个易于部署、操作,且集成了现有基础结构和工具的高性能计算 (HPC) 平台,大大缩短了把握问题关键的时间。标准的安装过程通过远程安装服务、节点配置和安全设置进行,大大简化了网络配置和远程加载节点的工作任务。集成的作业调度器可以通过命令行接口进行访问,也可以通过几个为集群工作负载的提交和管理而提供的 API 进行访问。作业控制台使企业能够用与目前排列和管理打印作业相同的模式来管理作业。Active Directory 集成提供了端到端的用户和安全管理,同时微软管理控制台还支持可扩展的管理单元和 Microsoft Operations Manager (MOM,微软操作管理器)集成。 #p#page_title#e#
运算能力大幅度提高
杭州国家软件产业基地HPC平台的建立,为社会不断地提供了一系列开放性的计算服务,能够服务各行各业的应用。从目前与纳米科技园和中国美术学院的合作来看,运算能力的提高基本上都是在一个数量级以上,如果没有HPC平台,诸如蛋白质组学的数据分析这样的生物计算工作在过去只能够不得不放弃或另寻服务商。
以中国美术学院为例,中国美术学院所在地杭州市已经明确提出了杭州要打造“全国文化创意产业中心”的目标要求,2010年的世博会也即将来临,这对人才培养和产业环境的营造都提出了前所未有的挑战。作为新媒体艺术和影视动画学院主干课程的三维动画和影视后期的教学,在过去受到教学设施的严重限制而制约了创意新生代的创造力,如今这种计算能力和存储性能的跃升是对人的创造力和生产力的一次巨大的释放。
另外,对于高清和影视级的动画制作业务,渲染服务是非常重要的,如果说有一些渲染的公共资源像国软的高性能计算平台能够提供,对于中小型的影视公司不论是渲染效果还是经济效益来说都具有重要的意义。
无独有偶,浙江加州国际纳米技术研究院目前承担着两项国家863科研任务,分别是《基于SBS测序技术的我国高发现场胃肠癌重要基因全序列扫描》和《激素依赖性恶性肿瘤血清蛋白质组学研究》。杭州国软高性能计算平台的开放,已经能将该院的测序工作速度提高一个数量级,而过去无法完成的蛋白质组学的数据分析因此得以进行。此外,借助于集群计算,该院还将着手开发完全拥有自主知识产权的蛋白质组学分析软件、构建国际领先的蛋白质组学分析计算中心,引入国际领先的虚拟药物筛选平台,为整个浙江省、全国、甚至全球科研院校、药物研发企业提供极其优秀的蛋白质组学分析、药物虚拟筛选服务,这些都大大降低了研发成本和开发时间,极大地提升整个浙江省的生命科学研究和药物研发研究水平。
总之,国软HPC平台为浙江省及周边地区的软件性能评测、生物医药分析计算、先进制造业虚拟设计、创意产业影像渲染制作等方面提供了高性能计算的服务,帮助他们更快地进行计算和设计,完成过去不敢想象的工作,也为产业发展提供了无限可能性。