峰值10万亿次的集群服务器系统挑战计算化学苛刻应用
不久前,基于刀片集群的浪潮天梭TS10000高性能服务器成功中标山西师范大学的计算化学应用项目。这套国内计算化学领域单台计算能力最强的集群系统,峰值达10.98万亿次每秒,是国内计算化学领域单台计算性能最强的高性能计算机,进入2009年国内高性能计算TOP100排名。这套系统的全面投入使用,使学校各个实验室的科研效率来了一次“大提速”。许多极具挑战性的计算课题,从耗时几个月的“持久战”变成了几天之内解决战斗的快速“闪电战”。而对于山西师大这所具有50多年历史的重点高校而言,在与兄弟院校的综合实力比拼中,科学计算能力和科研效率的跳跃式提升。
计算瓶颈凸显科研创新受制
山西师范大学创建于1958年,1984年更名为山西师范大学。建校以来,学校立足山西、服务全国、面向世界,秉承育人为本、崇尚学术的办学理念,坚持创新教育、实践教育的教育教学理念,现已发展成为学科门类比较齐全、培养体系比较完备、办学特色比较鲜明、向社会全面开放的省属重点师范大学。
山西师范大学在化学、材料领域拥有非常雄厚的实力,2005—2006年化学学科发表在世界化学类最高影响因子的论文在全国高校同类专业排名第16位。山西师范大学此次高性能系统主要用来做计算化学、材料科学方面的高性能计算工作,另外也为全校师生提供计算服务,主要应用软件是Gaussian、Materials Studio等量子化学软件和一些其他计算软件。
但随着山西师大科研创新步伐的加快,海量的计算任务开始让学校现有的计算平台“喘不过气来”。为此,学校曾采购过一些小规模的计算集群,但随着各院系、实验室计算任务的不断增加,新平台又很快达到满负荷状态。许多大的计算任务由于排队等待和计算速度的原因,经常需要几个星期甚至一两个月的计算时间,由此造成的项目进度的滞后长期困扰着广大师生和科研人员。构建一套高性能、高可靠、高效率的大型计算平台也随之被提上了日程。
算例测试,看谁在铃响前“交卷”?
作为国内高性能计算领域的领导厂商,浪潮从一开始便参与到山西师大高性能系统的建设中。通过前期沟通,浪潮了解到,客户的主要应用软件是Materials Studio、Gaussian 03等计算化学软件包。计算化学类软件包,计算化学软件种类众多,不同软件对于高性能服务器有个不同的要求,这就需要HPC厂商根据客户的需要来搭建适合应用的HPC系统。
项目前期,客户提出要以3个Gaussian软件为测试算例,根据测试算例的分析和计算结果来决定方案。据了解,这三个算例是Gaussian软件中最常用的三个算法,计算对象的化学结构非常复杂,其中一个测试任务便包括20960个基函数(计算化学中一般体系的大小用总基组函数数量表示,基函数数目越多,表示计算的体系越大),要完成这个计算任务,初步估计就需要1687.08GB的内存容量和17947.78TB的存储容量!如此大规模的计算任务对所有参测厂商的方案解决和硬件实现能力都是一次严峻的考验。
浪潮高性能应用工程师凭借多年来在科学计算领域的深厚积累,对Gaussian算法的应用特点进行了深入钻研,并从计算性能、效率、成本等多角度着眼,寻找最佳的解决方案。最终,经过缜密的软硬件选型和反复的调整优化,浪潮应用测试报告率先完成,而这竟是唯一一份在在测试截止时间之前完成的报告。浪潮也凭借对客户应用的深入理解和天梭TS10000高性能服务器的整体方案优势在本次招标中最后胜出。
对症下药量身定制
经过前期对客户算例的大量测试比较,浪潮摸清了山西师大本次计算平台建设的应用需求,并以此为依据明确了天梭TS10000高性能系统的设计思路。
鉴于计算化学应用需要强大的浮点运算能力,并对计算节点有着大内存、低功耗和协作程度高的要求,根据客户的应用特点和前期测试结果,浪潮将计算模块分为三类,即普通计算节点、厚节点和胖节点,分层次解决不同任务的计算需求。 #p#page_title#e#
其中,普通节点采用了110台NX7100DB刀片。考虑到计算化学软件计算过程中常会产生许多大容量的临时文件,这款7U10刀的高性能刀片专门配置了500GB的3.5寸SATA硬盘,在存储容量和速度上优势明显;用10台刀片组成的厚节点主要是来处理对运算速度有苛刻要求的大型计算任务,专门配置高主频高性能的处理器,配合每节点32GB内存和Raid 5,使计算性能、I/O速度、数据安全都有了可靠保证;而对于一些对内存容量要求很高的计算任务,则用2台四路六核NF560D2来承担,采用英特尔® 至强® 7460 处理器,高达96GB的内存容量,加上8TB的本地存储容量和1+1+1全热备冗余电源,能够妥善解决计算化学软件带来的计算压力。
这套浪潮TS10000共包括128个节点,1套20TB存储盘阵,采用20Gbps全线速Infiniband网络与计算节点实现高速互联,具有计算性能优越、功耗控制领先、监控管理系统方便易用、系统开放易于扩展、服务体系完善等特点。
经过浪潮高性能工程师的方案调优,系统的计算能力峰值为10.98万亿次每秒,Linpack测试效率为0.806,进入09年国内高性能计算TOP100排名,是国内计算化学领域单台计算性能最强的高性能计算机。
浪潮天梭TS10000系统的上线,使山西师范大学的计算化学研究获得了起飞的平台。以前需要几个星期甚至一两个月进行计算的任务,现在缩短到了几天时间。往常计算任务“塞车”,科研进度受拖累的现象随之消除。科研效率的大变迁正在推动山西师范大学的化学、材料科学研究向全国前十的目标迈进。
而对于浪潮而言,赢得此次项目,靠的不仅是浪潮优异的产品、良好的服务,更是靠浪潮在科学计算领域丰富的应用经验、业界领先的方案解决和本地化服务能力。
经过多年实践,浪潮的高性能团队拥有了大批专业的HPC应用工程师、系统工程师。他们不仅在计算节点构建、高速网络交换方面积累了深厚的技术功底,还在HPC应用的专业领域,包括计算化学、材料化学、工程计算等方面拥有丰富的并行软件开发、使用、调优经验。这种技术专家与应用高手相结合的人员构成,使浪潮的HPC解决方案能够真正深入到行业应用中去,帮助行业用户以较低的成本实现高效、可靠的高性能计算。此外,本地化的原厂级服务也是浪潮的一大特色。原厂工程师、高响应级别的技术服务支持,能够保证系统故障在最短时间内得到妥善解决,客户由于技术故障造成的损失也随之被降到了最低点。