Windows HPC Server 2008技术概览
去年11月最新公布的第三十次全球超级计算机排行榜上,微软系统只占据了区区6套,远不及Linux的381套。但作为软件行业的巨头,微软自然不会轻易放弃这块高端阵地,于是11月14日,WHS2008在这个时间走进了我们的视野。 [查阅更多关于Server 2008的专题文章]
Windows HPC Server 2008(WHS2008)是现有Windows Computer Cluster Server 2003(WCCS2003)的继任者,基于Windows Server 2008 64-bit系统核心。它能提供新的高速网络、高效灵活的集群管理工具、面向服务的体系结构(SOA)工程进度安排、支持合作伙伴的集群文件系统,可用于计算流体力学、水利枢纽模拟等大规模并行项目,或BLAST、蒙特卡罗模拟等复杂的并行项目。
WHS2008为主流高性能计算带来了一股新的力量,其统一的管理部署界面可以帮助大型、小型计算机群集有效降低部署的复杂度,并且提供了一个全新的简单高效的管理体验来提升群集管理员的生产率。
从WCCS 2003到WHS 2008
回想在1991年,用户要想使用 10 G的计算能力大概要花费4千万美元,而如今相同级别的计算水平早已普遍应用于普通的X86计算机之中,相应的花销更是下降到4千美元左右。成本的大幅下降,使得超级计算在硬件方面的开销已经下降到了个人桌面计算机的水平。
但应用HPC群集的最大障碍主要来自于其复杂的部署过程,以及一旦部署完成还要面对的维护挑战。在HPC全面普及之前,它必须成为组织中主流的IT架构的一部分。群集需要像管理和部署现有的架构的一部分一样的简单方便,同时需要对终端用户更加的透明并且无缝集成。而对于开发人员来说,他们能够使用相同的部署工具和技术在多核处理器上或者是多个计算机上编写相应的程序。
在最初的WCCS2003中,微软已经展现了其在商业主流高性能计算方面的能力。基于Windows Server 2003 x64 的WCCS 2003提供了一套完整的、集成的群集环境,包括操作系统、工作调度程序、 Message Passing Interface v2 (MPI2) 支持, 以及群集管理和监控组件等。WCCS整合了群集、部署以及管理方面的活动目录服务,以及Windows Server 2003的常用工具,并且可以使用微软管理控制台(MMC)工具实现简单部署计算机节点和中心管理,从而大大降低用户使用HPC的复杂度。
作为WCCS的第二个版本,Windows HPC Server 2008则是一个基于Windows Server 2008操作系统的 x64版本。这款产品将会支持更大的部署环境,通过一个全新的调度程序全面超越上一款产品,同时也支持Windows Server 2008 中全新的Windows 部署技术,以及一个包含支持全新网络路径的更快的Microsoft Message Passing Interface (MS-MPI) 接口和一个建立在System Center用户界面(UI)上的全新的管理界面。这个工具还支持Windows PowerShell作为其首选的脚本语言。在WHS2008中头结点借助 Windows Server 2008故障转移服务为群集的故障转移和冗余实现了 Microsoft SQL Server的故障恢复能力。
WHS2008与其它微软产品的整合也更好的提升了HPC的生产效率,同时增强了终端用户的使用体验。这其中就包括与Microsoft Office SharePoint Server 以及Windows Workflow Foundation的联合使用,以及能够更好增强管理有效性的Microsoft System Center 解决方案。通过与 Windows Communication Foundation (WCF)的整合,WHS2008使得服务导向架构(SOA)应用程序的开发者更好的利用HPC解决方案提供的全新力量。
WHS2008的四大创新特性
部署WHS2008时,微软将重点集中在四个关键的区域上,分别是系统管理、工作计划、网络和MPI以及存储,新版本中包括:
——系统管理
1. 基于System Center UI 架构的全新管理平台整合了群集管理中的每个方面
2. 节点组允许管理员可以分类并且在计算机节点上批操作
3. 实时监控图允许用户轻松的查看群集的最新状态
4. 使用Windows PowerShell 以及其它命令行工具实现群集的脚本化控制 #p#page_title#e#
5. 多头节点的高可用性
6. 使用Windows部署服务增强计算节点的储备
7. 内建对于群集宽度更新的支持
8. 内建系统错误诊断功能
9. 内建群集报告功能
10. 扩展报告,允许使用例如SQL Server 分析服务的外部数据库工具来完成工作计划分析
11. System Center Operations Manager 2007 管理包
——工作计划安排
1. 与 Windows Communication Foundation (WCF)的整合, WHS2008使得服务导向架构(SOA)应用程序的开发者更好的利用HPC解决方案提供的全新力量。
2. 工作计划间隔取决于处理器内核,处理器插槽以及计算节点的水平
3. 对于大型群集的性能增强
4. 工作计划数据库支持外部数据库
5. 全新的工作计划策略
6. 支持基于HPC的策略接口
——网络和 MPI
1. 网络引导,为MPI应用程序提供了显著的RDMA网络性能提升
2. 改进的网络配置向导
3. 为多核服务器提供的全新的共享存储MS-MPI执行
4. MS-MPI 与Windows 的事件跟踪整合在一起
——存储
1. Windows Server 2008支持改进的iSCSI SAN
2. Windows Server 2008支持 Server Message Block (SMB) v2
3. 全新的文件系统支持以及高性能存储需要的群集供应商合作伙伴
4. 全新的存储缓存供应商合作伙伴
WHS2008的硬件需求
对于WHS2008来说,其最低的硬件需求与Windows Server 2008 x64标准版本的操作系统所需的硬件条件基本相同。WHS2008支持最多64 GB 的内存,所支持的处理器包括:AMD Opteron、AMD Athlon 64、Intel Xeon with Intel EM64T和Intel Pentium with Intel EM64T。
硬件 |
需求 |
CPU |
使用Intel Pentium64位架构的处理器或者使用 Intel Extended Memory 64 技术的 (EM64T) 的 Xeon处理去; AMD Opteron 家族的处理器; AMD Athlon 64家族的处理器; 或其它兼容的处理器 |
RAM |
512 MB |
多处理器支持 |
WHS2008和 Windows Server 2008 标准版服务器都支持最多四个处理器, Windows Server 2008 企业版则最多支持到八个处理器。 |
安装最小硬盘空间 |
50 GB |
磁盘卷 |
头节点和计算机节点需要一个单独的系统卷。支持RAID卷,但不是必须使用。系统卷必须是 MBR分区格式,而其它卷可以是 MBR 或者 GPT格式 |
网络接口卡 |
至少有一个网络接口卡 (NIC)。如果存在私网,那么头节点要求至少两个NIC,同时计算节点也需要至少一个。每个节点可能都需要一个高速的NIC用于信息传递接口(MPI)网络。 |
WHS2008的软件需求与部署
WHS2008的头节点和计算节点可以是Windows Server 2008 x64的标准版操作系统或Windows Server 2008 x64 企业版。工作调度程序使用 Microsoft SQL Express 作为它的知识库。除了SQL Express 以外,现有的 SQL Server 2005 或者 SQL Server 2008 安装程序也可以使用。而头节点故障转移群集则要求SQL Server 标准版或者企业版。
一个管理员控制台以及一个工作计划调度用户控制台组件将会自动安装在计算机群集的头节点上。当然这些组件也可以安装在允许远程管理群集的其它计算机上,或者降级为客户计算机上的工作任务。而支持这些远程安装组件的操作系统有: #p#page_title#e#
· Windows Server 2003 Service Pack 1 (SP1) 或者 R2
· Windows Server 2008
· Windows XP Professional Service Pack 2 (SP2)
· Windows XP Professional, x64 Edition
· Windows Vista Business, Enterprise, 以及 Ultimate 版本解决方案架构
WHS2008由一系列群集服务器组成,其中包括:一个单独的头节点 以及一个或者多个计算节点(见图1)。头节点通过Windows Server 2008高可用性服务器和SQL Server群集,控制台和仲裁服务器来访问群集资源,并且实现了对于计算节点的单点管理,部署以及工作计划调度。WHS2008也可以通过现在的活动目录架构在安全、账户管理以及多系统管理方面使用例如Microsoft System Center Operations Manager 2007这样的微软工具。
图 1: 一个典型的 WHS2008网络模型
WHS2008的安装过程包括在头节点上安装操作系统,加入活动目录域,然后安装Compute Cluster Pack 。
在用户第一次开启管理控制台时,一个任务清单上会为用户展现计算机群集必须要完成的配置。这些步骤中包括: 定义网络拓扑,配置自动部署,为群集添加计算节点等。WHS2008使用 Windows Server 2008 的部署服务角色来部署计算节点。
HS2008提供了节点模版,这种简便的方法可以定义用户计算节点上需要的配置,而Windows 部署服务的一个简便的界面帮助用户管理全部的节点,或者是群集的一个节点组并且跟踪部署的处理过程。WHS2008管理工具包括一个诊断测试,利用这个测试,管理员可以检测群集的连接故障,节点负载以及工作计划状态。
小结
随着硬件成本的降低以及管理部署技术的简化, 高性能计算的发展越来越引人注目。根据IDC公司市场调研报告显示:在2004年,只有16%左右或者1650000台处理器安装HPC系统;而在去年,就有大约3350,000台或者超过26%的处理器安装了这类系统。目前Altair Engineering Inc.、Cluster Resources Inc.、Platform Computing等多家相关行业企业都已宣布支持WHS2008,而Panasas、Quantum Corp StorNext、HP PolyServe、Sanbolic的集群文件系统均得到该系统的支持,IBM的IBM GPFS也将在不久后加入这一行列。
最新的WHS2008集群服务器,为并行应用程序创建了开发环境,也使客户在现有的环境中更容易的集成应用程序。正像微软的HPC总经理Kyril Faenov说的,HPC系统会帮助商业伙伴达到一个更广阔的层面。