Windows HPC Server 2008 集群部署实战
Windows HPC Server 2008是现有Windows Computer Cluster Server 2003(WCCS2003)的继任者,基于Windows Server 2008 64-bit系统核心。它能提供新的高速网络、高效灵活的集群管理工具、面向服务的体系结构(SOA)工程进度安排、支持合作伙伴的集群文件系统,可用于计算流体力学、水利枢纽模拟等大规模并行项目,或BLAST、蒙特卡罗模拟等复杂的并行项目。
本文介绍如何进行Windows HPC Server 2008 集群的部署。
清单:部署 HPC 群集
以下清单描述了部署 Windows HPC Server 2008 群集的总体过程。清单中的每个任务都链接到本文档中描述要执行该任务的所需步骤的相应部分。
步骤 1:准备部署
部署 HPC 群集的第一个步骤是进行重要决策,比如决定如何向群集添加节点以及选择群集的网络拓扑。以下清单描述了在准备部署时涉及的步骤。
清单:准备部署
1.1. 检查初始注意事项和系统要求
以下几部分列出了需要检查的某些初始注意事项,以及 Windows HPC Server 2008 的硬件和软件要求。
初始注意事项
在部署 HPC 群集之前,检查以下初始注意事项。
与以前版本的兼容性
以下列表描述了 Windows HPC Server 2008 和 Windows Compute Cluster Server 2003 之间的兼容性:
" Windows HPC Server 2008 为与 Windows Compute Cluster Server 2003 集成的应用程序提供了应用程序编程接口 (API) 级别的兼容性。但是,这些应用程序可能需要进行更改才能在 Windows Server 2008 上运行。如果在 Windows Server 2008 上运行应用程序时遇到问题,则应当咨询软件供应商。
" Windows HPC Server 2008 支持从 Windows Compute Cluster Server 2003 客户端进行作业提交,包括通过使用命令行工具、计算群集作业管理器和 COM API 提交的作业。
" Windows HPC Server 2008 客户端工具,包括群集管理控制台(HPC 群集管理器)、作业计划控制台(HPC 作业管理器)、命令行工具和 API,不能用于管理作业或将作业提交到 Windows Compute Cluster Server 2003 群集。
" 不支持同时有 Windows Compute Cluster Server 2003 节点和 Windows HPC Server 2008 节点的群集。
" 不支持在同一计算机上并行安装 Windows HPC Server 2008 和 Windows Compute Cluster Server 2003。这包括 Windows HPC Server 2008 客户端实用工具。
" 不支持将 Windows Compute Cluster Server 2003 头节点升级到 Windows HPC Server 2008 头节点。
在安装期间添加的服务器角色
安装 HPC Pack 2008 时,会将以下服务器角色添加到头节点:
" DHCP 服务器,用于提供计算节点的 IP 地址和相关信息。
" Windows 部署服务,用于远程部署计算节点。
" 文件服务,用于管理共享文件夹。
" 网络策略和访问服务,其启用路由和远程访问,以便可以向群集节点提供网络地址转换 (NAT) 服务。
硬件要求
Windows HPC Server 2008 的硬件要求与对 Windows Server 2008 的 64 位版本的要求非常相似。
处理器(基于 x64):
" 最小:1.4 GHz
" 建议:2 GHz 或更快
RAM:
" 最小:512 MB
" 建议:2 GB 或更大
可用磁盘空间:
" 最小:50 GB
" 建议:80 GB 或更大
驱动器:
" DVD-ROM 驱动器
网络适配器:
" 头节点和计算节点上的网络适配器数取决于您为群集选择的网络拓扑。
软件要求
以下列表概括了在 Windows HPC Server 2008 群集中的头节点和计算节点的软件要求:
" Windows Server 2008 HPC Edition,或其他 64 位版本的 Windows Server 2008
" Microsoft HPC Pack 2008
若要使用户能够向 HPC 群集提交作业,可以在客户端计算机上安装 Microsoft HPC Pack 2008 附带的实用工具。这些客户端计算机必须正在运行任何以下操作系统: #p#page_title#e#
" 带有 Service Pack 3 的 Windows XP Professional 或更高版本(基于 x86 或 x64)
" Windows Vista? Enterprise、Windows Vista Business、Windows Vista Home 和 Windows Vista Ultimate
" 带有 Service Pack 2 的 Windows Server 2003 Standard Edition 或 Windows Server 2003 Enterprise Edition 或更高版本(基于 x86 或 x64)
" Windows Server 2003, Compute Cluster Edition
" Windows Server 2003 R2 Standard Edition 或 Windows Server 2003 R2 Enterprise Edition(基于 x86 或 x64)
1.2. 决定如何将计算节点添加到群集
有三种方式可以将计算节点添加到群集:
" 从头开始。将计算节点添加到群集时,操作系统和所有需要的 HPC 群集组件将自动安装在每个计算节点上。不需要手动安装操作系统或其他软件。
" 添加预配置的计算节点。计算节点已在运行 Windows Server 2008 HPC Edition 或其他 64 位版本的 Windows Server 2008,并且在每个节点上手动安装 Microsoft HPC Pack 2008。
" 导入节点 XML 文件。需要使用一个 XML 文件,其中包含要部署的所有节点的列表。此 XML 文件可以用于从头开始或从预配置的节点添加节点。
下面是选择如何将节点添加到 HPC 群集时要考虑到的详细信息列表:
" 从头开始部署节点时,Windows HPC Server 2008 将为计算节点自动生成计算机名称。在配置过程中,您必须指定在为新节点自动生成计算机名称时要使用的命名约定。
" 将为计算节点按部署顺序分配计算机名称。
" 如果要从头开始添加计算节点,并以不同方式分配计算机名称,则可以使用节点 XML 文件。
" 如果要将预配置的节点添加到群集,则需要在每个节点上安装 Windows Server 2008 HPC Edition 或其他 64 位版本的 Windows Server 2008(如果尚未安装),以及 Microsoft HPC Pack 2008。
1.3. 为群集选择 Active Directory 域
HPC 群集中的头节点和计算节点必须是 Active Directory 域的成员。在部署群集之前,必须选择将用于 HPC 群集的 Active Directory 域。
如果没有可供群集加入的 Active Directory 域,或打算不加入现有域,则可以在头节点上安装 Active Directory 域服务角色,然后在该节点上配置域控制器。
1.4. 选择用于安装和诊断的用户帐户
在 HPC 群集的配置过程中,必须为将用于安装和诊断的域用户帐户提供凭据。您必须在开始进行群集部署之前选择现有帐户,或创建新的帐户。
选择用户帐户时,下面是要考虑到的详细信息列表:
" 所选择的用户帐户必须是有足够权限能够为计算节点创建 Active Directory 计算机帐户的域帐户。另外,可以手动创建计算机帐户,或请域管理员创建它们。
" 如果部署过程的一部分需要访问企业网络上的资源,则此用户帐户必须拥有能够访问这些资源的所需权限(例如,能够访问在网络服务器上可用的安装文件)。
" 如果想从群集管理控制台(HPC 群集管理器)远程重新启动节点,则此帐户必须是头节点上的本地 Administrators 组的成员。仅当您没有可以用于远程重新启动计算节点的脚本化电源控制工具时,此要求才是必需的。
1.5. 选择群集的网络拓扑
Windows HPC Server 2008 支持五种群集拓扑。这些拓扑按群集中的计算节点如何相互连接和连接到企业网络进行区分。五种受支持的群集拓扑是:
" 拓扑 1:在专用网络上隔离的计算节点
" 拓扑 2:企业和专用网络上的所有节点
" 拓扑 3:在专用和应用程序网络上隔离的计算节点
" 拓扑 4:企业、专用和应用程序网络上的所有节点
" 拓扑 5:企业网络上的所有节点
正在选择网络拓扑时,必须考虑到现有网络基础结构:
" 决定已经选择的拓扑中的哪个网络将充当企业网络、专用网络和应用程序网络。 #p#page_title#e#
" 不要让在头节点上连接到企业网络的网络适配器处于自动配置(即该适配器的 IP 地址的开头不能是 169.254)。该适配器必须有动态或手动分配(静态)的有效 IP 地址。
" 如果选择包括专用网络的拓扑,并且您正在计划从头开始将节点添加到群集:
" 确保在专用网络上没有预启动执行环境 (PXE) 服务器。
" 如果要让专用网络使用现有 DHCP 服务器,请确保将其配置为把头节点识别为网络中的 PXE 服务器。
" 如果要在专用或应用程序网络的头节点上启用 DHCP 服务器,并且有连接到这些网络的其他 DHCP 服务器,则必须禁用这些 DHCP 服务器。
" 如果让现有域名系统 (DNS) 服务器与计算节点连接到同一网络,则不需要执行操作,但计算节点将从该 DNS 服务器自动注销。
" 请与系统管理员联系,确定是否通过组策略在域上执行 Internet 协议安全 (IPsec)。如果通过组策略在域上执行 IPsec,则可能在部署期间遇到问题。规避措施是使头节点成为 IPsec 边界服务器,以便计算节点可以在 PXE 启动期间与头节点通信。
1.6. 准备多播(可选)
如果要从头开始部署节点,并且希望对将在部署期间使用的操作系统镜像进行多播,则我们建议通过以下操作做好多播准备:
" 在网络交换机上启用 Internet 组管理协议 (IGMP) 探听(如果此功能可用)。这将帮助减少多播通信。
" 在网络交换机上禁用跨树协议 (STP)(如果此功能已启用)。
1.7. 为脚本化电源控制工具的集成做准备(可选)
群集管理控制台(HPC 群集管理器)包括远程启动、关闭和重新启动计算节点的操作。这些操作链接到一个使用操作系统命令执行这些电源控制操作的脚本文件 (CcpPower.bat)。可以用您自己的电源控制脚本替换该脚本文件中的默认操作系统命令,比如由群集解决方案的供应商提供的智能平台管理接口 (IPMI) 脚本。
在此集成准备中,必须获得电源控制工具的所有所需脚本、动态链接库 (DLL) 文件和所有其他组件。在已获得所有所需组件之后,请独立测试它们,并确保它们能够在将在群集中作为计算节点进行部署的计算机上按预期效果工作。
步骤 2:部署头节点
部署 HPC 群集的下一步是部署头节点。以下清单描述了部署头节点时涉及的步骤。
清单:部署头节点
2.1. 在头节点计算机上安装 Windows Server 2008
若要部署 HPC 群集的头节点,必需首先在将充当头节点的计算机上安装 Windows Server 2008 HPC Edition,或其他 64 位版本的 Windows Server 2008。
要点
我们强烈建议您在安装 Microsoft HPC Pack 2008 之前执行 Windows Server 2008 的干净安装。如果要在 Windows Server 2008 的现有安装上安装 Microsoft HPC Pack 2008,请首先删除所有服务器角色,然后执行此指南中的过程。
注意
建议您从硬件供应商的网站获得头节点计算机的最新设备驱动程序。
2.2. 使头节点计算机加入到域
按照在步骤 1:准备部署部分中的描述,头节点必须是 Active Directory 域的成员。在头节点上安装了 Windows Server 2008 之后,将头节点手动加入到现有 Active Directory 域。
2.3. 在头节点计算机上安装 Microsoft HPC Pack 2008
在头节点计算机上安装了 Windows Server 2008,并且将头节点加入到 Active Directory 域之后,即可在头节点上安装 Microsoft? HPC Pack 2008。
在头节点计算机上安装 Microsoft HPC Pack 2008
1. 若要在将充当头节点的计算机上启动 Microsoft HPC Pack 2008 安装向导,请从 HPC Pack 2008 安装介质或从网络位置运行 setup.exe。
2. 在"准备开始"页上,单击"下一步"。
3. 在"Microsoft 软件许可条款"页上,阅读或打印许可协议中的软件许可条款,并接受或拒绝该协议的条款。如果接受条款,请单击"下一步"。
4. 在"选择安装类型"页上,单击"通过创建头节点新建 HPC 群集",然后单击"下一步"。 #p#page_title#e#
5. 继续执行安装向导中的步骤。
步骤 3:配置头节点
部署了 HPC 群集的头节点之后,必须通过在 HPC 群集管理器中执行配置任务列表以配置头节点。
清单:配置头节点
以下清单包括为了配置头节点而需要在 HPC 群集管理器中完成的配置任务列表中的项。
3.1. 配置 HPC 群集网络
HPC 群集网络配置是头节点配置过程的第一个步骤。通过执行 HPC 群集管理器中的"网络配置向导",可以配置 HPC 群集网络。配置 HPC 群集网络时,必须选择已经为群集选择的网络拓扑,在步骤 1:准备部署中对此进行了描述。
要点
开始在 HPC 群集管理器中配置 HPC 群集网络之前,请确保让头节点和将作为计算节点添加到群集的计算机按照已为群集选择的网络拓扑进行了物理连接。此外,请确保您能够识别头节点中的每个网络适配器将连接到哪一个网络。
配置 HPC 群集网络
1. 如果 HPC 群集管理器尚未在头节点上打开,请打开它。单击"开始",指向"所有程序",单击"Microsoft HPC Pack",然后单击"HPC 群集管理器"。
2. 在"任务列表"中,单击"配置网络"。
3. 按照"网络配置向导"中的步骤执行操作。
3.2. 提供安装凭据
为了配置新计算节点,必须提供安装凭据。在安装操作系统、应用程序和向 Active Directory 域添加节点时,将使用这些凭据。而且,在群集节点上运行诊断测试时,也将使用这些相同凭据。
提供安装凭据
1. 在"任务列表"中,单击"提供安装凭据"。将出现"安装凭据"对话框。
2. 键入用户名,包括域 (DOMAINUser),然后键入将用于部署计算节点和运行诊断测试的域用户帐户的密码。
要点
此帐户必须是有足够权限能够为计算节点创建 Active Directory 计算机帐户的域帐户。另外,可以手动创建计算机帐户,或请域管理员创建它们。
要点
如果部署过程的一部分需要访问企业网络上的资源,则此帐户应当有访问这些资源的所需权限。
要点
如果想从群集管理控制台(HPC 群集管理器)远程重新启动节点,则此帐户必须作为头节点上的 HPC 群集管理员进行添加。仅当您没有可以用于远程重新启动计算节点的脚本化电源控制工具时,此要求才是必需的。
4. 若要保存指定凭据,请单击"确定"。
3.3. 配置新节点的命名方式
如果从头开始部署计算节点,并且没有使用节点 XML 文件来将节点导入到群集,则 Windows HPC Server 2008 将为正在部署的新节点自动生成计算机名称。您需要通过定义命名序列以指定如何生成这些名称。
通过选择将陪伴该名称的根名称和开始编号,可以定义命名序列。开始编号放在一组百分比符号 (%) 中。例如:ClusterNode%1000%。
从头开始部署计算节点时,节点将在其转为可用状态时按顺序进行命名。例如,如果在指定以下命名序列之后部署三个节点:ClusterNode-%100%,将为这些节点分配以下名称:
" ClusterNode-100
" ClusterNode-101
" ClusterNode-102
要点
计算节点名称最多不超过 15 个字符。指定计算节点的命名序列时,请考虑到部署中的计算节点数,并确保您指定的序列不会生成超过 15 个字符的名称。例如,如果要部署 1,000 个计算节点,并且开始编号是 1,则根名称不能超过 12 个字符;否则,节点编号 1,000 的名称将需要由 16 个字符组成。
指定计算节点命名序列
1. 在"任务列表"中,单击"配置新节点的命名方式"。将出现"指定计算节点命名序列"对话框。
2. 键入要使用的命名序列。预览将帮助您查看命名序列如何应用于计算节点名称的示例。
注意
不能指定仅由数字组成的计算节点命名序列。
3. 若要保存已经指定的计算节点命名序列,请单击"确定"。
3.4. 创建节点模板
节点模板是 Windows HPC Server 2008 中的新增功能,它们定义在配置计算节点和将计算节点添加到群集时所需执行的任务。使用节点模板,可以部署操作系统镜像,还可以将特定驱动程序和软件添加到计算节点,或将预配置节点直接添加到群集。因为可能有多种类型的计算节点,或者可能以不同方式将计算节点添加到群集,所以可以创建应用于不同节点或情况的不同模板。 #p#page_title#e#
可以创建两种类型的节点模板:
" 有操作系统镜像。此类型模板包括在计算节点上部署操作系统的步骤。从从头开始添加计算节点时,请使用此类型的模板。
" 没有操作系统镜像。此类型的模板用于将预配置的计算节点添加到群集,或更新现有节点。
为初始部署 HPC 群集而创建的模板类型取决于您决定如何将计算节点添加到群集。
要点
如果将创建有操作系统镜像的节点模板,则需要 Windows Server 2008 HPC Edition 或其他 64 位版本的 Windows Server 2008 的安装介质,或者您必须有在可从头节点计算机访问的网络位置上的可用安装文件。
创建节点模板
1. 在"任务列表"中,单击"创建节点模板"。
2. 执行"创建节点模板向导"中的步骤。
注意
通过"创建节点模板向导"创建的节点模板包括最常见的部署和配置任务。通过使用"节点模板编辑器",可以将更多任务添加到所创建的节点模板。有关详细信息,请在"创建节点模板向导"的"指定模板名称"页上,单击"了解节点模板"。
3.5. 添加操作系统镜像的驱动程序(可选)
如果将从头开始部署计算节点,并且这些节点需要特殊的设备驱动程序,则需要在头节点的配置期间添加这些驱动程序。驱动程序必须是 .inf 格式,并且必须对镜像存储中的所有操作系统镜像可用。
注意
建议您从硬件供应商的网站获得计算节点的最新设备驱动程序。
添加操作系统镜像的驱动程序
1. 在"任务列表"中,单击"管理驱动程序"。将出现"管理驱动程序"对话框。
2. 若要添加驱动程序,请单击"添加"。
3. 键入或浏览到要添加的驱动程序的安装程序信息文件(.inf 格式)的位置,然后单击"打开"。
4. 对要添加的所有驱动程序重复前面两个步骤。
5. 完成添加驱动程序后,单击"关闭"。
3.6. 添加或删除用户(可选)
如果要将群集访问权授予组织中的其他成员,则需要将这些成员添加为 HPC 群集用户或 HPC 群集管理员。而且,可以删除在安装期间默认情况下添加的用户或管理员。
要点
"域用户"组是在安装期间作为 HPC 群集用户添加的。如果您不希望域中的所有用户都有权访问群集,则可以从 HPC 群集用户列表中删除"域用户"组,然后添加为 HPC 群集用户专门创建的其他域用户组,或者添加单独的域用户。
添加或删除群集的用户
1. 在"任务列表"中,单击"添加或删除用户"。
2. 将用户添加到群集:
a. 在"操作"窗格中,单击"添加用户"。将出现"选择用户或组"对话框。
b. 键入要添加的用户的用户名,然后单击"检查名称"。有关详细信息,请在"选择用户或组"窗口上,单击"示例"。
c. 对要添加的所有用户重复前面的步骤。
d. 在添加完用户之后,单击"确定"。
3. 将管理员添加到群集:
a. 在"操作"窗格中,单击"添加管理员"。将出现"选择用户或组"对话框。
b. 键入要添加的管理员的用户名,然后单击"检查名称"。有关详细信息,请在"选择用户或组"窗口上,单击"示例"。
c. 对要添加的所有管理员重复前面的步骤。
d. 在完成添加管理员之后,单击"确定"。
4. 若要删除用户或管理员,请在"用户"列表上选择它,然后单击"删除"。
步骤 4:将计算节点添加到群集
通过提供自动节点镜像、节点的自动命名和使部署任务顺畅的其他功能,Windows HPC Server 2008 简化了计算节点的部署过程。而且,它还提供了可以用于监视部署的进度的工具。
要点
不像 Windows HPC Server 2008 的以前版本,Windows HPC Server 2008 中的默认设置将仅响应来自现有计算节点的预启动执行 (PXE) 请求。使用"添加节点向导"从头开始添加节点时,将自动更改该默认设置。而且,您也可以在"选项"菜单的"部署设置"下手动更改此设置。 #p#page_title#e#
在创建节点模板之后,可以使用"添加节点向导"将计算节点添加到 HPC 群集。可以用三种方式将计算节点添加到群集:
" 从头开始部署计算节点
" 通过导入节点 XML 文件添加计算节点
" 添加预配置的计算节点
将计算节点添加到群集
1. 在"任务列表"中,单击"添加计算节点"。
2. 执行"添加节点向导"中的步骤。
注意
HPC 群集管理器帮助文档提供了将计算节点添加到群集的逐步过程。若要查看这些过程,请在"添加节点向导"的"选择部署方法"页上单击"将节点添加到群集"。
步骤 5:针对群集运行诊断测试
配置了头节点以及将所有计算节点添加到群集后,应当运行诊断测试来验证群集功能以及解决任何配置问题。
针对群集运行诊断测试
1. 在"任务列表"中,单击"验证群集"(在"诊断"下)。
2. 在"运行诊断"对话框上,确保选择了"运行所有功能测试"和"所有节点"选项,然后单击"确定"。
3. 若要查看诊断测试的进度和测试结果,请在"诊断"中单击"测试结果"。
4. 若要查看有关测试的详细信息,请双击测试。若要展开测试结果某一部分中的信息,请单击该部分的下箭头。