High Availability Extension 支持下列方案：

群集最多可包含 32 个 Linux 服务器。使用 pacemaker_remote 可扩展群集使之突破此限制，包含更多的 Linux 服务器。如果群集内的一台服务器发生故障，则群集内的任何其他服务器均可重启动此服务器上的资源（应用程序、服务、IP 地址和文件系统）。

High Availability Extension 附带了 Corosync 讯息交换和成员资格层以及 Pacemaker 群集资源管理器。使用 Pacemaker，管理员可以持续监视其资源的运行状况和状态、管理依赖性以及根据高度可配置的规则和策略自动停止和启动服务。High Availability Extension 允许您根据适合您组织的特定应用程序和硬件基础体系结构对群集进行定制。基于时间的配置使服务可以在特定时间自动迁移回已修复的节点。

借助 High Availability Extension，您可以根据需要动态地指派和重指派服务器储存。它支持光纤通道储存区域网络 (SAN) 和网络中的 iSCSI 储存。因此也支持共享磁盘系统，但此类系统不是必需的。SUSE Linux Enterprise High Availability Extension 还附带有群集感知文件系统、卷管理器 (OCFS2) 和群集式逻辑卷管理器 (cLVM)。如需复制数据，可使用 DRBD* 将高可用性服务的数据从群集的活动节点镜像到其备用节点。此外，SUSE Linux Enterprise High Availability Extension 还支持 CTDB（Clustered Trivial Database，群集普通数据库），这是一种 Samba 群集技术。

SUSE Linux Enterprise High Availability Extension 支持包含物理和虚拟 Linux 服务器的群集，也支持混用这两种类型的服务器。SUSE Linux Enterprise Server 12 SP5 随附 Xen 和 KVM（基于内核的虚拟机）。两者都是开放源代码虚拟化超级管理程序。群集可将虚拟化 guest 系统（也称为 VM）作为服务来管理。

SUSE Linux Enterprise High Availability Extension 已扩展，可以支持下列不同的地理方案。对于地理位置分散的群集（Geo 群集）的支持将作为 High Availability Extension 的独立扩展提供，即 Geo Clustering for SUSE Linux Enterprise High Availability Extension。

各个群集节点之间的地理距离越大，可能影响群集所提供服务的高可用性的因素就越多。网络延迟、有限带宽以及对储存的访问权是远距离群集面临的主要难题。

SUSE Linux Enterprise High Availability Extension 包含大量资源代理来管理资源，如 Apache、IPv4 和 IPv6 等。它还为通用的第三方应用程序（例如 IBM WebSphere Application Server）提供了资源代理。如需产品随附的 Open Cluster Framework (OCF) 资源代理的概述，请根据第 8.1.3 节 “显示有关 OCF 资源代理的信息”中所述使用 crm ra 命令。

High Availability Extension 附带了一组功能强大的工具，可用于对群集进行基本的安装和设置，以及有效地执行配置和管理任务：

High Availability Extension 采用分层式体系结构。图 1.6 “体系结构”说明了不同的层及其相关的组件。

图 1.6︰ 体系结构 #

SUSE Linux Enterprise High Availability Extension 使用 Pacemaker 作为 CRM。CRM 作为守护程序执行 (crmd)，它在每个群集节点上都有一个实例。Pacemaker 通过选出一个 crmd 实例来充当主实例，实现所有群集决策制定的集中化。如果选定的 crmd 过程（或它所在的节点）出现故障，则将建立一个新的过程。

在每个节点上保留了一个 CIB，它反映了群集的配置和群集中所有资源的当前状态。CIB 的内容会在整个群集中自动保持同步。

群集中执行的许多操作都将导致整个群集的更改。这些操作包括添加或删除群集资源、更改资源约束等等。了解执行这样的操作时群集中会发生的状况是很重要的。

例如，假设您要添加一个群集 IP 地址资源。为此，您可以使用一种命令行工具或 Web 界面来修改 CIB。您不必在 DC 上执行此操作，可以使用群集中任何节点上的任何工具，此操作会被传送到 DC 上。然后 DC 将把此 CIB 更改复制到所有群集节点。

根据 CIB 中的信息，PE 便计算群集的理想状态及如何达到此状态，并将指令列表传递给 DC。DC 通过消息交换/基础结构层发送命令，这些命令将由其他节点上的 crmd 对等体接收。每个 crmd 使用它的 LRM（作为 lrmd 实现）执行资源修改。lrmd 不是群集感知的，它直接与资源代理（脚本）交互。

所有同级节点将操作的结果报告给 DC。一旦 DC 得出所有必需操作在群集中都已成功执行的结论，群集将回到空闲状态并等待后续事件。如果有操作未按计划执行，则会再次调用 PE，CIB 中将记录新信息。

在某些情况下，可能需要关闭节点以保护共享数据或完成资源恢复。为此，Pacemaker 附带了一个屏蔽子系统，stonithd。STONITH 是“Shoot The Other Node In The Head”（关闭其他节点）的首字母缩写。它通常是使用 STONITH 共享块设备、远程管理板或远程电源开关实现的。为了方便使用 STONITH 设备，在 Pacemaker 中将它们模型化为资源（并在 CIB 中进行配置）。但是，stonithd 会负责了解 STONITH 拓扑，让其客户端请求屏蔽某个节点，而自身则执行其余的工作。

要成功使用 Csync2 同步文件，必须满足以下要求：

因此，在首次运行 Csync2 之前，需要做好以下准备：

有关 Csync2 选项的更多信息，请运行

csync2 -help

注意：在任何更改后推送同步

Csync2 仅推送更改。它不会在计算机之间连续同步文件。

每次更新需要同步的文件时，都必须将更改推送到其他计算机：在您进行了更改的计算机上运行 csync2  -xv。如果对未更改文件的任何其他计算机运行此命令，则不会执行任何操作。

https://documentation.suse.com 上提供了有关细节请参见列中所列的全部文档。

本节内容适用于以下方案：

如果您的群集仍旧基于早期的产品版本而不是上面所列的版本，请先将它升级到 SUSE Linux Enterprise Server 和 SUSE Linux Enterprise High Availability Extension 的某个版本，该版本必须可用作升级到所需目标版本的源。

High Availability Extension 12 群集堆栈的各个组件包含了重大更改（例如 /etc/corosync/corosync.conf、OCFS2 的磁盘格式）。因此，不能从任何 SUSE Linux Enterprise High Availability Extension 11 版本滚动升级到该版本。必须将所有群集节点脱机，并根据过程 5.1 “执行群集范围的脱机迁移”中所述迁移整个群集。

注意：升级 CIB 语法版本

标记（用于对资源分组）和某些 ACL 功能仅适用于 pacemaker-2.0 或更高的 CIB 语法版本（要检查版本，请使用 cibadmin -Q |grep validate-with 命令）。如果您是从 SUSE Linux Enterprise High Availability Extension 11 SPx 升级的，CIB 版本默认不会升级。要手动升级到最新的 CIB 版本，请使用以下命令之一：

root # cibadmin --upgrade --force

或者

root # crm configure upgrade force

本节内容适用于以下方案：

警告：活动的群集堆栈

在开始升级某个节点之前，请停止该节点上的群集堆栈。

如果在软件更新期间，群集资源管理器所在节点处于活动状态，可能会导致不可预料的结果，例如活动的节点被屏蔽。

重要：滚动升级的时间限制

只有在将所有群集节点都升级到最新产品版本之后，最新产品版本提供的新功能才可用。对于采用混合版本的群集，其在滚动升级期间受支持的时间非常短暂。请在一周内完成滚动升级。

如果检测到您的群集节点有不同的 CRM 版本，Hawk2 状态屏幕还会显示一条警告。

全局群集选项控制群集在遇到特定情况时的行为方式。它们被分成若干组，可通过 Hawk2 和 crm 外壳之类的群集管理工具来查看和修改。

通常可保留预定义值。但为了使群集的关键功能正常工作，需要在进行基本群集设置后调整以下参数：

此全局选项定义在群集分区不具有法定票数（分区不具有多数节点投票）时应执行的操作。

允许的值有：

此全局选项定义是否要应用屏蔽，以允许 STONITH 设备关闭发生故障的节点以及无法停止其资源的节点。默认情况下，此全局选项设置为 true，因为对于常规的群集操作，有必要使用 STONITH 设备。根据默认值，如果未定义 STONITH 资源，则群集将拒绝启动任何资源。

如果出于任何原因而需要禁用屏蔽，请将 stonith-enabled 设置为 false，但请注意，这会影响产品的支持状态。此外，在 stonith-enabled="false" 的情况下，分布式锁管理器 (DLM) 等资源以及依赖于 DLM 的所有服务（例如 cLVM、GFS2 和 OCFS2）都将无法启动。

重要：不支持无 STONITH 的配置

不支持无 STONITH 资源的群集。

使用引导脚本时，Corosync 配置包含一个 quorum 段落，其中包含以下选项：

quorum {
   # Enable and configure quorum subsystem (default: off)
   # see also corosync.conf.5 and votequorum.5
   provider: corosync_votequorum
   expected_votes: 2
   two_node: 1
}

与 SUSE Linux Enterprise 11 相比，SUSE Linux Enterprise 12 中的 votequorum 子系统基于 Corosync 版本 2.x。这表示不得使用 no-quorum-policy=ignore 选项。

当设置了 two_node: 1 时，默认会自动启用 wait_for_all 选项。如果未启用 wait_for_all，则群集应在两个节点上并行启动。否则，第一个节点将对缺失的第二个节点执行启动屏蔽。

如果不使用双节点群集，我们强烈建议使用奇数数目的节点来构成 N 节点群集。在仲裁配置方面，可以使用以下选项：

如果要手动调整 /etc/corosync/corosync.conf，请使用以下设置：

quorum {
   provider: corosync_votequorum 1
   expected_votes: N 2
   wait_for_all: 1 3
}

必须先设置群集中的资源，然后才能使用它。例如，要使用 Apache 服务器作为群集资源，请先设置 Apache 服务器并完成 Apache 配置，然后才能在群集中启动相应的资源。

如果资源有特定环境要求，请确保这些要求已得到满足并且在所有群集节点上均相同。这种配置不由 High Availability Extension 管理。您必须自行管理。

注意：不要处理由群集管理的服务

使用 High Availability Extension 管理资源时，不得以其他方式（在群集外，例如手动或在引导时或重引导时）启动或停止同一资源。High Availability Extension 软件负责所有服务的启动或停止操作。

如果当服务已在群集控制下运行后您需要执行测试或维护任务，请确保先将资源、节点或整个群集置于维护模式，然后再进行手动处理。有关细节，请参见第 16.2 节 “用于维护任务的不同选项”。

配置群集中的资源后，请使用群集管理工具手动启动、停止、清理、删除或迁移资源。有关如何使用首选群集管理工具执行此操作的细节：

对于添加的每个群集资源，需要定义资源代理需遵守的标准。资源代理提取它们提供的服务并显示群集的确切状态，以使群集对其管理的资源不作确答。群集依赖于资源代理在收到启动、停止或监视命令时作出相应反应。

通常，资源代理的形式为外壳脚本。High Availability Extension 支持以下类别的资源代理：

随 High Availability Extension 提供的代理已写入 OCF 规范。

可创建以下类型的资源：

如果希望创建具有类似配置的多个资源，则定义资源模板是最简单的方式。定义后，就可以在基元资源或特定类型的约束中引用该模板，请参见第 6.5.3 节 “资源模板和约束”。

如果在原始资源中引用了模板，则该原始资源将继承在模板中定义的所有操作、实例属性（参数）、元属性和利用率属性。此外，还可以为原始资源定义特定的操作或属性。如果在模板和原始资源中都定义了以上内容，则原始资源中定义的值将优先于模板中定义的值。

了解如何使用首选群集配置工具定义资源模板：

基元资源是最简单的一种资源，易于配置，不过对于群集配置，您可能还需要更多高级资源类型，如组、克隆资源或多状态资源。

6.3.5.1 组 #

某些群集资源依赖于其他组件或资源，它们要求每个组件或资源都按特定顺序启动并在同一服务器上与它所依赖的资源一起运行。要简化此配置，可以使用群集资源组。

例 6.3︰ Web 服务器的资源组 #

资源组示例可以是需要 IP 地址和文件系统的 Web 服务器。在本例中，每个组件都是组成群集资源组的一个单独资源。资源组将在一台或多台服务器上运行。在发生软件或硬件故障时，资源组会将故障转移到群集中的另一台服务器，这一点与单个群集资源类似。

图 6.1︰ 组资源 #

组具有以下属性：

启动和停止

资源按其显示顺序启动并按相反顺序停止。

相关性

如果组中某个资源在某处无法运行，则该组中位于其之后的任何资源都不允许运行。

内容

组可能仅包含一些原始群集资源。组必须包含至少一个资源，否则配置无效。要引用组资源的子级，请使用子级 ID 而不是组 ID。

限制

尽管在约束中可以引用组的子代，但通常倾向于使用组的名称。

粘性

粘性在组中可以累加。每个活动的组成员可以将其粘性值累加到组的总分中。因此，如果 resource-stickiness 的默认值是 100，且组中有 7 个成员（其中 5 个成员处于活动状态），那么整个组首选其当前位置（分数为 500）。

资源监视

要为组启用资源监视，必须为组中每个要监视的资源分别配置监视。

了解如何使用首选群集管理工具创建组：

• Hawk2：过程 7.9 “添加资源组”

• crmsh：第 8.4.10 节 “配置群集资源组”

您可以为添加的每个资源定义选项。群集使用这些选项来决定资源的行为方式，它们会告知 CRM 如何对待特定的资源。可以使用 crm_resource --meta 命令或者按过程 7.5 “添加原始资源”中所述使用 Hawk2 来设置资源选项。

表 6.1︰ 原始资源选项 #

选项	描述	默认值
priority	如果不允许所有的资源都处于活动状态，群集会停止优先级较低的资源以便让优先级较高的资源处于活动状态。	0
target-role	群集应在哪种状态下尝试保留此资源？允许的值有：stopped、started、 master。	started
is-managed	是否允许群集启动和停止资源？允许的值：true、false。如果该值设置为 false，则资源状态仍为受监视，并且所有错误都会予以报告（这与将资源设置为 maintenance="true" 有所不同）。	true
maintenance	是否可以手动处理资源？允许的值：true、false。如果设置为 true，则所有资源将变为不受管理：群集将停止监视这些资源，因此不知道这些资源的状态。您可以根据需要停止或重启动群集资源，而无需等待群集尝试重启动它们。	false
resource-stickiness	资源留在所处位置的自愿程度如何？	calculated
migration-threshold	节点上的此资源应发生多少故障后才能确定该节点没有资格主管此资源？	INFINITY（已禁用）
multiple-active	如果群集发现资源在多个节点上处于活动状态，应执行什么操作？允许的值：block（将资源标记为未受管）、stop_only 和 stop_start。	stop_start
failure-timeout	在恢复为如同未发生故障一样正常工作（并允许资源返回它发生故障的节点）之前，需要等待几秒钟？	0（已禁用）
allow-migrate	允许对支持 migrate_to /migrate_from 操作的资源进行资源迁移。	false
remote-node	此资源定义的远程节点的名称。这会将资源作为远程节点启用，同时定义唯一的名称用于标识该远程节点。如果未设置其他参数，则此值还会被假定为要在 remote-port端口上连接到的主机名。 警告：使用唯一 ID 此值不得与任何现有资源 ID 或节点 ID 重复。	none（已禁用）
remote-port	guest 与 pacemaker_remote 建立连接时使用的自定义端口。	3121
remote-addr	当远程节点的名称不是 guest 的主机名时要连接到的 IP 地址或主机名。	remote-node（用作主机名的值）
remote-connect-timeout	待发 guest 连接在超时之前的等待时间。	60s

可为所有资源类的脚本指定参数，这些参数可确定脚本的行为方式和所控制的服务实例。如果资源代理支持参数，则可使用 crm_resource 命令或按过程 7.5 “添加原始资源”中所述使用 Hawk2 来添加这些参数。在 crm 命令行实用程序和 Hawk2 中，实例属性分别称为 params 和 Parameter。通过以 root 身份执行以下命令，可找到 OCF 脚本支持的实例属性列表：

root # crm ra info [class:[provider:]]resource_agent

或（无可选部分）：

root # crm ra info resource_agent

输出列出了所有支持的属性及其用途和默认值。

例如，命令

root # crm ra info IPaddr

返回以下输出：

Manages virtual IPv4 addresses (portable version) (ocf:heartbeat:IPaddr)
    
This script manages IP alias IP addresses
It can add an IP alias, or remove one.   
    
Parameters (* denotes required, [] the default):
    
ip* (string): IPv4 address
The IPv4 address to be configured in dotted quad notation, for example
"192.168.1.1".                                                        
    
nic (string, [eth0]): Network interface
The base network interface on which the IP address will be brought
online.                                                           
    
If left empty, the script will try and determine this from the    
routing table.                                                    
    
Do NOT specify an alias interface in the form eth0:1 or anything here;
rather, specify the base interface only.                              
    
cidr_netmask (string): Netmask
The netmask for the interface in CIDR format. (ie, 24), or in
dotted quad notation  255.255.255.0).                        
    
If unspecified, the script will also try to determine this from the
routing table.                                                     
    
broadcast (string): Broadcast address
Broadcast address associated with the IP. If left empty, the script will
determine this from the netmask.                                        
    
iflabel (string): Interface label
You can specify an additional label for your IP address here.
    
lvs_support (boolean, [false]): Enable support for LVS DR
Enable support for LVS Direct Routing configurations. In case a IP
address is stopped, only move it to the loopback device to allow the
local node to continue to service requests, but no longer advertise it
on the network.                                                       
    
local_stop_script (string): 
Script called when the IP is released
    
local_start_script (string): 
Script called when the IP is added
    
ARP_INTERVAL_MS (integer, [500]): milliseconds between gratuitous ARPs
milliseconds between ARPs                                         
    
ARP_REPEAT (integer, [10]): repeat count
How many gratuitous ARPs to send out when bringing up a new address
    
ARP_BACKGROUND (boolean, [yes]): run in background
run in background (no longer any reason to do this)
    
ARP_NETMASK (string, [ffffffffffff]): netmask for ARP
netmask for ARP - in nonstandard hexadecimal format.
    
Operations' defaults (advisory minimum):
    
start         timeout=90
stop          timeout=100
monitor_0     interval=5s timeout=20s

注意：组、克隆或多状态资源的实例属性

请注意，组、克隆和多状态资源没有实例属性。但是，任何实例属性集都将由组、克隆或多状态资源的子级继承。

默认情况下，群集将不会确保您的资源一直正常。要指示群集执行此操作，需要将监视操作添加到资源定义中。可为所有类或资源代理添加监视操作。有关更多信息，请参见第 6.4 节 “资源监视”。

资源的超时值会受以下参数的影响：

注意：值的优先级

如果为资源定义了特定值，则该值优先于全局默认值。资源的特定值也优先于在资源模板中定义的值。

获取超时值权限非常重要。将它们设置得太小会导致大量（不必要的）屏蔽操作，原因如下：

您可以使用 crmsh 和 Hawk2 调整操作的全局默认值并设置任何特定的超时值。确定和设置超时值的最佳实践如下所示：

提供三种不同的约束：

重要：约束与特定资源类型的限制

• 不要为资源组的成员创建共置约束，而是应该创建指向整个资源组的共置约束。其他所有类型的约束可安全地用于资源组的成员。

• 不要对包含克隆资源或者应用了多状态资源的资源使用任何约束。约束必须应用于克隆资源或多状态资源，不能应用于子资源。

crm(live)configure# primitive vip1 ocf:heartbeat:IPaddr2 params ip=192.168.1.5
crm(live)configure# primitive vip1 ocf:heartbeat:IPaddr2 params ip=192.168.1.6
crm(live)configure# location loc-alice { vip1 vip2 } inf: alice

<constraints>
     <rsc_colocation id="coloc-1" rsc="B" with-rsc="A" score="INFINITY"/>
     <rsc_colocation id="coloc-2" rsc="C" with-rsc="B" score="INFINITY"/>
     <rsc_colocation id="coloc-3" rsc="D" with-rsc="C" score="INFINITY"/>
</constraints>

<constraints>
    <rsc_colocation id="coloc-1" score="INFINITY" >
     <resource_set id="colocated-set-example" sequential="true">
      <resource_ref id="A"/>
      <resource_ref id="B"/>
      <resource_ref id="C"/>
      <resource_ref id="D"/>
     </resource_set>
    </rsc_colocation>
</constraints>

<constraints>
     <rsc_order id="order-1" first="A" then="B" />
     <rsc_order id="order-2" first="B" then="C" />
     <rsc_order id="order-3" first="C" then="D" />
</constraints>

<constraints>
     <rsc_order id="order-1">
     <resource_set id="ordered-set-example" sequential="true">
     <resource_ref id="A"/>
     <resource_ref id="B"/>
     <resource_ref id="C"/>
     <resource_ref id="D"/>
     </resource_set>
     </rsc_order>
</constraints>

定义约束时，还需要指定分数。各种分数是群集工作方式的重要组成部分。其实，从迁移资源到决定在已降级群集中停止哪些资源的整个过程是通过以某种方式操纵分数来实现的。分数按每个资源来计算，资源分数为负的任何节点都无法运行该资源。计算资源的分数后，群集会选择分数最高的节点。

INFINITY（无穷大）目前定义为 1,000,000。提高或降低分数需遵循以下三个基本规则：

定义资源约束时，需为每个约束指定一个分数。分数表示您指派给此资源约束的值。分数较高的约束先应用，分数较低的约束后应用。通过使用不同的分数为既定资源创建更多位置约束，可以指定资源要故障转移至的目标节点的顺序。

如果定义了资源模板（请参见第 6.3.4 节 “资源模板”），则可在以下类型的约束中引用该模板：

但是，共置约束不得包含多个对模板的引用。资源集不得包含对模板的引用。

在约束中引用的资源模板代表派生自该模板的所有原始资源。这意味着，约束将应用于引用资源模板的所有原始资源。在约束中引用资源模板是资源集的备用方式，它可以显著简化群集配置。有关资源集的细节，请参见过程 7.17 “为约束使用资源集”。

资源在出现故障时会自动重启动。如果在当前节点上无法实现此操作，或者此操作在当前节点上失败了 N 次，它将尝试故障转移到其他节点。每次资源失败时，其失败计数都会增加。您可以多次定义资源的故障次数（migration-threshold），在该值之后资源会迁移到新节点。如果群集中存在两个以上的节点，则特定资源故障转移的节点由 High Availability 软件选择。

但可以通过为资源配置一个或多个位置约束和一个 migration-threshold 来指定此资源将故障转移到的节点。

了解如何使用首选群集管理工具指定故障转移节点：

迁移阈值概念有两个异常，发生在资源启动失败或停止失败时：

有关配合首选群集管理工具使用迁移阈值和重置故障计数的详细信息，请参见：

当原始节点恢复联机并位于群集中时，资源可能会故障回复到该节点。为防止资源故障回复到之前运行它的节点，或者要指定让该资源故障回复到其他节点，请更改其资源粘性值。可以在创建资源时或之后指定资源粘性。

指定资源粘性值时请考虑以下含义：

并非所有资源都相等。某些资源（如 Xen guest）需要托管它们的节点满足其容量要求。如果所放置资源的总需求超过了提供的容量，则资源性能将降低（或甚至失败）。

要考虑此情况，可使用 High Availability Extension 指定以下参数：

了解如何使用首选群集管理工具配置这些设置：

如果节点有充足的可用容量来满足资源要求，则此节点将被视为此资源的有效节点。容量的性质对 High Availability Extension 而言完全无关紧要；它只是确保在将资源移到节点上之前满足资源的所有容量要求。

要手动配置资源要求和节点提供的容量，请使用利用率属性。可根据个人喜好命名利用率属性，并根据配置需要定义多个名称/值对。但是，属性值必须是整数。

如果将具有利用率属性的多个资源组合或设置共置约束，则 High Availability Extension 会考虑此情况。如有可能，资源将被放置到可以满足所有容量要求的节点上。

注意：组的利用率属性

无法直接为资源组设置利用率属性。但是，为了简化组的配置，可以使用组中所有资源所需的总容量添加利用率属性。

High Availability Extension 还提供了方法来自动检测和配置节点容量和资源要求：

NodeUtilization 资源代理检查节点的容量（与 CPU 和 RAM 有关）。要配置自动检测，请创建类、提供程序和类型如下的克隆资源：ocf:pacemaker:NodeUtilization。每个节点上应都有一个克隆实例在运行。实例启动后，利用率部分将添加到节点的 CIB 配置中。

为了自动检测资源的最低要求（与 RAM 和 CPU 有关），Xen 资源代理已得到改善。启动 Xen 资源后，它将反映 RAM 和 CPU 的使用情况。利用率属性将自动添加到资源配置中。

注意：适用于 Xen 和 libvirt 的不同资源代理

ocf:heartbeat:Xen 资源代理不应与 libvirt 搭配使用，因为 libvirt 需要能够修改计算机说明文件。

对于 libvirt，请使用 ocf:heartbeat:VirtualDomain 资源代理。

除了检测最低要求外，High Availability Extension 还允许通过 VirtualDomain 资源代理监视当前的利用率。它检测虚拟机的 CPU 和 RAM 使用情况。要使用此功能，请配置类、提供程序和类型如下的资源：ocf:heartbeat:VirtualDomain。可以使用以下实例属性： autoset_utilization_cpu 和 autoset_utilization_hv_memory。两者都默认为 true。这将在每个监视周期中更新 CIB 中的利用率值。

与手动或自动配置容量和要求无关，放置策略必须使用 placement-strategy 属性（在全局群集选项中）指定。可用值如下：

注意：配置资源优先级

可用的放置策略是最佳方法 - 它们不使用复杂的启发式解析程序即可始终实现最佳分配结果。确保正确设置资源优先级，以便首选调度最重要的资源。

node alice utilization memory="4000"
node bob utilization memory="4000"
node  charlie utilization memory="4000"
primitive xenA ocf:heartbeat:Xen utilization hv_memory="3500" \
     params xmfile="/etc/xen/shared-vm/vm1"
     meta priority="10" 
primitive xenB ocf:heartbeat:Xen utilization hv_memory="2000" \
     params xmfile="/etc/xen/shared-vm/vm2"
     meta priority="1"
primitive xenC ocf:heartbeat:Xen utilization hv_memory="2000" \
     params xmfile="/etc/xen/shared-vm/vm3"
     meta priority="1"
primitive xenD ocf:heartbeat:Xen utilization hv_memory="1000" \
     params xmfile="/etc/xen/shared-vm/vm4"
     meta priority="5"
property placement-strategy="minimal"

标记是 Pacemaker 中最近新增的功能。使用标记可以一次性引用多个资源，而无需在这些资源之间创建任何共置或顺序关系。此功能十分适用于对概念上相关的资源进行分组。例如，如果有多个资源与某个数据库相关，您可以创建一个名为 databases 的标记，并将与该数据库相关的所有资源都添加到此标记。这样，只需使用一条命令就能停止或启动所有这些资源。

标记也可以用于约束。例如，loc-db-prefer 位置约束将应用到标记了 databases 的一组资源：

location loc-db-prefer databases 100: alice

了解如何使用首选群集管理工具创建标记：

虚拟机的监视可以通过 VM 代理来完成（只有在超级管理程序中出现 guest 时才可选择 VM 代理），或者通过从 VirtualDomain 或 Xen 代理调用外部脚本来完成。直到现在为止，仍只有通过在虚拟机中对高可用性堆栈进行完全设置才能实现更细化的监视。

通过提供对监视插件（以前称为 Nagios 插件）的支持，High Availability Extension 现在还可让您监视远程主机上的服务。您可以收集 guest 上的外部状态，而无需修改 guest 映像。例如，VM guest 可能会运行需要能够访问的 Web 服务或简单的网络资源。现在，有了 Nagios 资源代理，您就可以监视 guest 上的 Web 服务或网络资源。如果这些服务再也无法访问，High Availability Extension 将触发相应 guest 的重启或迁移操作。

如果您的 guest 依赖于某项服务（例如，guest 要使用 NFS 服务器），则这项服务可以是由群集管理的普通资源，也可以是使用 Nagios 资源进行监视的外部服务。

要配置 Nagios 资源，必须在主机上安装以下包：

必要时，YaST 或 Zypper 将解决对后续包的任何依赖性问题。

将监视插件配置为属于资源容器（通常是 VM）的资源便是其中一个典型用例。如果容器中有任何资源发生故障，则将重启该容器。有关配置示例，请参见例 6.10 “为监视插件配置资源”。或者，如果想使用 Nagios 资源代理通过网络监视主机或服务，还可将这些代理配置为普通资源。

primitive vm1 ocf:heartbeat:VirtualDomain \
    params hypervisor="qemu:///system" config="/etc/libvirt/qemu/vm1.xml" \
    op start interval="0" timeout="90" \
    op stop interval="0" timeout="90" \
    op monitor interval="10" timeout="30"
primitive vm1-sshd nagios:check_tcp \
    params hostname="vm1" port="22" \ 1
    op start interval="0" timeout="120" \ 2
    op monitor interval="10"
group g-vm1-and-services vm1 vm1-sshd \
    meta container="vm1" 3

group g-vm1-and-services vm1 vm1-sshd vm1-httpd \ 
     meta container="vm1" \ 
     params hostname="vm1"

使用 pacemaker_remote 服务可将高可用性群集扩展到虚拟节点或远程裸机计算机。这些虚拟节点或远程裸机无需运行群集堆栈就能成为群集的成员。

High Availability Extension 现在可以起动虚拟环境（KVM 和 LXC）以及驻留在这些虚拟环境中的资源，而无需虚拟环境运行 Pacemaker 或 Corosync。

对于同时要管理用作群集资源的虚拟机以及 VM 中驻留的资源的用例，您现在可以使用以下设置：

由于远程节点上未安装群集堆栈，因此这意味着：

您可以在 http://www.clusterlabs.org/doc/ 上的《Pacemaker Remote—Extending High Availability into Virtual Nodes》（Pacemaker 远程 - 将高可用性扩展到虚拟节点）中找到有关 remote_pacemaker 服务的更多信息，包括多个用例和详细的设置说明。

Hawk2 的顶层行显示以下条目：

群集管理员有时需要知道群集配置。Hawk2 可以 crm 外壳语法、XML 和图表形式显示当前配置。要查看 crm 外壳语法形式的群集配置，请在左侧导航栏中选择编辑配置并单击显示。要改为以原始 XML 显示配置，请单击 XML。单击示意图会以图表显示 CIB 中配置的节点和资源。它还会显示各资源之间的关系。

Hawk2 向导是设置简单资源（如虚拟 IP 地址或 SBD STONITH 资源）的便捷方式。对于包含多个资源的复杂配置（例如 DRBD 块设备或 Apache Web 服务器的资源配置）而言，这种方法也十分有用。向导会引导您完成所有配置步骤，并提供您需要输入的参数的相关信息。

图 7.2︰ Hawk2 - 用于 Apache Web 服务器的向导 #

要创建最基本类型的资源，请执行以下操作：

要创建大量具有类似配置的资源，定义资源模板是最简单的方式。定义后，便可在基元或特定类型的约束中引用它。有关功能及使用资源模板的详细信息，请参见第 6.5.3 节 “资源模板和约束”。

如果您之前创建了一个资源，可以随时根据需要调整参数、操作或元属性来编辑其配置。

重要：不支持无 STONITH 的配置

• 您必须为群集配置节点屏蔽机制。

• 全局群集选项 stonith-enabled 和 startup-fencing 必须设置为 true。如果您更改这些选项，将会失去支持。

默认情况下，全局群集选项 stonith-enabled 设置为 true。如果未定义任何 STONITH 资源，群集将拒绝启动任何资源。配置一个或多个 STONITH 资源以完成 STONITH 设置。要为 SBD、libvirt (KVM/Xen) 或 vCenter/ESX 服务器添加 STONITH 资源，最简单的方式就是使用 Hawk2 向导（请参见第 7.5.2 节 “使用向导添加资源”）。虽然 STONITH 资源的配置过程与其他资源类似，但它们的行为在某些方面有所不同。有关细节，请参见第 10.3 节 “STONITH 资源和配置”。

要完成屏蔽配置，请添加约束。有关详细信息，请参见第 10 章 “屏障和 STONITH”。

某些群集资源依赖于其他组件或资源，这些资源要求每个组件或资源按特定顺序启动，并在同一服务器上运行。为简化此配置，SUSE Linux Enterprise High Availability Extension 支持使用组。

资源组包含一组需要放在一起并按顺序启动和按相反顺序停止的资源。有关资源组的示例以及组及其属性的更多信息，请参见第 6.3.5.1 节 “组”。

注意：空组

组必须包含至少一个资源，否则配置无效。创建组时，Hawk2 允许您创建多个原始资源并将它们添加到组中。有关细节，请参见第 7.7.1 节 “编辑资源和组”。

图 7.6︰ Hawk2 － 资源组 #

如果希望特定资源同时在群集中的多个节点上运行，请将这些资源配置为克隆。一个可配置为克隆的资源的例子就是要作为克隆使用的 OCFS2 之类群集文件系统的 ocf:pacemaker:controld任何普通的资源或资源组均可克隆。克隆资源的实例的行为方式可能一样。但其配置也可能有所不同，具体取决于克隆资源所在的节点。

有关可用类型的资源克隆的概述，请参见第 6.3.5.2 节 “克隆资源”。

注意：克隆资源的子资源

克隆资源可以包含原始资源或组作为子资源。在 Hawk2 中，创建克隆资源时不能创建或修改子资源。添加克隆资源之前，先创建子资源并根据需要配置它们。有关细节，请参见第 7.5.3 节 “添加简单资源”或第 7.5.7 节 “添加群集资源组”。

图 7.7︰ Hawk2 － 克隆资源 #

多状态资源是克隆的特殊形式。它们允许实例处于两种运行模式中的其中一种模式（称为主动/被动、主要/次要、主/从）。多状态资源只能包含一个组或一个常规资源。

配置资源监视或约束时，多状态资源与简单资源具有不同的要求。有关细节，请参见 http://www.clusterlabs.org/doc/ 上的《Pacemaker Explained》（Pacemaker 配置说明）。请参见“Multi-state - Resources That Have Multiple Modes”（多状态 - 具有多个节点的资源）一节。

注意：多状态资源的子资源

多状态资源可以包含原始资源或组作为子资源。在 Hawk2 中，在创建多状态资源时不能创建或修改子资源。添加多状态资源之前，先创建子资源并根据需要配置它们。有关细节，请参见第 7.5.3 节 “添加简单资源”或第 7.5.7 节 “添加群集资源组”。

图 7.8︰ Hawk2 － 多状态资源 #

使用标记可以一次性引用多个资源，而无需在这些资源之间创建任何共置或顺序关系。您可以使用标记对概念上相关的资源分组。例如，如果您有多个资源与某个数据库相关，可以将所有相关的资源添加到名为数据库的标记中。

属于一个标记的所有资源都可通过一个命令启动或停止。

图 7.9︰ Hawk2 - 标记 #

High Availability Extension 不仅会检测到节点故障，还会检测到节点上各资源的失败情况。如果要确保资源正在运行，则为其配置资源监视。通常，资源仅会在运行时受到群集的监视。但是，为了检测并发违例，还需为停止的资源配置监视。要进行资源监视，请指定超时和/或启动延迟值及间隔。间隔告诉 CRM 检查资源状态的频率。您还可以设置特定参数，如为 start 或 stop 操作设置 timeout。

有关在资源监视程序检测到故障时将发生的流程，请参见第 6.4 节 “资源监视”。

要查看资源故障，请切换到 Hawk2 中的状态屏幕，然后选择您感兴趣的资源。在操作列中，单击向下箭头图标并选择最近的事件。随后打开的对话框会列出对资源执行的最近操作。失败事件显示为红色。要查看资源细节，请单击操作列中的放大镜图标。

图 7.10︰ Hawk2 - 资源细节 #

位置约束决定资源可在哪个节点上运行、优先在哪个节点上运行，或者不能在哪个节点上运行。将与某个数据库相关的所有资源存放在同一个节点上，就是位置约束的一个示例。

图 7.11︰ Hawk2 － 位置约束 #

共置约束告知群集哪些资源可以或不可以在一个节点上一起运行。由于共置约束定义了资源之间的依赖性，因此您至少需要两个资源才能创建共置约束。

图 7.12︰ Hawk2 － 共置约束 #

顺序约束定义启动和停止资源的顺序。由于顺序约束定义了资源之间的依赖性，因此您至少需要两个资源才能创建顺序约束。

图 7.13︰ Hawk2 － 顺序约束 #

可以使用资源集作为定义约束的备用形式。它们有与组相同的排序语义。

有关配置约束的更多信息以及顺序和共置基本概念的详细背景信息，请参见 http://www.clusterlabs.org/doc/ 上提供的文档：

资源在出现故障时会自动重启动。如果在当前节点上无法实现此操作，或者此操作在当前节点上失败了 N 次，它将尝试故障转移到其他节点。您可以定义资源的故障次数（migration-threshold），在该值之后资源会迁移到新节点。如果群集中存在两个以上的节点，则由 High Availability 软件选择特定资源故障转移的节点。

可按照以下步骤指定资源将故障转移到的特定节点：

例 6.8 “迁移阈值 - 流程”中演示了有关迁移阈值和失败计数的流程。

您可以随时手动清理资源的失败计数，而不是让资源的失败计数自动失效。有关详细信息，请参见第 7.7.3 节 “清理资源”。

当原始节点恢复联机并位于群集中时，资源可能会故障回复到该节点。要防止这种情况发生或指定其他节点供资源故障回复，请更改资源的粘性值。您可以在创建资源时或之后指定资源粘性。

有关不同资源粘性值的含义，请参见第 6.5.5 节 “故障回复节点”。

并非所有资源都相等。某些资源（如 Xen guest）需要托管它们的节点满足其容量要求。如果资源的放置导致其组合需求超过了提供的容量，则资源的性能会降低，或者失败。

要考虑此情况，可使用 High Availability Extension 指定以下参数：

有关更多细节和配置示例，请参见第 6.5.6 节 “根据资源负载影响放置资源”。

利用率属性用于配置资源的要求及节点提供的容量。您需要先配置节点的容量，然后才能配置资源所需的容量。

配置节点提供的容量以及资源所需的容量之后，请在全局群集选项中设置布局策略。否则，容量配置不起作用。可使用多个策略来调度负载：例如，可以将负载集中到尽可能少的节点上，或使其均匀分布在所有可用节点上。有关更多信息，请参见第 6.5.6 节 “根据资源负载影响放置资源”。

如果您需要编辑现有资源，请转到状态屏幕。在操作列中，单击要修改的资源或组旁边的向下箭头图标，然后选择编辑。

编辑屏幕即会显示。如果要编辑原始资源，则以下操作可用：

如果要编辑组，则以下操作可用：

启动群集资源之前，应确保资源设置正确。例如，如果使用 Apache 服务器作为群集资源，请先设置 Apache 服务器。完成 Apache 配置，然后再启动群集中的相应资源。

注意：不要处理由群集管理的服务

通过 High Availability Extension 管理资源时，不得以其他方式（例如，在群集外手动或者引导时或重引导时）启动或停止该资源。High Availability Extension 软件负责所有服务的启动或停止操作。

但如果要检查服务是否配置正确，可手动启动该服务，不过请确保在 High Availability Extension 接管前再次停止该服务。

要对群集当前管理的资源进行干预，请先将资源设置为维护模式。有关细节，请参见过程 16.5 “使用 Hawk2 将资源置于维护模式”。

使用 Hawk2 创建资源时，可通过 target-role 元属性设置其初始状态。如果将其值设置为 stopped，则该资源在创建后不会自动启动。

如果资源失败，它会自动重启动，但每次失败都会增加资源的失败计数。

如果已为资源设置 migration-threshold，当失败次数达到迁移阈值时，节点将不再运行该资源。

资源的失败计数可以通过系统自动重设置（通过设置资源的 failure-timeout 选项），也可如下所述手动重设置。

如果需要从群集中删除资源，请遵循以下过程以免出现配置错误：

如第 7.6.6 节 “指定资源故障转移节点”中所述，如果软件或硬件发生故障，群集会根据可自定义的特定参数（例如，迁移阈值或资源粘性），自动进行资源故障转移（迁移）。您还可以手动将资源迁移到群集中的其他节点。或者，可以将它移出当前节点，并让群集决定要将它放置到哪个位置。

要使资源重新移回，请按如下操作：

有关详细信息，请参见 http://www.clusterlabs.org/doc/ 上的《Pacemaker Explained》（Pacemaker 配置说明）。请参见“Resource Migration”（资源迁移）一节。

要监视单个群集，请使用状态屏幕。当您登录 Hawk2 后，默认会显示状态屏幕。右上角的图标会一目了然地显示群集状态。如需更多细节，请查看以下类别：

图 7.15︰ Hawk2 - 群集状态 #

要监视多个群集，请使用 Hawk2 仪表板。仪表板屏幕中显示的群集信息储存在服务器端。群集节点之间会同步这些信息（如果已配置群集节点之间的无口令 SSH 访问权限）。有关详细信息，请参见第 D.2 节 “配置无口令 SSH 帐户”。不过，运行 Hawk2 的计算机甚至不需要属于任何群集也可实现该目的，它可以是不相关的独立系统。

除了一般的 Hawk2 要求之外，还需要满足以下先决条件才能使用 Hawk2 监视多个群集：