High Availability Extension 支持下列方案：

群集最多可包含 32 个 Linux 服务器。使用 pacemaker_remote 可扩展群集使之突破此限制，包含更多的 Linux 服务器。如果群集内的一台服务器发生故障，则群集内的任何其他服务器均可重启动此服务器上的资源（应用程序、服务、IP 地址和文件系统）。

High Availability Extension 附带了 Corosync 消息交换和成员资格层以及 Pacemaker 群集资源管理器。使用 Pacemaker，管理员可持续监视其资源的运行状况和状态，并管理依赖项。可根据高度可配置的规则和策略，自动停止和启动服务。High Availability Extension 允许您根据适合您组织的特定应用程序和硬件基础体系结构对群集进行定制。基于时间的配置使服务可以在特定时间自动迁移回已修复的节点。

借助 High Availability Extension，您可以根据需要动态地指派和重指派服务器储存。它支持光纤通道或 iSCSI 储存区域网络 (SAN)。它还支持共享磁盘系统，但这不是必需的。SUSE Linux Enterprise High Availability Extension 还附带有群集感知文件系统 (OCFS2) 和群集式逻辑卷管理器（群集式 LVM2）。如需复制数据，可使用 DRBD* 将高可用性服务的数据从群集的活动节点镜像到其备用节点。此外，SUSE Linux Enterprise High Availability Extension 还支持 CTDB（Cluster Trivial Database，群集普通数据库），这是一种 Samba 群集技术。

SUSE Linux Enterprise High Availability Extension 支持物理和虚拟 Linux 服务器的混合群集。SUSE Linux Enterprise Server 15 SP3 随附了 Xen（一种开放源代码虚拟化超级管理程序）和 KVM（基于内核的虚拟机）。KVM 是一款适用于 Linux 的虚拟化软件，基于硬件虚拟化扩展。High Availability Extension 中的群集资源管理器能够识别、监视和管理虚拟服务器以及物理服务器上正在运行的服务。Guest 系统可作为服务由群集管理。

SUSE Linux Enterprise High Availability Extension 已扩展，可以支持下列不同的地理方案。Geo Clustering for SUSE Linux Enterprise High Availability Extension 支持分散在不同地理位置的群集（Geo 群集）。

各个群集节点之间的地理距离越大，可能影响群集所提供服务的高可用性的因素就越多。网络延迟、有限带宽以及对储存的访问权是远距离群集面临的主要难题。

SUSE Linux Enterprise High Availability Extension 包含大量资源代理来管理资源，如 Apache、IPv4 和 IPv6 等。它还为通用的第三方应用程序（例如 IBM WebSphere Application Server）提供了资源代理。如需产品随附的 Open Cluster Framework (OCF) 资源代理的概述，请根据第 8.1.3 节 “显示有关 OCF 资源代理的信息”中所述使用 crm ra 命令。

High Availability Extension 附带有一套强大的工具。可使用这些工具进行基本的群集安装和设置，并能实现高效配置和管理：

High Availability Extension 采用分层式体系结构。图 1.6 “体系结构”说明了不同的层及其相关的组件。

图 1.6︰ 体系结构 #

 

pacemakerd 守护程序将会启动并监视其他所有相关的守护程序。用于协调所有操作的守护程序 pacemaker-controld 在每个群集节点上都有一个实例。Pacemaker 通过选出其中一个实例作为主实例，实现所有群集决策制定的集中化。如果选出的 pacemaker-controld 守护程序发生失败，则会建立一个新的守护程序。

群集中执行的许多操作都将导致整个群集的更改。这些操作包括添加或删除群集资源、更改资源约束等等。了解执行这样的操作时群集中会发生的状况是很重要的。

例如，假设您要添加一个群集 IP 地址资源。为此，可以使用 crm 外壳或 Web 界面来修改 CIB。不需要在 DC 上执行操作。您可以在群集中的任何节点上使用以上任一工具，更改将会中继到 DC。然后 DC 将把此 CIB 更改复制到所有群集节点。

随后，pacemaker-schedulerd 将会根据 CIB 中的信息，计算群集的理想状态以及如何实现该状态。它会将指令列表传递给 DC。DC 通过消息交换/基础结构层发送命令，这些命令将由其他节点上的 pacemaker-controld 对等体接收。每个对等体使用自身的本地资源代理执行器（作为 pacemaker-execd 实现）来执行资源修改。pacemaker-execd 不是群集感知的，它直接与资源代理交互。

所有同级节点将操作的结果报告给 DC。一旦 DC 得出所有必需操作在群集中都已成功执行的结论，群集将回到空闲状态并等待后续事件。如果有任何操作未按计划执行，则会再次调用 pacemaker-schedulerd，CIB 中将记录新信息。

在某些情况下，可能需要关闭节点以保护共享数据或完成资源恢复。在 Pacemaker 群集中，节点级别屏蔽的实现为 STONITH。为此，Pacemaker 随附了一个屏蔽子系统 pacemaker-fenced。必须将 STONITH 设备配置为群集资源（使用特定的屏蔽代理），因为这样可以监视屏蔽设备。当客户端检测到故障时，会将一个请求发送到 pacemaker-fenced，后者再执行屏蔽代理来关闭节点。

要成功使用 Csync2 同步文件，必须满足以下要求：

因此，在首次运行 Csync2 之前，需要做好以下准备：

有关 Csync2 选项的更多信息，请运行

csync2 -help

注意：发生任何更改后推送同步

Csync2 仅推送更改。它不会在计算机之间连续同步文件。

每次更新需要同步的文件时，都必须将更改推送到其他计算机：在您进行了更改的计算机上运行 csync2  -xv。如果对未更改文件的任何其他计算机运行此命令，则不会执行任何操作。

本节内容适用于以下场合：

如果您的群集仍旧基于早期的产品版本而不是上面所列的版本，请先将它升级到 SLES 和 SLE HA 的某个版本，而该版本可用作升级到所需目标版本的源。

注意：升级 CIB 语法版本

有时，新功能只能在最新的 CIB 语法版本中使用。升级到新的产品版本时，默认不会升级 CIB 语法版本。

1. 使用以下命令检查版本：

   cibadmin -Q | grep validate-with

   Copy

2. 使用以下命令升级到最新的 CIB 语法版本：

   root # cibadmin --upgrade --force

   Copy

过程 5.2︰ 从产品版本 12 升级到 15：群集脱机升级 #

 

重要：从头开始安装

如果您决定从头开始安装群集节点（而不是升级它们），请参见第 2.2 节 “软件需求”以获取 SUSE Linux Enterprise High Availability Extension 15 SP3 所需的模块列表。有关模块、扩展及相关产品的详细信息，请参见 SUSE Linux Enterprise Server 15 的发行说明。可从 https://www.suse.com/releasenotes/ 访问这些文档。

1. 在开始脱机升级到 SUSE Linux Enterprise High Availability Extension 15 之前，请如注意：升级 CIB 语法版本中所述手动升级当前群集中的 CIB 语法。

2. 登录到每个群集节点，并使用以下命令停止群集堆栈：

   root # crm cluster stop

   Copy

3. 将每个群集节点都升级到 SUSE Linux Enterprise Server 和 SUSE Linux Enterprise High Availability Extension 的所需目标版本 — 请参见第 5.2.1 节 “SLE HA 和 SLE HA Geo 支持的升级路径”。

4. 完成升级过程后，请登录每个节点，并引导装有 SUSE Linux Enterprise Server 和 SUSE Linux Enterprise High Availability Extension 升级版的每个节点。

5. 如果您使用群集 LVM，则需要从 clvmd 迁移到 lvmlockd。请参见 lvmlockd 的手册页中的 changing clvm VG to lockd VG（将 clvm VG 更改为 lockd VG）部分，另请参见第 22.4 节 “从镜像 LV 联机迁移到群集 MD”。

6. 使用以下命令启动群集堆栈：

   root # crm cluster start

   Copy

7. 使用 crm status 或 Hawk2 检查群集状态。

本节内容适用于以下场合：

根据情况使用以下其中一个过程：

警告：活动的群集堆栈

在开始升级某个节点之前，请停止该节点上的群集堆栈。

如果节点上的群集资源管理器在软件更新期间处于活动状态，可能会导致活动的节点被屏蔽等结果。

重要：群集滚动升级的时间限制

只有在将所有群集节点都升级到最新产品版本之后，最新产品版本提供的新功能才可用。在群集滚动升级期间，只有较短的一段时间支持混合版本群集升级。请在一周内完成群集滚动升级。

当所有联机节点运行的都是升级的版本后，其他使用旧版本的节点不升级就无法（重新）加入群集。

重要：滚动升级的时间限制

只有在将所有群集节点都升级到最新产品版本之后，最新产品版本提供的新功能才可用。对于采用混合版本的群集，其在滚动升级期间受支持的时间非常短暂。请在一周内完成滚动升级。

如果检测到您的群集节点有不同的 CRM 版本，Hawk2 状态屏幕还会显示一条警告。

除了就地升级之外，许多客户更喜欢进行全新安装，即使是要升级到下一个服务包时也是如此。下面的过程显示双节点群集（包含节点 alice 和 bob）升级到下一个服务包 (SP) 的情况：

全局群集选项控制群集在遇到特定情况时的行为方式。它们被分成若干组，可通过 Hawk2 和 crm 外壳之类的群集管理工具来查看和修改。

通常可保留预定义值。但为了使群集的关键功能正常工作，需要在进行基本群集设置后调整以下参数：

此全局选项定义在群集分区不具有法定票数（分区不具有多数节点投票）时应执行的操作。

允许的值有：

此全局选项定义是否要应用屏蔽，以允许 STONITH 设备关闭发生故障的节点以及无法停止其资源的节点。默认情况下，此全局选项设置为 true，因为对于常规的群集操作，有必要使用 STONITH 设备。根据默认值，如果未定义 STONITH 资源，则群集将拒绝启动任何资源。

如果出于任何原因而需要禁用屏蔽，请将 stonith-enabled 设置为 false，但请注意，这会影响产品的支持状态。此外，在 stonith-enabled="false" 的情况下，分布式锁管理器 (DLM) 等资源以及依赖于 DLM 的所有服务（例如 lvmlockd、GFS2 和 OCFS2）都将无法启动。

重要：不支持无 STONITH 的群集

不支持无 STONITH 资源的群集。

使用引导脚本时，Corosync 配置包含一个 quorum 段落，其中包含以下选项：

quorum {
   # Enable and configure quorum subsystem (default: off)
   # see also corosync.conf.5 and votequorum.5
   provider: corosync_votequorum
   expected_votes: 2
   two_node: 1
}

与 SUSE Linux Enterprise 11 相比，SUSE Linux Enterprise 12 中的 votequorum 子系统基于 Corosync 版本 2.x。这表示不得使用 no-quorum-policy=ignore 选项。

当设置了 two_node: 1 时，默认会自动启用 wait_for_all 选项。如果未启用 wait_for_all，则群集应在两个节点上并行启动。否则，第一个节点将对缺失的第二个节点执行启动屏蔽。

如果不使用双节点群集，我们强烈建议使用奇数数目的节点来构成 N 节点群集。在仲裁配置方面，可以使用以下选项：

如果要手动调整 /etc/corosync/corosync.conf，请使用以下设置：

quorum {
   provider: corosync_votequorum 1
   expected_votes: N 2
   wait_for_all: 1 3
}

必须先设置群集中的资源，然后才能使用它。例如，要使用 Apache 服务器作为群集资源，请先设置 Apache 服务器并完成 Apache 配置，然后才能在群集中启动相应的资源。

如果资源有特定环境要求，请确保这些要求已得到满足并且在所有群集节点上均相同。这种配置不由 High Availability Extension 管理。您必须自行管理。

注意：不要操作由群集管理的服务

使用 High Availability Extension 管理资源时，不得以其他方式（在群集外，例如手动或在引导时或重引导时）启动或停止同一资源。High Availability Extension 软件负责所有服务的启动或停止操作。

如果当服务已在群集控制下运行后您需要执行测试或维护任务，请确保先将资源、节点或整个群集置于维护模式，然后再进行手动处理。有关详细信息，请参见第 17.2 节 “用于维护任务的不同选项”。

配置群集中的资源后，请使用群集管理工具手动启动、停止、清理、删除或迁移资源。有关如何使用首选群集管理工具执行此操作的细节：

重要：资源 ID 和节点名称

群集资源和群集节点的名称应该不同。否则 Hawk2 将会失败。

对于添加的每个群集资源，需要定义资源代理需遵守的标准。资源代理提取它们提供的服务并显示群集的确切状态，以使群集对其管理的资源不作确答。群集依赖于资源代理在收到启动、停止或监视命令时作出相应反应。

通常，资源代理的形式为外壳脚本。High Availability Extension 支持以下类别的资源代理：

随 High Availability Extension 提供的代理已写入 OCF 规范。

可创建以下类型的资源：

如果希望创建具有类似配置的多个资源，则定义资源模板是最简单的方式。定义后，就可以在基元资源或特定类型的约束中引用该模板，请参见第 6.5.3 节 “资源模板和约束”。

如果在原始资源中引用了模板，则该原始资源将继承在模板中定义的所有操作、实例属性（参数）、元属性和利用率属性。此外，还可以为原始资源定义特定的操作或属性。如果在模板和原始资源中都定义了以上内容，则原始资源中定义的值将优先于模板中定义的值。

了解如何使用首选群集配置工具定义资源模板：

原始资源是最简单的一种资源，易于配置，不过您的群集配置可能还需要更为高级的资源类型，如组、克隆资源或可升级克隆资源。

6.3.5.1 组 #

 

某些群集资源依赖于其他组件或资源，它们要求每个组件或资源都按特定顺序启动并在同一服务器上与它所依赖的资源一起运行。要简化此配置，可以使用群集资源组。

例 6.3︰ Web 服务器的资源组 #

 

资源组示例可以是需要 IP 地址和文件系统的 Web 服务器。在本例中，每个组件都是组成群集资源组的一个单独资源。资源组将在一台或多台服务器上运行。在发生软件或硬件故障时，资源组会将故障转移到群集中的另一台服务器，这一点与单个群集资源类似。

图 6.1︰ 组资源 #

 

组具有以下属性：

启动和停止

资源按其显示顺序启动并按相反顺序停止。

相关性

如果组中某个资源在某处无法运行，则该组中位于其之后的任何资源都不允许运行。

内容

组可能仅包含一些原始群集资源。组必须包含至少一个资源，否则配置无效。要引用组资源的子级，请使用子级 ID 而不是组 ID。

限制

尽管在约束中可以引用组的子代，但通常倾向于使用组的名称。

粘性

粘性在组中可以累加。每个活动的组成员可以将其粘性值累加到组的总分中。因此，如果 resource-stickiness 的默认值是 100，且组中有 7 个成员（其中 5 个成员处于活动状态），那么整个组首选其当前位置（分数为 500）。

资源监视

要为组启用资源监视，必须为组中每个要监视的资源分别配置监视。

了解如何使用首选群集管理工具创建组：

• Hawk2：过程 7.9 “添加资源组”

• crmsh：第 8.3.10 节 “配置群集资源组”

您可以为添加的每个资源定义选项。群集使用这些选项来决定资源的行为方式，它们会告知 CRM 如何对待特定的资源。可以使用 crm_resource --meta 命令或者按过程 7.5 “添加原始资源”中所述使用 Hawk2 来设置资源选项。

表 6.1︰ 原始资源选项 #

 

选项	说明	默认值
priority	如果不允许所有的资源都处于活动状态，群集会停止优先级较低的资源以便让优先级较高的资源处于活动状态。	0
target-role	群集应在哪种状态下尝试保留此资源？允许的值有：stopped、started、 master。	started
is-managed	是否允许群集启动和停止资源？允许的值：true、false。如果该值设置为 false，则资源的状态仍受监视，并会报告任何故障。这与将资源设置为 maintenance="true" 的情况完全不同。	true
maintenance	是否可以手动处理资源？允许的值：true、false。如果设置为 true，则所有资源将变为不受管理：群集将停止监视这些资源，因此不知道这些资源的状态。您可以根据需要停止或重启动群集资源，而无需等待群集尝试重启动它们。	false
resource-stickiness	资源留在所处位置的自愿程度如何？	calculated
migration-threshold	节点上的此资源应发生多少故障后才能确定该节点没有资格主管此资源？	INFINITY（已禁用）
multiple-active	如果群集发现资源在多个节点上处于活动状态，应执行什么操作？允许的值：block（将资源标记为未受管）、stop_only 和 stop_start。	stop_start
failure-timeout	在恢复为如同未发生故障一样正常工作（并允许资源返回它发生故障的节点）之前，需要等待几秒钟？	0（已禁用）
allow-migrate	允许对支持 migrate_to/migrate_from 操作的资源进行资源迁移。	false
remote-node	此资源定义的远程节点的名称。这会将资源作为远程节点启用，同时定义唯一的名称用于标识该远程节点。如果未设置其他参数，则此值还将作为要在 remote-port 端口连接的主机名。 警告：使用唯一 ID 此值不得与任何现有资源 ID 或节点 ID 重复。	none（已禁用）
remote-port	guest 与 pacemaker_remote 建立连接时使用的自定义端口。	3121
remote-addr	当远程节点的名称不是 guest 的主机名时要连接到的 IP 地址或主机名。	remote-node（用作主机名的值）
remote-connect-timeout	待发 guest 连接在超时之前的等待时间。	60s

可为所有资源类的脚本指定参数，这些参数可确定脚本的行为方式和所控制的服务实例。如果资源代理支持参数，则可使用 crm_resource 命令或按过程 7.5 “添加原始资源”中所述使用 Hawk2 来添加这些参数。在 crm 命令行实用程序和 Hawk2 中，实例属性分别称为 params 和 Parameter。通过以 root 身份执行以下命令，可找到 OCF 脚本支持的实例属性列表：

root # crm ra info [class:[provider:]]resource_agent

或（无可选部分）：

root # crm ra info resource_agent

输出列出了所有支持的属性及其用途和默认值。

例如，命令

root # crm ra info IPaddr

返回以下输出：

Manages virtual IPv4 addresses (portable version) (ocf:heartbeat:IPaddr)
    
This script manages IP alias IP addresses
It can add an IP alias, or remove one.   
    
Parameters (* denotes required, [] the default):
    
ip* (string): IPv4 address
The IPv4 address to be configured in dotted quad notation, for example
"192.168.1.1".                                                        
    
nic (string, [eth0]): Network interface
The base network interface on which the IP address will be brought
online.                                                           
    
If left empty, the script will try and determine this from the    
routing table.                                                    
    
Do NOT specify an alias interface in the form eth0:1 or anything here;
rather, specify the base interface only.                              
    
cidr_netmask (string): Netmask
The netmask for the interface in CIDR format. (ie, 24), or in
dotted quad notation  255.255.255.0).                        
    
If unspecified, the script will also try to determine this from the
routing table.                                                     
    
broadcast (string): Broadcast address
Broadcast address associated with the IP. If left empty, the script will
determine this from the netmask.                                        
    
iflabel (string): Interface label
You can specify an additional label for your IP address here.
    
lvs_support (boolean, [false]): Enable support for LVS DR
Enable support for LVS Direct Routing configurations. In case a IP
address is stopped, only move it to the loopback device to allow the
local node to continue to service requests, but no longer advertise it
on the network.                                                       
    
local_stop_script (string): 
Script called when the IP is released
    
local_start_script (string): 
Script called when the IP is added
    
ARP_INTERVAL_MS (integer, [500]): milliseconds between gratuitous ARPs
milliseconds between ARPs                                         
    
ARP_REPEAT (integer, [10]): repeat count
How many gratuitous ARPs to send out when bringing up a new address
    
ARP_BACKGROUND (boolean, [yes]): run in background
run in background (no longer any reason to do this)
    
ARP_NETMASK (string, [ffffffffffff]): netmask for ARP
netmask for ARP - in nonstandard hexadecimal format.
    
Operations' defaults (advisory minimum):
    
start         timeout=90
stop          timeout=100
monitor_0     interval=5s timeout=20s

注意：组、克隆或可升级克隆的实例属性

请注意，组、克隆和可升级克隆资源没有实例属性。但是，组、克隆或可升级克隆的子级会继承任何实例属性集。

默认情况下，群集将不会确保您的资源一直正常。要指示群集执行此操作，需要将监视操作添加到资源定义中。可为所有类或资源代理添加监视操作。有关详细信息，请参见第 6.4 节 “资源监视”。

资源的超时值会受以下参数的影响：

注意：值的优先级

如果为资源定义了特定值，则该值优先于全局默认值。资源的特定值也优先于在资源模板中定义的值。

获取超时值权限非常重要。将它们设置得太小会导致大量（不必要的）屏蔽操作，原因如下：

您可以使用 crmsh 和 Hawk2 调整操作的全局默认值并设置任何特定的超时值。确定和设置超时值的最佳实践如下所示：

提供三种不同的约束：

重要：约束与特定资源类型的限制

• 不要为资源组的成员创建共置约束，而是应该创建指向整个资源组的共置约束。其他所有类型的约束可安全地用于资源组的成员。

• 不要对包含克隆资源或者应用了可升级克隆资源的资源使用任何约束。约束必须应用于克隆资源或可升级克隆资源，而不能应用于子资源。

crm(live)configure# primitive vip1 ocf:heartbeat:IPaddr2 params ip=192.168.1.5
crm(live)configure# primitive vip2 ocf:heartbeat:IPaddr2 params ip=192.168.1.6
crm(live)configure# location loc-alice { vip1 vip2 } inf: alice

<constraints>
     <rsc_colocation id="coloc-1" rsc="B" with-rsc="A" score="INFINITY"/>
     <rsc_colocation id="coloc-2" rsc="C" with-rsc="B" score="INFINITY"/>
     <rsc_colocation id="coloc-3" rsc="D" with-rsc="C" score="INFINITY"/>
</constraints>

<constraints>
    <rsc_colocation id="coloc-1" score="INFINITY" >
     <resource_set id="colocated-set-example" sequential="true">
      <resource_ref id="A"/>
      <resource_ref id="B"/>
      <resource_ref id="C"/>
      <resource_ref id="D"/>
     </resource_set>
    </rsc_colocation>
</constraints>

<constraints>
     <rsc_order id="order-1" first="A" then="B" />
     <rsc_order id="order-2" first="B" then="C" />
     <rsc_order id="order-3" first="C" then="D" />
</constraints>

<constraints>
     <rsc_order id="order-1">
     <resource_set id="ordered-set-example" sequential="true">
     <resource_ref id="A"/>
     <resource_ref id="B"/>
     <resource_ref id="C"/>
     <resource_ref id="D"/>
     </resource_set>
     </rsc_order>
</constraints>

定义约束时，还需要指定分数。各种分数是群集工作方式的重要组成部分。其实，从迁移资源到决定在已降级群集中停止哪些资源的整个过程是通过以某种方式操纵分数来实现的。分数按每个资源来计算，资源分数为负的任何节点都无法运行该资源。计算资源的分数后，群集会选择分数最高的节点。

INFINITY（无穷大）目前定义为 1,000,000。提高或降低分数需遵循以下三个基本规则：

定义资源约束时，需为每个约束指定一个分数。分数表示您指派给此资源约束的值。分数较高的约束先应用，分数较低的约束后应用。通过使用不同的分数为既定资源创建更多位置约束，可以指定资源要故障转移至的目标节点的顺序。

如果定义了资源模板（请参见第 6.3.4 节 “资源模板”），则可在以下类型的约束中引用该模板：

但是，共置约束不得包含多个对模板的引用。资源集不得包含对模板的引用。

在约束中引用的资源模板代表派生自该模板的所有原始资源。这意味着，约束将应用于引用资源模板的所有原始资源。在约束中引用资源模板是资源集的备用方式，它可以显著简化群集配置。有关资源集的细节，请参见过程 7.17 “在约束中使用资源集”。

资源在出现故障时会自动重启动。如果在当前节点上无法实现此操作，或者此操作在当前节点上失败了 N 次，它将尝试故障转移到其他节点。每次资源失败时，其失败计数都会增加。您可以定义资源的故障次数（migration-threshold），在该值之后资源会迁移到新节点。如果群集中存在两个以上的节点，则特定资源故障转移的节点由 High Availability 软件选择。

但可以通过为资源配置一个或多个位置约束和一个 migration-threshold 来指定此资源将故障转移到的节点。

了解如何使用首选群集管理工具指定故障转移节点：

迁移阈值概念有两个异常，发生在资源启动失败或停止失败时：

有关配合首选群集管理工具使用迁移阈值和重置故障计数的详细信息，请参见：

当原始节点恢复联机并位于群集中时，资源可能会故障回复到该节点。为防止资源故障回复到之前运行它的节点，或者要指定让该资源故障回复到其他节点，请更改其资源粘性值。可以在创建资源时或之后指定资源粘性。

指定资源粘性值时请考虑以下含义：

并非所有资源都相等。某些资源（如 Xen guest）需要托管它们的节点满足其容量要求。如果所放置资源的总需求超过了提供的容量，则资源性能将降低（或甚至失败）。

要考虑此情况，可使用 High Availability Extension 指定以下参数：

了解如何使用首选群集管理工具配置这些设置：

如果节点有充足的可用容量来满足资源要求，则此节点将被视为此资源的有效节点。容量的性质对 High Availability Extension 而言完全无关紧要；它只是确保在将资源移到节点上之前满足资源的所有容量要求。

要手动配置资源要求和节点提供的容量，请使用利用率属性。可根据个人喜好命名利用率属性，并根据配置需要定义多个名称/值对。但是，属性值必须是整数。

如果将具有利用率属性的多个资源组合或设置共置约束，则 High Availability Extension 会考虑此情况。如有可能，资源将被放置到可以满足所有容量要求的节点上。

注意：组的利用率属性

无法直接为资源组设置利用率属性。但是，为了简化组的配置，可以使用组中所有资源所需的总容量添加利用率属性。

High Availability Extension 还提供了方法来自动检测和配置节点容量和资源要求：

NodeUtilization 资源代理检查节点的容量（与 CPU 和 RAM 有关）。要配置自动检测，请创建类、提供程序和类型如下的克隆资源：ocf:pacemaker:NodeUtilization。每个节点上应都有一个克隆实例在运行。实例启动后，利用率部分将添加到节点的 CIB 配置中。

为了自动检测资源的最低要求（与 RAM 和 CPU 有关），Xen 资源代理已得到改善。启动 Xen 资源后，它将反映 RAM 和 CPU 的使用情况。利用率属性将自动添加到资源配置中。

注意：适用于 Xen 和 libvirt 的不同资源代理

ocf:heartbeat:Xen 资源代理不应与 libvirt 搭配使用，因为 libvirt 需要能够修改计算机说明文件。

对于 libvirt，请使用 ocf:heartbeat:VirtualDomain 资源代理。

除了检测最低要求外，High Availability Extension 还允许通过 VirtualDomain 资源代理监视当前的利用率。它检测虚拟机的 CPU 和 RAM 使用情况。要使用此功能，请配置类、提供程序和类型如下的资源：ocf:heartbeat:VirtualDomain。可用的实例属性如下：autoset_utilization_cpu 和 autoset_utilization_hv_memory。两者都默认为 true。这将在每个监视周期中更新 CIB 中的利用率值。

与手动或自动配置容量和要求无关，放置策略必须使用 placement-strategy 属性（在全局群集选项中）指定。可用值如下：

注意：配置资源优先级

可用的放置策略是最佳方法 - 它们不使用复杂的启发式解析程序即可始终实现最佳分配结果。确保正确设置资源优先级，以便首选调度最重要的资源。

node alice utilization memory="4000"
node bob utilization memory="4000"
node  charlie utilization memory="4000"
primitive xenA ocf:heartbeat:Xen utilization hv_memory="3500" \
     params xmfile="/etc/xen/shared-vm/vm1"
     meta priority="10" 
primitive xenB ocf:heartbeat:Xen utilization hv_memory="2000" \
     params xmfile="/etc/xen/shared-vm/vm2"
     meta priority="1"
primitive xenC ocf:heartbeat:Xen utilization hv_memory="2000" \
     params xmfile="/etc/xen/shared-vm/vm3"
     meta priority="1"
primitive xenD ocf:heartbeat:Xen utilization hv_memory="1000" \
     params xmfile="/etc/xen/shared-vm/vm4"
     meta priority="5"
property placement-strategy="minimal"

标记是 Pacemaker 中最近新增的功能。使用标记可以一次性引用多个资源，而无需在这些资源之间创建任何共置或顺序关系。此功能十分适用于对概念上相关的资源进行分组。例如，如果有多个资源与某个数据库相关，您可以创建一个名为 databases 的标记，并将与该数据库相关的所有资源都添加到此标记。这样，只需使用一条命令就能停止或启动所有这些资源。

标记也可以用于约束。例如，loc-db-prefer 位置约束将应用到标记了 databases 的一组资源：

location loc-db-prefer databases 100: alice

了解如何使用首选群集管理工具创建标记：

虚拟机的监视可以通过 VM 代理来完成（只有在超级管理程序中出现 guest 时才可选择 VM 代理），或者通过从 VirtualDomain 或 Xen 代理调用外部脚本来完成。直到现在为止，仍只有通过在虚拟机中对高可用性堆栈进行完全设置才能实现更细化的监视。

通过提供对监视插件（以前称为 Nagios 插件）的支持，High Availability Extension 现在还可让您监视远程主机上的服务。您可以收集 guest 上的外部状态，而无需修改 guest 映像。例如，VM guest 可能会运行需要能够访问的 Web 服务或简单的网络资源。现在，有了 Nagios 资源代理，您就可以监视 guest 上的 Web 服务或网络资源。如果这些服务再也无法访问，High Availability Extension 将触发相应 guest 的重启或迁移操作。

如果您的 guest 依赖于某项服务（例如，guest 要使用 NFS 服务器），则这项服务可以是由群集管理的普通资源，也可以是使用 Nagios 资源进行监视的外部服务。

要配置 Nagios 资源，必须在主机上安装以下软件包：

必要时，YaST 或 Zypper 将解决对后续软件包的任何依赖项问题。

将监视插件配置为属于资源容器（通常是 VM）的资源便是其中一个典型用例。如果容器中有任何资源发生故障，则将重启该容器。有关配置示例，请参见例 6.10 “为监视插件配置资源”。或者，若要使用 Nagios 资源代理通过网络监视主机或服务，还可将这些代理配置为普通资源。

primitive vm1 ocf:heartbeat:VirtualDomain \
    params hypervisor="qemu:///system" config="/etc/libvirt/qemu/vm1.xml" \
    op start interval="0" timeout="90" \
    op stop interval="0" timeout="90" \
    op monitor interval="10" timeout="30"
primitive vm1-sshd nagios:check_tcp \
    params hostname="vm1" port="22" \ 1
    op start interval="0" timeout="120" \ 2
    op monitor interval="10"
group g-vm1-and-services vm1 vm1-sshd \
    meta container="vm1" 3

group g-vm1-and-services vm1 vm1-sshd vm1-httpd \ 
     meta container="vm1" \ 
     params hostname="vm1"

使用 pacemaker_remote 服务可将高可用性群集扩展到虚拟节点或远程裸机计算机。这些虚拟节点或远程裸机无需运行群集堆栈就能成为群集的成员。

High Availability Extension 现在可以启动虚拟环境（KVM 和 LXC）以及驻留在这些虚拟环境中的资源，而无需虚拟环境运行 Pacemaker 或 Corosync。

对于同时要管理用作群集资源的虚拟机以及 VM 中驻留的资源的用例，您现在可以使用以下设置：

由于远程节点上未安装群集堆栈，因此这意味着：

Article “Pacemaker 远程快速入门”中介绍了有关 remote_pacemaker 服务的更多信息，包括多个用例和详细的设置说明。

Hawk2 的顶层行显示以下条目：

群集管理员有时需要知道群集配置。Hawk2 可以 crm 外壳语法、XML 和图表形式显示当前配置。要查看 crm 外壳语法形式的群集配置，请从左侧导航栏中选择配置 › 编辑配置，并单击显示。要改为以原始 XML 显示配置，请单击 XML。单击示意图会以图表显示 CIB 中配置的节点和资源。它还会显示各资源之间的关系。

Hawk2 向导是设置简单资源（如虚拟 IP 地址或 SBD STONITH 资源）的便捷方式。对于包含多个资源的复杂配置（例如 DRBD 块设备或 Apache Web 服务器的资源配置）而言，这种方法也十分有用。向导会引导您完成所有配置步骤，并提供您需要输入的参数的相关信息。

图 7.2︰ Hawk2 - Apache Web 服务器向导 #

 

要创建最基本类型的资源，请执行以下操作：

要创建大量具有类似配置的资源，定义资源模板是最简单的方式。定义后，便可在基元或特定类型的约束中引用它。有关功能及使用资源模板的详细信息，请参见第 6.5.3 节 “资源模板和约束”。

如果您之前创建了一个资源，可以随时根据需要调整参数、操作或元属性来编辑其配置。

重要：不支持无 STONITH 的配置

• 您必须为群集配置节点屏蔽机制。

• 全局群集选项 stonith-enabled 和 startup-fencing 必须设置为 true。如果您更改这些选项，将会失去支持。

默认情况下，全局群集选项 stonith-enabled 设置为 true。如果未定义 STONITH 资源，群集将会拒绝启动任何资源。配置一个或多个 STONITH 资源以完成 STONITH 设置。要为 SBD、libvirt (KVM/Xen) 或 vCenter/ESX 服务器添加 STONITH 资源，最简单的方式就是使用 Hawk2 向导（请参见第 7.5.2 节 “使用向导添加资源”）。虽然 STONITH 资源的配置过程与其他资源类似，但它们的行为在某些方面有所不同。有关细节，请参见第 10.3 节 “STONITH 资源和配置”。

要完成屏蔽配置，请添加约束。有关详细信息，请参考 第 10 章 “屏障和 STONITH”。

某些群集资源依赖于其他组件或资源，这些资源要求每个组件或资源按特定顺序启动，并在同一服务器上运行。为简化此配置，SUSE Linux Enterprise High Availability Extension 支持使用组。

资源组包含一组需要放在一起并按顺序启动和按相反顺序停止的资源。有关资源组的示例以及组及其属性的更多信息，请参见第 6.3.5.1 节 “组”。

注意：空组

组必须包含至少一个资源，否则配置无效。创建组时，Hawk2 允许您创建多个原始资源并将它们添加到组中。有关详细信息，请参见第 7.7.1 节 “编辑资源和组”。

图 7.6︰ Hawk2 - 资源组 #

 

如果希望特定资源同时在群集中的多个节点上运行，请将这些资源配置为克隆。一个可配置为克隆的资源的例子就是要作为克隆使用的 OCFS2 之类群集文件系统的 ocf:pacemaker:controld任何普通的资源或资源组均可克隆。克隆资源的实例的行为方式可能一样。但其配置也可能有所不同，具体取决于克隆资源所在的节点。

有关可用类型的资源克隆的概述，请参见第 6.3.5.2 节 “克隆资源”。

注意：克隆资源的子资源

克隆资源可以包含原始资源或组作为子资源。在 Hawk2 中，创建克隆资源时不能创建或修改子资源。添加克隆资源之前，先创建子资源并根据需要配置它们。有关细节，请参见第 7.5.3 节 “添加简单资源”或第 7.5.7 节 “添加群集资源组”。

图 7.7︰ Hawk2 - 克隆资源 #

 

多状态资源是克隆的特殊形式。它们允许实例处于两种运行模式中的其中一种模式（称为主动/被动、主要/次要、主/从）。多状态资源只能包含一个组或一个常规资源。

配置资源监视或约束时，多状态资源与简单资源具有不同的要求。有关细节，请参见 http://www.clusterlabs.org/pacemaker/doc/ 上的《Pacemaker Explained》（Pacemaker 配置说明）。请参见“Multi-state - Resources That Have Multiple Modes”（多状态 - 具有多个节点的资源）一节。

注意：多状态资源的子资源

多状态资源可以包含原始资源或组作为子资源。在 Hawk2 中，在创建多状态资源时不能创建或修改子资源。添加多状态资源之前，先创建子资源并根据需要配置它们。有关细节，请参见第 7.5.3 节 “添加简单资源”或第 7.5.7 节 “添加群集资源组”。

图 7.8︰ Hawk2 - 多状态资源 #

 

使用标记可以一次性引用多个资源，而无需在这些资源之间创建任何共置或顺序关系。您可以使用标记对概念上相关的资源分组。例如，如果您有多个资源与某个数据库相关，可以将所有相关的资源添加到名为数据库的标记中。

属于一个标记的所有资源都可通过一个命令启动或停止。

图 7.9︰ Hawk2 - 标记 #

 

High Availability Extension 不仅会检测到节点故障，还会检测到节点上各资源的失败情况。如果要确保资源正在运行，则为其配置资源监视。通常，资源仅会在运行时受到群集的监视。但是，为了检测并发违例，还需为停止的资源配置监视。要进行资源监视，请指定超时和/或启动延迟值及间隔。间隔告诉 CRM 检查资源状态的频率。您还可以设置特定参数，如为 start 或 stop 操作设置 timeout。

有关在资源监视程序检测到故障时将发生的流程，请参见第 6.4 节 “资源监视”。

要查看资源故障，请切换到 Hawk2 中的状态屏幕，然后选择您感兴趣的资源。在操作列中，单击向下箭头图标并选择最近的事件。随后打开的对话框会列出对资源执行的最近操作。失败事件显示为红色。要查看资源细节，请单击操作列中的放大镜图标。

图 7.10︰ Hawk2 - 资源细节 #

 

位置约束决定资源可在哪个节点上运行、优先在哪个节点上运行，或者不能在哪个节点上运行。将与某个数据库相关的所有资源存放在同一个节点上，就是位置约束的一个示例。