5 配置和管理基础知识 #

使用引导脚本时，Corosync 配置包含一个 quorum 段落，其中包含以下选项：

quorum {
   # Enable and configure quorum subsystem (default: off)
   # see also corosync.conf.5 and votequorum.5
   provider: corosync_votequorum
   expected_votes: 2
   two_node: 1
}

如果设置了 two_node: 1，默认会自动启用 wait_for_all 选项。如果未启用 wait_for_all，则群集应在两个节点上并行启动。否则，第一个节点会对缺失的第二个节点执行启动屏蔽。

如果不使用双节点群集，我们强烈建议使用奇数数目的节点来构成 N 节点群集。在仲裁配置方面，您有以下选择：

如果要手动调整 /etc/corosync/corosync.conf，请使用以下设置：

quorum {
   provider: corosync_votequorum 1
   expected_votes: N 2
   wait_for_all: 1 3
}

此全局选项定义在群集分区不具有法定票数（分区不具有多数节点投票）时应执行的操作。

可用值如下：

此全局选项定义是否要应用屏蔽，以允许 STONITH 设备关闭发生故障的节点以及无法停止其资源的节点。默认情况下，此全局选项设置为 true，因为对于常规的群集操作，有必要使用 STONITH 设备。根据默认值，如果未定义 STONITH 资源，群集会拒绝启动任何资源。

如果出于任何原因而需要禁用屏蔽，请将 stonith-enabled 设置为 false，但请注意，这会影响产品的支持状态。此外，在 stonith-enabled="false" 的情况下，分布式锁管理器 (DLM) 等资源以及依赖于 DLM 的所有服务（例如 lvmlockd、GFS2 和 OCFS2）都将无法启动。

重要：不支持无 STONITH 的群集

不支持无 STONITH 资源的群集。

仅当系统满足以下要求后，用户才能登录 Hawk2：

Hawk2 Web 界面使用 HTTPS 协议和端口 7630。

您无需使用 Hawk 登录个别群集节点，而是可以将一个浮动的虚拟 IP 地址（IPaddr 或 IPaddr22）配置为群集资源。该地址无需任何特殊配置。如此，无论 Hawk 服务在哪个物理节点上运行，客户端都可以连接到该服务。

在使用 crm 外壳提供的引导脚本设置群集时，系统会询问您是否配置虚拟 IP 以用于群集管理。

登录 Hawk2 后，左侧会显示一个导航栏，右侧会显示一个顶层行，其中包含若干链接。

注意：Hawk2 中的可用功能

默认情况下，以 root 或 hacluster 身份登录的用户对所有群集配置任务具有完全读写访问权。不过，使用访问控制列表 (ACL) 可以定义细化的访问权限。

如果在 CRM 中启用了 ACL，Hawk2 中的可用功能取决于用户角色和指派给这些角色的访问权限。Hawk2 中的历史记录浏览器只能由用户 hacluster 来执行。

全局群集选项控制群集在遇到特定情况时的行为方式。它们被分成若干组，可通过 Hawk2 和 crmsh 之类的群集管理工具来查看和修改。通常可保留预定义值。但为了确保群集的关键功能正常工作，需要在进行基本群集设置后调整以下参数：

群集管理员有时需要知道群集配置。Hawk2 可以 crm 外壳语法、XML 和图表形式显示当前配置。要查看 crm 外壳语法形式的群集配置，请从左侧导航栏中选择配置 › 编辑配置，并单击显示。要改为以原始 XML 显示配置，请单击 XML。单击示意图会以图表显示 CIB 中配置的节点和资源。它还会显示各资源之间的关系。

Hawk2 向导是设置简单资源（如虚拟 IP 地址或 SBD STONITH 资源）的便捷方式。对于包含多个资源的复杂配置（例如 DRBD 块设备或 Apache Web 服务器的资源配置）而言，这种方法也十分有用。向导会引导您完成所有配置步骤，并提供您需要输入的参数的相关信息。

图 5.2︰ Hawk2 - Apache Web 服务器向导 #

 

有关详细信息，请参见第 6 章 “配置群集资源”。

Hawk2 提供批模式，包括群集模拟器。该模式可用于以下操作：

例如，在创建相互依赖的资源组时，可以使用批模式。通过使用批模式，您可以避免将中间或不完整的配置应用到群集。

启用批模式后，您可以添加或编辑资源和约束，或更改群集配置。此外，还可以模拟群集中的事件，包括变为上线或下线的节点、资源操作，以及要授予或撤消的票据。有关详细信息，请参见 过程 5.6 “插入节点、资源或票据事件”。

群集模拟器会在每次更改后自动运行，并在用户界面上显示预期效果。举例而言，这还意味着当您在批模式下停止某资源时，用户界面上会将该资源显示为已停止，但实际上，该资源仍在运行中。

重要：实时系统的向导和更改

某些向导包含除纯群集配置以外的其他操作。在批模式下使用这些向导时，群集配置以外的任何其他更改都将立即应用到在线系统。

因此，需要 root 权限的向导无法在批模式下执行。

在批模式下运行时，Hawk2 还允许您插入节点事件和资源事件。

管理群集需要有充足的权限。以下用户可以运行 crm 命令及其子命令：

对于使用 SSH 的操作，群集使用无口令 SSH 访问方式在节点之间进行通讯。如果使用 crm cluster init 设置群集，脚本会检查 SSH 密钥是否存在，如果尚不存在，则会生成这些密钥。如果使用 YaST 群集模块设置群集，您必须自行配置 SSH 密钥。

在大多数情况下，root 或 sudo 用户的 SSH 密钥必须存在于节点上（或在其上生成）。或者，sudo 用户的 SSH 密钥可以存在于本地计算机上，并通过 SSH 代理转发传递到节点。如果您需要避免在节点上存储 SSH 密钥，此方法可能很有用，不过这需要进行额外的配置。

如果您是使用 YaST 而不是引导脚本设置群集的，系统将不会自动生成 SSH 密钥。要在启用 SSH 代理转发的情况下配置 SSH 密钥，可以单独使用引导脚本的 ssh 阶段。应在使用 YaST 配置群集后、在使群集上线前运行这些命令。

在第一个节点上运行以下命令：

user@node1 > sudo --preserve-env=SSH_AUTH_SOCK \
crm cluster init ssh --use-ssh-agent

在所有其他节点上运行以下命令：

user@node2 > sudo --preserve-env=SSH_AUTH_SOCK \
crm cluster join ssh --use-ssh-agent -c USER@NODE1

可通过以下方式之一访问帮助：

基本上 help 子命令（不要与 --help 选项混淆）的所有输出都会打开一个文本编辑器。此文本编辑器允许您向上/向下滚动，以便更加方便地阅读帮助文本。要退出文本编辑器，请按 Q 键。

提示：在 Bash 和交互式外壳中使用 Tab 键补全

crmsh 不仅为交互式外壳提供 Tab 键补全，还全面支持在 Bash 中直接使用此功能。例如，键入 crm help config→| 会补全文字，就像在交互式外壳中一样。

crm 命令本身可按以下方式使用：

crmsh 还支持执行同步命令。使用 -w 选项可以激活该功能。如果已启动 crm 但未指定 -w，之后可以将用户首选项的 wait 设为 yes (options wait yes) 来启用它。如果此选项已启用，则 crm 将会等到事务完成为止。事务一经启用，就会打印出点以指示进度。同步命令执行仅适用于 resource start 之类的命令。

注意：区分管理子命令与配置子命令

crm 工具有管理功能（子命令 resource 和 node），可用于配置设置（configure 和 cib）。

下面的小节概述了 crm 工具的重要方面。

由于在群集配置中一直需要处理资源代理，crm 工具包含了 ra 命令。使用该命令可以显示有关资源代理的信息并对其进行管理（如需其他信息，另请参见第 6.2 节 “支持的资源代理类别”）：

# crm ra
crm(live)ra# 

classes 命令可列出所有类别和提供方：

crm(live)ra# classes
 lsb
 ocf / heartbeat linbit lvm2 ocfs2 pacemaker
 service
 stonith
 systemd

要大致了解某个类别（和提供方）的所有可用资源，请使用 list 命令：

crm(live)ra# list ocf
AoEtarget           AudibleAlarm        CTDB                ClusterMon
Delay               Dummy               EvmsSCC             Evmsd
Filesystem          HealthCPU           HealthSMART         ICP
IPaddr              IPaddr2             IPsrcaddr           IPv6addr
LVM                 LinuxSCSI           MailTo              ManageRAID
ManageVE            Pure-FTPd           Raid1               Route
SAPDatabase         SAPInstance         SendArp             ServeRAID
...

可使用 info 查看资源代理的概述：

crm(live)ra# info ocf:linbit:drbd
This resource agent manages a DRBD* resource
as a master/slave resource. DRBD is a shared-nothing replicated storage
device. (ocf:linbit:drbd)

Master/Slave OCF Resource Agent for DRBD

Parameters (* denotes required, [] the default):

drbd_resource* (string): drbd resource name
    The name of the drbd resource from the drbd.conf file.

drbdconf (string, [/etc/drbd.conf]): Path to drbd.conf
    Full path to the drbd.conf file.

Operations' defaults (advisory minimum):

    start         timeout=240
    promote       timeout=90
    demote        timeout=90
    notify        timeout=90
    stop          timeout=100
    monitor_Slave_0 interval=20 timeout=20 start-delay=1m
    monitor_Master_0 interval=10 timeout=20 start-delay=1m

按 Q 退出查看器。

提示：直接使用 crm

在之前的示例中，我们使用了 crm 命令的内壳。但是您不一定非要使用它。将相应子命令添加到 crm 中也可获得相同的结果。例如，在外壳中输入 crm ra list ocf 可以列出所有 OCF 资源代理。

Crmsh 外壳脚本提供了将 crmsh 子命令枚举到文件中的便捷方式。如此，您便可轻松地注释特定行或稍后重新运行这些行。请注意，crmsh 外壳脚本只能包含 crmsh 子命令,不允许包含任何其他命令。

您需要先创建包含特定命令的文件，然后才能使用 crmsh 外壳脚本。例如，下面的文件会列显群集的状态并提供所有节点的列表：

# A small example file with some crm subcommands
status
node list

以井字符号 (#) 开头的所有行都是注释，系统会将其忽略。如果某行过长，可在结尾插入反斜杠 (\)，然后换到下一行。为方便阅读，建议将属于特定子命令的行进行缩进。

要使用此脚本，请使用以下其中一种方法：

# crm -f example.cli
# crm < example.cli

从所有群集节点收集信息并部署任何更改是一项关键的群集管理任务。您不必在不同的节点上手动执行相同的过程（这很容易出错），可以使用 crmsh 群集脚本来代替该过程。

请不要将它们与 crmsh 外壳脚本相混淆，第 5.5.5 节 “使用 crmsh 的外壳脚本”中对后者进行了介绍。

对比 crmsh 外壳脚本，群集脚本另外会执行如下任务：

crmsh 群集脚本并不能取代其他群集管理工具，它只是提供了一种集成的方式用于在群集中执行上述任务。有关详细信息，请参见https://crmsh.github.io/scripts/。

# crm script list

# crm script show mailto
mailto (Basic)
MailTo

 This is a resource agent for MailTo. It sends email to a sysadmin
whenever  a takeover occurs.

1. Notifies recipients by email in the event of resource takeover

  id (required)  (unique)
      Identifier for the cluster resource
  email (required)
      Email address
  subject
      Subject

# crm script verify mailto id=sysadmin email=tux@example.org
1. Ensure mail package is installed

        mailx

2. Configure cluster resources

        primitive sysadmin MailTo
                email="tux@example.org"
                op start timeout="10"
                op stop timeout="10"
                op monitor interval="10" timeout="10"

        clone c-sysadmin sysadmin

# crm script run mailto id=sysadmin email=tux@example.org
INFO: MailTo
INFO: Nodes: alice, bob
OK: Ensure mail package is installed
OK: Configure cluster resources

# crm status
[...]
 Clone Set: c-sysadmin [sysadmin]
     Started: [ alice bob ]

注意：弃用注意事项

配置模板已弃用，将来会被去除。配置模板将由群集脚本取代。请参见 第 5.5.6 节 “使用 crmsh 的群集脚本”。

配置模板可为 crmsh 提供即时可用的群集配置。请不要将其与资源模板（如第 6.8.2 节 “使用 crmsh 创建资源模板”中所述）混淆。资源模板只适用于群集，而不适用于 crm 外壳。

配置模板只需稍作更改，即可满足特定用户的需要。每次使用模板创建配置时，都会出现警告消息，提示您哪些可以稍后编辑以供将来自定义。

以下步骤显示了如何创建简单有效的 Apache 配置：

如果知道细节，可以更加简化命令。上述过程可汇总为外壳上的以下命令：

# crm configure template \
   new g-intranet apache params \
   configfile="/etc/apache2/httpd.conf" ip="192.168.1.101"

如果在 crm 内壳中，可使用以下命令：

crm(live)configure template# new intranet apache params \
   configfile="/etc/apache2/httpd.conf" ip="192.168.1.101"

但是，前一条命令仅会从配置模板创建其配置。它不会将其应用或提交到 CIB。

阴影配置可用于测试不同的配置方案。如果创建了多个阴影配置，则可逐一测试这些配置，以查看更改的影响。

一般的流程显示如下：

将配置更改加载回群集之前，建议使用 ptest 复查更改。使用 ptest 命令可显示提交更改后产生的操作图。需要 graphviz 软件包才能显示这些图。以下示例是一个抄本，添加了监控操作：

# crm configure
crm(live)configure# show fence-bob
primitive fence-bob stonith:apcsmart \
        params hostlist="bob"
crm(live)configure# monitor fence-bob 120m:60s
crm(live)configure# show changed
primitive fence-bob stonith:apcsmart \
        params hostlist="bob" \
        op monitor interval="120m" timeout="60s"
crm(live)configure# ptest
crm(live)configure# commit

要输出群集图表，请使用 crm configure graph 命令。它会在当前的窗口上显示当前配置，因此需要配备 X11。

如果您希望使用可缩放矢量图 (SVG)，请使用以下命令：

# crm configure graph dot config.svg svg

Corosync 是大多数 HA 群集的基础消息交换层。corosync 子命令提供用于编辑和管理 Corosync 配置的命令。

例如，要列出群集的状态，请使用 status：

# crm corosync status
Printing ring status.
Local node ID 175704363
RING ID 0
        id      = 10.121.9.43
        status  = ring 0 active with no faults
Quorum information
------------------
Date:             Thu May  8 16:41:56 2014
Quorum provider:  corosync_votequorum
Nodes:            2
Node ID:          175704363
Ring ID:          4032
Quorate:          Yes

Votequorum information
----------------------
Expected votes:   2
Highest expected: 2
Total votes:      2
Quorum:           2
Flags:            Quorate

Membership information
----------------------
    Nodeid      Votes Name
 175704363          1 alice.example.com (local)
 175704619          1 bob.example.com

diff 命令会比较所有节点上的 Corosync 配置（如果未另行指定）并列显各节点之间的差异：

# crm corosync diff
--- bob
+++ alice
@@ -46,2 +46,2 @@
-       expected_votes: 2
-       two_node: 1
+       expected_votes: 1
+       two_node: 0

有关细节，请参见https://crmsh.nongnu.org/crm.8.html#cmdhelp_corosync。

如果群集配置包含口令之类的敏感信息，应将其存储在本地文件中。这样的话，这些参数将永远不会记录到或导入支持报告中。

使用 secret 前，请先运行 show 命令了解一下所有资源的概况：

# crm configure show
primitive mydb mysql \
   params replication_user=admin ...

要为上面的 mydb 资源设置口令，请使用以下命令：

# crm resource secret mydb set passwd linux
INFO: syncing /var/lib/heartbeat/lrm/secrets/mydb/passwd to [your node list]

使用以下命令可以取回保存的密码：

# crm resource secret mydb show passwd
linux

各节点间的参数需要同步；crm resource secret 命令可用于执行此操作。强烈建议仅使用此命令来管理机密参数。