17 存储保护和 SBD #

1. 设置看门狗

2. 根据您的情况，可将 SBD 与一到三个设备搭配使用，或以无磁盘模式使用。有关概述，请参见第 17.4 节 “SBD 设备数量”。有关详细的设置，请参见：

   • 设置 SBD 与设备

   • 设置无磁盘 SBD

3. 测试 SBD 和屏蔽

1. 初始化 SBD 设备

2. 编辑 SBD 配置文件

3. 启用和启动 SBD 服务

4. 测试 SBD 设备

5. 配置群集以使用 SBD

要将 SBD 与共享存储搭配使用，必须先在一到三个块设备上创建消息布局。sbd create 命令会将元数据头写入指定的一个或多个设备。它还会初始化最多 255 个节点的消息槽。如果不带任何其他选项执行该命令，该命令将使用默认超时设置。

警告：覆盖现有数据

确保要用于 SBD 的一个或多个设备未保存任何重要数据。执行 sbd create 命令时，会直接重写指定块设备的大约第一个 MB，而不会发出其他请求或进行备份。

1. 决定要将哪个块设备或哪些块设备用于 SBD。

2. 初始化 SBD 设备：

   • 要使用具有默认超时值的某个设备，请运行以下命令：

     # sbd -d /dev/disk/by-id/DEVICE_ID create

   • 要将多个设备用于 SBD，请指定 -d 选项多次，例如：

     # sbd -d /dev/disk/by-id/DEVICE_ID1 -d /dev/disk/by-id/DEVICE_ID2 -d /dev/disk/by-id/DEVICE_ID3 create

   • 要调整用于 SBD 的超时值（例如，如果您的 SBD 设备位于多路径组上），请使用 -1 和 -4 选项。如果初始化了多个设备，则必须为所有设备设置相同的超时值。有关详细信息，请参见 第 17.5 节 “超时计算”。所有超时均以秒为单位指定：

     # sbd -d /dev/disk/by-id/DEVICE_ID -1 301 -4 602 create

     1	-1 选项用于指定 watchdog 超时。在以上示例中，超时设置为 30 秒。模拟看门狗的最小允许值为 15 秒。
     2	-4 选项用于指定 msgwait 超时。在以上示例中，超时设置为 60 秒。

3. 检查设备上写入的内容：

   # sbd -d /dev/disk/by-id/DEVICE_ID dump
   Header version     : 2.1
   UUID               : 619127f4-0e06-434c-84a0-ea82036e144c
   Number of slots    : 255
   Sector size        : 512
   Timeout (watchdog) : 15
   Timeout (allocate) : 2
   Timeout (loop)     : 1
   Timeout (msgwait)  : 30
   ==Header on disk /dev/disk/by-id/DEVICE_ID is dumped

   如您所见，超时值也存储在报头中，以确保所有参与节点对其达成一致。

1. 打开 /etc/sysconfig/sbd 文件。

2. 搜索以下参数：SBD_DEVICE。

   该参数指定要监控和要用于交换 SBD 讯息的设备。

   编辑此行，用您的 SBD 设备替换 /dev/disk/by-id/DEVICE_ID：

   SBD_DEVICE="/dev/disk/by-id/DEVICE_ID"

   如果您需要在第一行中指定多个设备，请使用分号分隔设备（设备顺序无关紧要）：

   SBD_DEVICE="/dev/disk/by-id/DEVICE_ID1;/dev/disk/by-id/DEVICE_ID2;/dev/disk/by-id/DEVICE_ID3"

   如果无法访问 SBD 设备，守护程序将无法启动，导致群集无法启动。

3. 搜索以下参数：SBD_DELAY_START。

   启用或禁用延迟。如果 msgwait 很长，但群集节点引导速度很快，请将 SBD_DELAY_START 设置为 yes。将此参数设置为 yes 可在引导时延迟 SBD 启动。虚拟机有时候需要此项延迟。

   默认延迟时长与 msgwait 超时值相同。或者，您可以指定一个整数（以秒为单位），而不是 yes。

   如果启用 SBD_DELAY_START，还必须检查 SBD 服务文件，以确保 TimeoutStartSec 的值大于 SBD_DELAY_START 的值。有关详细信息，请参见 https://www.suse.com/support/kb/doc/?id=000019356。

4. 使用 csync2 将配置文件复制到所有节点：

   # csync2 -xv

   有关详细信息，请参见第 7.6 节 “配置 Csync2 以同步文件”。

1. 在每个节点，启用 SBD 服务：

   # systemctl enable sbd

   每次群集服务启动时，SBD 会与 Corosync 服务一起启动。

2. 使用 --all 选项同时在所有节点上重启动群集服务：

   # crm cluster restart --all

   此操作会自动触发 SBD 守护程序的启动。

   

   重要：发生 SBD 更改后重启动群集服务

   如果任何 SBD 元数据发生更改，则必须再次重启动群集服务。要在重启动期间使关键群集资源保持运行状态，请考虑先将群集置于维护模式。有关详细信息，请参见第 32 章 “执行维护任务”。

1. 以下命令会从 SBD 设备转储节点槽及其当前消息：

   # sbd -d /dev/disk/by-id/DEVICE_ID list

   现在，您应该会看到曾随 SBD 启动的所有群集节点都列在此处。例如，如果您拥有双节点群集，消息槽对于两个节点都应显示 clear：

   0       alice        clear
   1       bob          clear

2. 尝试将测试消息发送到节点之一：

   # sbd -d /dev/disk/by-id/DEVICE_ID message alice test

3. 此节点会在系统日志文件中确认收到了该消息：

   May 03 16:08:31 alice sbd[66139]: /dev/disk/by-id/DEVICE_ID: notice: servant:
   Received command test from bob on disk /dev/disk/by-id/DEVICE_ID

   这就确认了 SBD 确实在节点上正常运行，并已准备好接收消息。

1. 启动外壳，并以 root 用户或同等身份登录。

2. 运行 crm configure。

3. 输入以下内容：

   crm(live)configure# property stonith-enabled="true"1
   crm(live)configure# property stonith-watchdog-timeout=02
   crm(live)configure# property stonith-timeout="40s"3

   1	此为默认配置，因为不支持没有 STONITH 的群集。而如果出于测试目的停用了 STONITH，请确保再次将此参数设置为 true。
   2	如果未显式设置，此值默认为 0，适用于 SBD 与一到三个设备搭配使用的情况。
   3	要计算 stonith-timeout，请参见第 17.5 节 “超时计算”。如果将 SBD 的 stonith-timeout 超时值设置为 40 秒，则适合将 msgwait 值设置为 30。

4. 配置 SBD STONITH 资源。您无需克隆此资源。

   对于双节点群集，在节点分裂情况下，两个节点都会按预期向对方发出屏蔽。为防止两个节点几乎同时被重置，建议应用以下屏蔽延迟来帮助其中一个节点甚至是首选节点在屏蔽竞争中胜出。对于具有两个以上节点的群集，无需应用这些延迟。

   优先级屏蔽延迟

   priority-fencing-delay 群集属性默认处于禁用状态。配置延迟值后，如果另一个节点发生故障且其总资源优先级更高，针对该节点的屏蔽将延迟指定的时间。这意味着在节点分裂情况下，更重要的节点将在屏蔽竞争中胜出。

   可以用优先级元属性配置重要资源。在计算时，将对每个节点上运行的资源或实例的优先级值求和来进行计算。提升后的资源实例的优先级为配置的基础优先级加 1，因此它的优先级值比任何未提升的实例都高。

   # crm configure property priority-fencing-delay=30

   即使使用了 priority-fencing-delay，我们也仍然建议使用 pcmk_delay_base 或 pcmk_delay_max（如下所述）来解决节点优先级恰好相同的所有情况。priority-fencing-delay 的值应显著大于 pcmk_delay_max/pcmk_delay_base 的最大值，最好是最大值的两倍。

   可预测的静态延迟

   此参数用于在执行 STONITH 操作之前添加静态延迟。为防止发生节点分裂时双节点群集的两个节点同时重置，请为不同的屏蔽资源配置不同的延迟值。可以用可实现更长屏蔽延迟的参数标记首选节点，使其在任何屏蔽竞争中都胜出。要成功实现此目的，每个节点都必须有两个原始 STONITH 设备。在下面的配置中，如果出现节点分裂情况，alice 会胜出并得以留存：

   crm(live)configure# primitive st-sbd-alice stonith:external/sbd \
     params pcmk_host_list=alice pcmk_delay_base=20
   crm(live)configure# primitive st-sbd-bob stonith:external/sbd \
     params pcmk_host_list=bob pcmk_delay_base=0

   动态随机延迟

   此参数用于为屏蔽设备上的 STONITH 操作添加随机延迟。pcmk_delay_max 参数不会针对特定节点实施静态延迟，而是为包含屏蔽资源的任何屏蔽添加随机延迟，以防止双重重置。与 pcmk_delay_base 不同，此参数可对针对多个节点的统一屏蔽资源指定。

   crm(live)configure# primitive stonith_sbd stonith:external/sbd \
     params pcmk_delay_max=30

   

   警告：pcmk_delay_max 可能无法防止节点分裂情况下的双重重置。

   pcmk_delay_max 的值越低，仍会发生双重重置的可能性就越高。

   如果您的目标是有可预测的幸存者，请使用优先级屏蔽延迟或可预测的静态延迟。

5. 使用 show 查看所做的更改。

6. 使用 commit 提交更改，然后使用 quit 退出 crm 实时配置。

1. 打开文件 /etc/sysconfig/sbd 并使用以下项：

   SBD_PACEMAKER=yes
   SBD_STARTMODE=always
   SBD_DELAY_START=no
   SBD_WATCHDOG_DEV=/dev/watchdog
   SBD_WATCHDOG_TIMEOUT=5

   由于未使用共享磁盘，因此不需要 SBD_DEVICE 条目。此参数缺失时，sbd 服务不会为 SBD 设备启动任何观察程序进程。

   如果需要在系统引导时延迟启动 SBD，请将 SBD_DELAY_START 更改为 yes。默认延迟时长为 SBD_WATCHDOG_TIMEOUT 值的两倍。或者，您可以指定一个整数（以秒为单位），而不是 yes。

   

   重要：无磁盘 SBD 和 QDevice 的 SBD_WATCHDOG_TIMEOUT

   如果您将 QDevice 和无磁盘 SBD 搭配使用，SBD_WATCHDOG_TIMEOUT 值必须大于 QDevice 的 sync_timeout 值，否则 SBD 将会超时并无法启动。

   sync_timeout 的默认值为 30 秒。因此，请将 SBD_WATCHDOG_TIMEOUT 设置为更大的值，例如 35。

2. 在每个节点，启用 SBD 服务：

   # systemctl enable sbd

   每次群集服务启动时，SBD 会与 Corosync 服务一起启动。

3. 使用 --all 选项同时在所有节点上重启动群集服务：

   # crm cluster restart --all

   此操作会自动触发 SBD 守护程序的启动。

   

   重要：发生 SBD 更改后重启动群集服务

   如果任何 SBD 元数据发生更改，则必须再次重启动群集服务。要在重启动期间使关键群集资源保持运行状态，请考虑先将群集置于维护模式。有关详细信息，请参见第 32 章 “执行维护任务”。

4. 检查是否已自动设置 have-watchdog=true 参数：

   # crm configure show | grep have-watchdog
            have-watchdog=true

5. 运行 crm configure 并在 crm 外壳上设置以下群集属性：

   crm(live)configure# property stonith-enabled="true"1
   crm(live)configure# property stonith-watchdog-timeout=102
   crm(live)configure# property stonith-timeout=153

   1	此为默认配置，因为不支持没有 STONITH 的群集。而如果出于测试目的停用了 STONITH，请确保再次将此参数设置为 true。
   2	对于无磁盘 SBD，此参数不能为零。它定义了经过多长时间之后可以假定屏蔽目标已自我屏蔽。请使用以下公式计算此超时： stonith-watchdog-timeout >= (SBD_WATCHDOG_TIMEOUT * 2) 如果将 stonith-watchdog-timeout 设置为负值，Pacemaker 会自动计算此超时，并将它设置为 SBD_WATCHDOG_TIMEOUT 值的两倍。
   3	此参数必须留出足够长的时间让屏蔽完成。对于无磁盘 SBD，请使用以下公式计算此超时： stonith-timeout >= stonith-watchdog-timeout + 20% 重要：无磁盘 SBD 超时 使用无磁盘 SBD 时，如果 stonith-timeout 值小于 stonith-watchdog-timeout 值，则失败的节点可能会停滞在 UNCLEAN 状态，并阻止对活动资源进行故障转移。

6. 使用 show 查看所做的更改。

7. 使用 commit 提交更改，然后使用 quit 退出 crm 实时配置。

请执行以下过程将无磁盘 SBD 更改为基于磁盘的 SBD，或用新设备替换现有的 SBD 设备。

1. 将群集置于维护模式：

   # crm maintenance on

   在此状态下，群集将停止监控所有资源，因此即使群集服务停止，资源所管理的服务也能继续运行。

2. 配置新设备：

   # crm -F cluster init sbd -s /dev/disk/by-id/DEVICE_ID

   -F 选项允许 crmsh 重新配置 SBD，即使 SBD 服务已在运行也是如此。

3. 检查群集的状态：

   # crm status

   起初，节点的状态为 UNCLEAN (offline)，但很快就变为 Online。

4. 检查 SBD 配置。首先，检查设备元数据：

   # sbd -d /dev/disk/by-id/DEVICE_ID dump

   然后检查群集中的所有节点是否都已分配到设备中的一个槽位：

   # sbd -d /dev/disk/by-id/DEVICE_ID list

5. 检查 SBD 服务的状态：

   # systemctl status sbd

   如果将无磁盘 SBD 更改为了基于磁盘的 SBD，请确认以下部分包含设备 ID：

   CGroup: /system/.slice/sbd.service
           |—23314 "sbd: inquisitor"
           |—23315 "sbd: watcher: /dev/disk/by-id/DEVICE_ID - slot: 0 - uuid: DEVICE_UUID"
           |—23316 "sbd: watcher: Pacemaker"
           |—23317 "sbd: watcher: Cluster"

6. 节点重新上线后，让群集退出维护模式，恢复正常运行状态：

   # crm maintenance off

请执行以下过程将无磁盘 SBD 更改为基于磁盘的 SBD、用新设备替换现有的 SBD 设备，或更改基于磁盘的 SBD 的超时设置。

1. 将群集置于维护模式：

   # crm maintenance on

   在此状态下，群集将停止监控所有资源，因此即使您停止群集服务，资源所管理的服务也能继续运行。

2. 停止所有节点上的群集服务，包括 SBD：

   # crm cluster stop --all

3. 重新初始化设备元数据，根据需要指定新设备 ID 和超时值：

   # sbd -d /dev/disk/by-id/DEVICE_ID -1 VALUE -4 VALUE create

   -1 选项用于指定 watchdog 超时值。

   -4 选项用于指定 msgwait 超时值，该值必须至少为 watchdog 超时值的两倍。

   有关详细信息，请参见过程 17.3 “初始化 SBD 设备”。

4. 打开 /etc/sysconfig/sbd 文件。

5. 如果要将无磁盘 SBD 更改为基于磁盘的 SBD，请添加以下代码并指定设备 ID。如果要更换 SBD 设备，请将此行的值更改为新设备 ID：

   SBD_DEVICE="/dev/disk/by-id/DEVICE_ID"

6. 根据需要调整其他设置。有关详细信息，请参见过程 17.4 “编辑 SBD 配置文件”。

7. 将配置文件复制到所有节点上：

   # csync2 -xv

8. 启动所有节点上的群集服务：

   # crm cluster start --all

9. 检查群集的状态：

   # crm status

   起初，节点的状态为 UNCLEAN (offline)，但很快就变为 Online。

10. 检查 SBD 配置。首先，检查设备元数据：

    # sbd -d /dev/disk/by-id/DEVICE_ID dump

    然后检查群集中的所有节点是否都已分配到设备中的一个槽位：

    # sbd -d /dev/disk/by-id/DEVICE_ID list

11. 检查 SBD 服务的状态：

    # systemctl status sbd

    如果将无磁盘 SBD 更改为了基于磁盘的 SBD，请确认以下部分包含设备 ID：

    CGroup: /system/.slice/sbd.service
            |—23314 "sbd: inquisitor"
            |—23315 "sbd: watcher: /dev/disk/by-id/DEVICE_ID - slot: 0 - uuid: DEVICE_UUID"
            |—23316 "sbd: watcher: Pacemaker"
            |—23317 "sbd: watcher: Cluster"

12. 如果您更改了任何超时值，或者将无磁盘 SBD 更改为基于磁盘的 SBD，则可能还需要更改 CIB 属性 stonith-timeout 和 stonith-watchdog-timeout。对于基于磁盘的 SBD，stonith-watchdog-timeout 应该为 0 或设为默认值。有关详细信息，请参见第 17.5 节 “超时计算”。

    要检查当前值，请运行以下命令：

    # crm configure show

    如果需要更改这些值，请执行以下命令：

    # crm configure property stonith-watchdog-timeout=0
    # crm configure property stonith-timeout=VALUE

13. 如果将无磁盘 SBD 更改为了基于磁盘的 SBD，则必须为 SBD 配置 STONITH 资源。例如：

    # crm configure primitive stonith-sbd stonith:external/sbd

    有关更多信息，请参见过程 17.7 “配置群集以使用 SBD”中的步骤 4。

14. 节点重新上线后，让群集退出维护模式，恢复正常运行状态：

    # crm maintenance off

请执行以下过程将基于磁盘的 SBD 更改为无磁盘 SBD。

1. 将群集置于维护模式：

   # crm maintenance on

   在此状态下，群集将停止监控所有资源，因此即使群集服务停止，资源所管理的服务也能继续运行。

2. 配置无磁盘 SBD：

   # crm -F cluster init sbd -S

   -F 选项允许 crmsh 重新配置 SBD，即使 SBD 服务已在运行也是如此。

3. 检查群集的状态：

   # crm status

   起初，节点的状态为 UNCLEAN (offline)，但很快就变为 Online。

4. 检查 SBD 服务的状态：

   # systemctl status sbd

   以下部分不应包含设备 ID：

   CGroup: /system/.slice/sbd.service
           |—23314 "sbd: inquisitor"
           |—23315 "sbd: watcher: Pacemaker"
           |—23316 "sbd: watcher: Cluster"

5. 节点重新上线后，让群集退出维护模式，恢复正常运行状态：

   # crm maintenance off

请执行以下过程将基于磁盘的 SBD 更改为无磁盘 SBD，或更改无磁盘 SBD 的超时值。

1. 将群集置于维护模式：

   # crm maintenance on

   在此状态下，群集将停止监控所有资源，因此即使您停止群集服务，资源所管理的服务也能继续运行。

2. 停止所有节点上的群集服务，包括 SBD：

   # crm cluster stop --all

3. 打开 /etc/sysconfig/sbd 文件。

4. 如果要将基于磁盘的 SBD 更改为无磁盘 SBD，请去除或注释 SBD_DEVICE 条目。

5. 根据需要调整其他设置。有关详细信息，请参见第 17.8 节 “设置无磁盘 SBD”。

6. 将配置文件复制到所有节点上：

   # csync2 -xv

7. 启动所有节点上的群集服务：

   # crm cluster start --all

8. 检查群集的状态：

   # crm status

   起初，节点的状态为 UNCLEAN (offline)，但很快就变为 Online。

9. 检查 SBD 服务的状态：

   # systemctl status sbd

   如果将基于磁盘的 SBD 更改为了无磁盘 SBD，请确认以下部分未包含设备 ID：

   CGroup: /system/.slice/sbd.service
           |—23314 "sbd: inquisitor"
           |—23315 "sbd: watcher: Pacemaker"
           |—23316 "sbd: watcher: Cluster"

10. 如果您更改了任何超时值，或者将基于磁盘的 SBD 更改为无磁盘 SBD，则可能还需要更改 CIB 属性 stonith-timeout 和 stonith-watchdog-timeout。有关详细信息，请参见过程 17.8 “配置无磁盘 SBD”中的步骤 5。

    要检查当前值，请运行以下命令：

    # crm configure show

    如果需要更改这些值，请执行以下命令：

    # crm configure property stonith-watchdog-timeout=VALUE
    # crm configure property stonith-timeout=VALUE

11. 节点重新上线后，让群集退出维护模式，恢复正常运行状态：

    # crm maintenance off