18 管理设备的多路径 I/O #

Linux 中的传统通用多路径实现使用设备映射程序框架。对于 SCSI 设备等大多数设备类型，设备映射程序多路径是唯一可用的实现。设备映射程序多路径具有很高的可配置性和灵活性。

Linux NVM Express (NVMe) 内核子系统在内核中本机实现多路径。这种实现可以降低 NVMe 设备（通常是延迟极低的快速设备）的计算开销。本机 NVMe 多路径不需要用户空间组件。从 SLE 15 开始，本机多路径一直是 NVMe 多路径设备的默认设置。有关细节，请参见第 17.2.4 节 “多路径”。

本章介绍设备映射程序多路径和其用户空间组件 multipath-tools。multipath-tools 也可对本机 NVMe 多路径提供有限的支持（请参见第 18.13 节 “其他选项”）。

设备映射程序多路径是一种通用技术。多路径设备检测只要求内核检测低级（例如 SCSI）设备，并要求设备属性可靠地将多个低级设备标识为同一个卷的不同“路径”，而不是实际不同的设备。

multipath-tools 软件包按供应商和产品名称检测存储阵列。它提供了多种不同存储产品的内置配置默认值。请查阅您的存储阵列的硬件文档：某些供应商为 Linux 多路径配置提供了具体的建议。

如果您需要对存储阵列的内置配置应用更改，请参阅第 18.8 节 “多路径配置”。

重要：关于内置硬件属性的免责声明

multipath-tools 为许多存储阵列提供内置预设。给定存储产品存在此类预设并不意味着该存储产品的供应商已使用 dm-multipath 测试了该产品，也不意味着该供应商认可或支持对该产品使用 dm-multipath。如有支持相关的问题，请始终查阅原始供应商文档。

对于某些存储阵列，需要运行特殊命令才能从一条路径故障转移到另一条路径，或需要使用非标准的错误处理方法。这些特殊命令和方法由 Linux 内核中的硬件处理程序实现。新式 SCSI 存储阵列支持 SCSI 标准中定义的“非对称逻辑单元访问”(ALUA) 硬件处理程序。除 ALUA 之外，SLE 内核还包含 Netapp E 系列 (RDAC)、Dell/EMC CLARiiON CX 阵列系列和 HP 传统阵列的硬件处理程序。

从 Linux 内核 4.4 开始，Linux 内核已自动检测到大多数阵列（包括所有支持 ALUA 的阵列）的硬件处理程序。唯一的要求是在探测相应设备时装载设备处理程序模块。multipath-tools 软件包会安装适当的配置文件来确保满足此要求。一旦设备处理程序关联到给定设备，就不能再更改。

我们根据处理根设备的方式来区分安装类型。第 18.4 节 “在多路径系统上安装 SUSE Linux Enterprise Server”介绍了在安装期间和安装后如何创建不同的设置。

使用第三方 SAN 阵列管理工具或存储阵列的用户界面来创建逻辑设备，并将其指派到主机。确保在两端正确配置主机身份凭证。

可以在正在运行的主机中添加或去除卷，但检测更改可能需要重新扫描 SCSI 目标并在主机上重新配置多路径。请参见 第 18.14.6 节 “在不重引导的情况下扫描新设备”。

注意：存储处理器

在某些磁盘阵列上，存储阵列通过存储处理器管理流量。一个处理器是活动的，另一个是不活动的，直到发生故障。如果您连接到被动存储处理器，则可能找不到所需的 LUN，或者虽然找到了这些 LUN，但在尝试访问它们时会发生 I/O 错误。

如果一个磁盘阵列有多个存储处理器，请确保 SAN 交换机已连接到您要访问的 LUN 所属的主动存储处理器。

多路径是在 SCSI 磁盘等基本存储设备的顶层设置的。在多层存储堆栈中，多路径始终位于底层。其他层（例如软件 RAID、逻辑卷管理、块设备加密等）排布在多路径之上。因此，对于具有多个 I/O 路径以及您计划在软件 RAID 中使用的每个设备，必须将该设备配置为支持多路径，才能尝试创建软件 RAID 设备。

群集存储资源的高可用性解决方案基于每个节点上的多路径服务运行。确保每个节点上的 /etc/multipath.conf 文件中的配置设置在整个群集中保持一致。

确保多路径设备在所有设备中的名称都相同。有关细节，请参考第 18.12 节 “多路径设备名称和 WWID”。

用于跨 LAN 镜像设备的分布式复制块设备 (DRBD) 高可用性解决方案在多路径的基础上运行。对于具有多个 I/O 路径并且您计划在 DRDB 解决方案中使用的每个设备，必须先将该设备配置为支持多路径，再配置 DRBD。

将多路径与依赖于使用共享存储实现屏蔽的群集软件（例如包含 sbd 的 pacemaker）一起使用时必须格外小心。有关详细信息，请参见第 18.9.2 节 “群集服务器上的排队策略”。

您可能希望在本地磁盘上执行安装，而不先配置结构和存储装置，以便稍后再将多路径 SAN 设备添加到系统。在此情况下，安装将像在非多路径系统上一样进行。完成安装后，虽然会安装 multipath-tools，但将禁用 systemd 服务 multipathd.service。系统将如第 18.3.2.2 节 “根文件系统位于本地磁盘上”中的在 initramfs 中禁用多路径所述进行配置。添加 SAN 硬件前，您将需要启用并启动 multipathd.service。我们建议在 /etc/multipath.conf 中为根设备创建 blacklist 项（请参见第 18.11.1 节 “multipath.conf 中的 blacklist 部分”）。

如果在安装时有多路径设备连接到系统，YaST 将检测到这些设备并在进入分区阶段前弹出窗口询问您是否应启用多路径。

如果您在此提示窗口中选择“否”（不建议如此），安装将按照第 18.4.1 节 “在未连接多路径设备的情况下安装”所述进行。在分区阶段，请勿使用/编辑稍后将成为多路径映射一部分的设备。

如果您在多路径提示窗口中选择“是”，multipathd 将在安装期间运行。不会有设备添加到 /etc/multipath.conf 的 blacklist 部分，因此，在分区对话框中，所有 SCSI 和 DASD 设备（包括本地磁盘）都将显示为多路径设备。安装后，所有 SCSI 和 DASD 设备都将是多路径设备（请参见第 18.3.2.1 节 “根文件系统位于多路径上 (SAN-boot)”）。

设备映射程序多路径 (DM-MP) 模块 dm-multipath.ko 为 Linux 提供了通用多路径功能。DM-MPIO 是 SUSE Linux Enterprise Server 中适用于 SCSI 和 DASD 设备的首选多路径解决方案，它也适用于 NVMe 设备。

注意：将 DM-MP 用于 NVMe 设备

从 SUSE Linux Enterprise Server 15 开始，建议将本机 NVMe 多路径（请参见第 18.2.1 节 “多路径实现：设备映射程序和 NVMe”）用于 NVMe，并且默认情况下会使用它。要禁用本机 NVMe 多路径并改用设备映射程序多路径（不建议如此），请使用内核参数 nvme-core.multipath=0 引导。

设备映射程序多路径模块可处理以下任务：

以下任务由 multipath-tools 软件包中的用户空间组件处理，而不是由设备映射程序多路径模块处理：

有关 multipath-tools 软件包中各组件的细节，请参见第 18.6.2 节 “multipathd 守护程序”。

注意：多路径预防的故障

DM-MPIO 预防的是设备路径中的故障，而不是设备本身的故障，例如媒体错误。后一种错误必须通过其他方式来预防，例如复制。

multipathd 是新式 Linux 设备映射程序多路径设置中的最重要部分。此守护程序通常通过 systemd 服务 multipathd.service 来启动（请参见第 18.7.1 节 “启用、启动和停止多路径服务”）。

multipathd 可处理以下任务（其中一些任务依赖于配置）：

multipathd 还可充当命令行客户端，通过将交互式命令发送到正在运行的守护程序来处理这些命令。用于向守护程序发送命令的一般语法如下：

> sudo multipathd COMMAND

或

> sudo multipathd -k'COMMAND'

此守护程序还可在交互模式下运行，允许您发送多个后续命令：

> sudo multipathd -k

注意：multipath 和 multipathd 如何配合工作

许多 multipathd 命令都有等效的 multipath 命令。例如，multipathd show topology 的作用与 multipath -ll 相同。两者的显著差别在于，multipathd 命令会查询正在运行的 multipathd 守护程序的内部状态，而 multipath 则是直接从内核和 I/O 操作获取信息。

如果多路径守护程序正在运行，我们建议使用 multipathd 命令对系统进行修改。否则，守护程序可能会注意到配置更改并对其做出反应。在某些情况下，守护程序甚至可能尝试撤消已应用的更改。如果检测到正在运行的守护程序，multipath 会自动将某些可能带来风险的命令（例如销毁和刷新映射）委派给 multipathd。

下面的列表介绍了常用的 multipathd 命令：

可以使用其他命令来修改路径状态、启用或禁用队列等。有关详细信息，请参见multipathd(8)。

尽管多路径的大部分设置工作是自动完成并由 multipathd 处理，但您仍可使用 multipath 来执行某些管理任务。下面提供了几个命令用法示例：

选项 -v 控制输出的详细程度。提供的值会覆盖 /etc/multipath.conf 中的 verbosity 选项。请参见 第 18.13 节 “其他选项”。

mpathpersist 实用程序用于管理设备映射程序多路径设备上的 SCSI 永久保留。永久保留用于仅限特定的 SCSI 发起端访问 SCSI 逻辑单元。在多路径配置中，必须对给定卷的所有 I_T 节点（路径）使用相同的保留密钥；否则，在一台路径设备上创建保留会导致其他路径发生 I/O 错误。

将此实用程序与 /etc/multipath.conf 文件中的 reservation_key 属性配合使用可以设置 SCSI 设备的永久保留。当且仅当设置了此选项时，multipathd 守护程序才会检查新发现的路径或重新启用的路径的永久保留。

您可以将该属性添加到 multipath.conf 的 defaults 或 multipaths 部分。例如：

multipaths {
    multipath {
        wwid             3600140508dbcf02acb448188d73ec97d
        alias            yellow
        reservation_key  0x123abc
    }
}

为适用于永久管理的所有 mpath 设备设置 reservation_key 参数后，使用 multipathd reconfigure 重新装载配置。

注意：使用 “reservation_key file”

如果在 multipath.conf 的 defaults 部分使用了特殊值 reservation_key file，则可以使用 mpathpersist 以动态方式在文件 /etc/multipath/prkeys 中管理保留密钥。

这是处理多路径映射的永久保留的建议方法。从 SUSE Linux Enterprise Server 12 SP4 开始可以使用这种方法。

使用命令 mpathpersist 查询和设置由 SCSI 设备组成的多路径映射的永久保留。有关细节，请参见手册页 mpathpersist(8)。命令行选项与 sg3_utils 软件包中 sg_persist 的选项相同。sg_persist(8) 手册页详细解释了选项的语义。

在以下示例中，DEVICE 表示设备映射程序多路径设备，例如 /dev/mapper/mpatha。以下命令连同长选项一起列出，以便于阅读。所有选项都可以替换为单个字母，例如 mpathpersist -oGS 123abc DEVICE。

要允许多路径服务在引导时启动，请运行以下命令：

> sudo systemctl enable multipathd

要在正在运行的系统中手动启动该服务，请输入：

> sudo systemctl start multipathd

要重启动该服务，请输入：

> sudo systemctl restart multipathd

在大多数情况下不需要重启动该服务。要简单地让 multipathd 重新装载其配置，请运行：

> sudo systemctl reload multipathd

要检查该服务的状态，请输入：

> sudo systemctl status multipathd

要停止当前会话中的多路径服务，请运行：

> sudo systemctl stop multipathd multipathd.socket

停止服务不会去除现有的多路径映射。要去除未使用的映射，请运行以下命令：

> sudo multipath -F

警告：将 multipathd.service 保持为启用状态

我们强烈建议始终将 multipathd.service 保持为启用状态，并让其在配有多路径硬件的系统上运行。虽然该服务支持 systemd 的套接字激活机制，但我们不建议您依赖于该机制。如果禁用该服务，系统在引导期间将不会设置多路径映射。

注意：禁用多路径

如果您需要在出现上述警告的情况下禁用多路径，例如因为要部署第三方多路径软件，请执行以下操作。确保系统不会使用多路径设备的硬编码引用（请参见第 18.15.2 节 “了解设备引用问题”）。

要仅为单次系统引导禁用多路径，请使用内核参数 multipath=off。这会影响已引导的系统和 initramfs（在这种情况下不需要重构建）。

要永久禁用 multipathd 服务，使其不会在今后引导系统时启动，请运行以下命令：

> sudo systemctl disable multipathd multipathd.socket
> sudo dracut --force --omit multipath

（每当禁用或启用多路径服务后，都请重构建 initramfs。请参阅第 18.7.4 节 “保持 initramfs 同步”。）

如果您想确保不设置多路径设备（即使是手动运行 multipath 时），请在重构建 initramfs 之前，将以下几行添加到 /etc/multipath.conf 的末尾：

blacklist {
    wwid .*
}

配置 SAN 设备的多路径 I/O 之前，请按需要执行以下操作准备 SAN 设备：

如果已检测到多路径设备并已启用 multipathd.service，则应会自动创建多路径映射。如果未自动创建，第 18.15.3 节 “紧急模式中的查错步骤” 会列出一些可用于检查该情况的外壳命令。如果 HBA 驱动程序未检测到这些 LUN，请检查 SAN 中的区域设置。特别是要检查 LUN 屏蔽是否是活动的，以及是否已将 LUN 正确指派给服务器。

如果 HBA 驱动程序可以检测到 LUN，但未创建相应的块设备，则可能需要使用额外的内核参数。请参见 https://www.suse.com/support/kb/doc.php?id=3955167 上 SUSE 知识库中的 TID 3955167: Troubleshooting SCSI (LUN) Scanning Issues。

多路径映射可以像其路径设备一样包含分区。分区表扫描以及为分区创建设备节点的操作是由 kpartx 工具在用户空间中执行的。kpartx 由 udev 规则自动调用；通常不需要手动运行它。有关引用多路径分区的方法，请参见第 18.12.4 节 “引用多路径映射”。

注意：禁止调用 kpartx

可以在 /etc/multipath.conf 中使用 skip_kpartx 选项来禁止对选定的多路径映射调用 kpartx。例如，在虚拟化主机上，这种做法可能很有用。

可以像平时一样使用 YaST 或者使用 fdisk 或 parted 等工具来操作多路径设备上的分区表和分区。当分区工具退出时，系统将会记下应用于分区表的更改。如果这种方法不起作用（通常是因为设备繁忙），请尝试运行 multipathd reconfigure 或重引导系统。

重要

对于所有块设备，是否以及如何使用多路径，初始 RAM 文件系统 (initramfs) 与已引导系统的行为务必要保持一致。应用多路径配置更改后重构建 initramfs。

如果在系统中启用了多路径，那么也需要在 initramfs 中启用多路径，反之亦然。此规则的唯一例外情况是第 18.3.2.2 节 “根文件系统位于本地磁盘上”中所述的选项 在 initramfs 中禁用多路径。

必须在已引导系统与 initramfs 之间同步多路径配置。因此，如果您更改 /etc/multipath.conf、/etc/multipath/wwids 和 /etc/multipath/bindings 中的任一文件，或者其他与设备标识相关的配置文件或 udev 规则，请使用以下命令重构建 initramfs：

> sudo dracut -f

如果 initramfs 与系统不同步，系统将无法正常引导，启动过程可能会显示紧急外壳。有关如何避免或修复此类情况的说明，请参见第 18.15 节 “MPIO 查错”。

> sudo dracut --force --add multipath

> sudo dracut --force --omit multipath

/dev/mapper/3600a098000aad73f00000a3f5a275dc8-part1

> sudo dracut --force --omit multipath --persistent-policy=by-uuid

建议您创建只包含要更改的设置的最小 /etc/multipath.conf。在很多情况下，您根本不需要创建 /etc/multipath.conf。

如果您想要使用包含所有可能配置指令的配置模板，请运行：

multipath -T >/etc/multipath.conf

另请参见第 18.14.1 节 “有关配置的最佳实践”。

/etc/multipath.conf 文件使用由部分、子部分和选项/值对组成的层次结构。

以下示例展示了相应语法：

section {
    subsection {
        option1 value
        option2      "complex value!"
        option3    "value with ""quoted"" word"
    } ! subsection end
} # section end

/etc/multipath.conf 文件由下列部分构成。某些选项可以出现在多个部分中。有关详细信息，请参见 multipath.conf(5)。

要应用配置更改，请运行:

> sudo multipathd reconfigure

请不要忘记与 initramfs 中的配置同步。请参见 第 18.7.4 节 “保持 initramfs 同步”。

警告：不要使用 multipath 应用设置

当 multipath 正在运行时，请不要使用 multipathd 命令应用新设置。否则可能导致设置不一致甚至损坏。

注意：校验已修改的设置

可以在应用已修改的设置之前先对其进行测试，方法是运行：

> sudo multipath -d -v2

此命令会显示要使用建议的拓扑创建的新映射，但不显示是否会去除/刷新映射。要获得更多信息，请以更高的详细程度运行：

> sudo multipath -d -v3 2>&1 | less

如果为独立服务器配置了多路径 I/O，设置为 queue 值的 no_path_retry 可使服务器操作系统在尽可能长的时间内不收到 I/O 错误。它会使消息排队，直至发生多路径故障转移。如果不需要“无限期”排队（见上文），请选择一个您认为足够高的数值，以便存储路径能在正常情况下恢复（见上文）。

在为高可用性群集中的节点配置多路径 I/O 时，您需要让多路径报告 I/O 故障，以触发资源故障转移而不是等待多路径故障转移被解决。在群集环境中，您必须修改 no_path_retry 设置，以确保当与存储系统断开连接时，群集节点会收到与群集验证进程相关的 I/O 错误（建议为 Heartbeat 容错的 50%）。此外，您还希望将多路径 failback 设为 manual 或 followover，以免因路径失败而造成资源的乒乓效应。

/etc/multipath.conf 文件可能包含 blacklist 部分，其中会列出 multipathd 和 multipath 应该忽略的所有设备。以下示例展示了可用于排除设备的方法：

blacklist {
    wwid 3600605b009e7ed501f0e45370aaeb77f 1
    device {  2
        vendor ATA
        product .*
    }
    protocol scsi:sas 3
    property SCSI_IDENT_LUN_T10 4
    devnode "!^dasd[a-z]*" 5
}

> sudo multipathd show paths format "%d %P"

默认情况下，multipath-tools 会忽略除 SCSI、DASD 或 NVMe 以外的所有设备。从技术上讲，内置的 devnode 排除列表就是下面这个被否定的正则表达式：

    devnode !^(sd[a-z]|dasd[a-z]|nvme[0-9])

有时，需要仅将非常具体的设备配置为用于多路径。在这种情况下，需默认排除设备，并将应成为多路径映射一部分的设备定义为例外。blacklist_exceptions 部分就用于实现此目的。该部分的典型用法如下方示例所示，该示例排除了所有存储设备，产品字符串为“NETAPP”的存储设备除外：

blacklist {
     wwid .*
}
blacklist_exceptions {
     device {
         vendor ^NETAPP$
         product .*
     }
}

blacklist_exceptions 部分支持上文所述适用于 blacklist 部分的所有方法。

blacklist_exceptions 中的 property 指令是强制性的，因为每个设备必须至少具有一个“允许的”udev 属性，才能被视为多路径的路径设备（属性的值无关紧要）。property 的内置默认值为

    property (SCSI_IDENT_|ID_WWN)

系统只会包含至少具有一个与此正则表达式匹配的 udev 属性的设备。

除了 blacklist 选项外，/etc/multipath.conf 中的数个其他设置也会影响哪些设备可视为多路径设备。

多路径操作必须能够可靠地检测到代表同一存储卷的各路径的设备。为实现此目的，multipath-tools 使用了设备的全球通用标识 (WWID)（有时也称为通用唯一 ID (UUID) 或唯一 ID（UID — 请勿与“用户 ID”混淆））。映射设备的 WWID 一律与其路径设备的 WWID 相同。

默认情况下，系统会从 sysfs 文件系统读取设备属性或使用特定的 I/O 命令，根据设备的 udev 属性（在 udev 规则中确定）推断路径设备的 WWID。要查看设备的 udev 属性，请运行以下命令：

> udevadm info /dev/sdx

multipath-tools 用于派生 WWID 的 udev 属性如下：

警告：避免更改 WWID

无法更改正在使用的多路径映射的 WWID。如果所映射路径设备的 WWID 因配置更改而发生改变，则需要销毁该映射，并使用新的 WWID 设置新映射。如果旧映射正被使用，则无法执行此操作。在极端情况下，WWID 更改可能会导致数据损坏。因此，必须严格避免应用会导致映射 WWID 更改的配置更改。

在 /etc/multipath.conf 中启用 uid_attrs 选项可以做到这一点，请参见第 18.13 节 “其他选项”。

可以在 /etc/multipath.conf 的 multipaths 部分中设置任意映射名称，如下如下：

multipaths {
    multipath {
        wwid 3600a098000aad1e3000064e45f2c2355
        alias postgres
    }
}

别名较为易懂，但需要将它们分别指派给每个映射，这在大型系统上可能很麻烦。

multipath-tools 还支持自动生成的别名，即所谓的“用户友好名称”。别名的命名方案遵循以下模式：mpathINDEX，其中 INDEX 为小写字母（以 a 开头）。因此，第一个自动生成的别名为 mpatha，下一个为 mpathb、然后是 mpathc，直至 mpathz。之后是 mpathaa、mpathab 等，以此类推。

映射名称只有在永久存在时才有用。multipath-tools 会在 /etc/multipath/bindings 文件（“bindings 文件”）中记录指派的名称。创建新映射时，首先会在此文件中查找 WWID。如果未找到，则会为映射指派可用性最低的用户友好名称。

第 18.12.2 节 “为多路径映射设置别名”中所述的明确别名优先于用户友好名称。

/etc/multipath.conf 中的以下选项会影响用户友好名称：

警告：高可用性群集中的映射名称

对于群集操作，设备名称必须在群集的所有节点间都相同。multipath-tools 配置必须在节点之间保持同步。如果使用 user_friendly_names，multipathd 可以在运行时修改 /etc/multipath/bindings 文件。此类修改必须动态复制到所有节点。这同样适用于 /etc/multipath/wwids（请参见第 18.11.3 节 “影响选择设备的其他选项”）。

注意：在运行时更改映射名称

可以在运行时更改映射名称。使用本节中所述的任何方法以及运行 multipathd reconfigure 都可更改映射名称，而不干扰系统运行。

从技术上讲，多路径映射是设备映射程序设备，其名称一般采用 /dev/dm-n 格式，其中 n 为整数。这些名称不是永久存在的。切勿使用它们引用多路径映射。udev 创建指向这些设备的各种符号链接，这些链接更适合作为永久引用。这些链接的不同之处在于它们不会随特定配置的更改而改变。下面的典型示例展示了所有指向同一设备的各种符号链接。

/dev/disk/by-id/dm-name-mpathb1 -> ../../dm-1
/dev/disk/by-id/dm-uuid-mpath-3600a098000aad73f00000a3f5a275dc82 -> ../../dm-1
/dev/disk/by-id/scsi-3600a098000aad73f00000a3f5a275dc83 -> ../../dm-1
/dev/disk/by-id/wwn-0x600a098000aad73f00000a3f5a275dc84 -> ../../dm-1
/dev/mapper/mpathb5 -> ../dm-1

filter = [ "a|/dev/disk/by-id/dm-uuid-mpath-.*|", "r|.*|" ]

对于 kpartx 工具创建的多路径映射上的分区，存在类似的符号链接，它们源自父设备名称或 WWID 和分区号：

/dev/disk/by-id/dm-name-mpatha-part2 -> ../../dm-5
/dev/disk/by-id/dm-uuid-part2-mpath-3600a098000aad1e300000b4b5a275d45 -> ../../dm-5
/dev/disk/by-id/scsi-3600a098000aad1e300000b4b5a275d45-part2 -> ../../dm-5
/dev/disk/by-id/wwn-0x600a098000aad1e300000b4b5a275d45-part2 -> ../../dm-5
/dev/disk/by-partuuid/1c2f70e0-fb91-49f5-8260-38eacaf7992b -> ../../dm-5
/dev/disk/by-uuid/f67c49e9-3cf2-4bb7-8991-63568cb840a4 -> ../../dm-5
/dev/mapper/mpatha-part2 -> ../dm-5

请注意，分区通常也有 by-uuid 链接，该链接不引用设备本身，而是引用设备包含的文件系统。一般最好使用这些链接。即使将文件系统复制到不同的设备或分区，这些链接也不会改变。

警告：initramfs 中的映射名称

当 dracut 构建 initramfs 时，会在 initramfs 中创建设备的硬编码引用，并默认使用 /dev/mapper/$MAP_NAME 引用。如果 initramfs 中使用的映射名称与构建 initramfs 时使用的名称不匹配，在引导期间将找不到这些硬编码引用，导致引导失败。这种情况通常不会发生，因为 dracut 会将所有多路径配置文件添加到 initramfs 中。但如果 initramfs 是从不同的环境（例如，在救援系统中或在脱机更新期间）构建的，就会出现问题。为防止这类引导失败，请更改 dracut 的 persistent_policy 设置（如第 18.7.4.2 节 “initramfs 中永久设备的名称”所述）。

架构中的不稳定状况可能会导致路径设备行为不正常。它们频繁出现 I/O 错误、恢复然后再次失败。此类路径设备也称为“边际”或“不稳定”路径。本节概述了 multipath-tools 提供的一些可解决此问题的选项。

注意：multipathd 的边际路径检查算法

如果首次失败后尚未过去 marginal_path_double_failed_time，路径设备便出现第二次失败（从良好转变为不佳），multipathd 会开始以每秒 10 次请求的速率监控路径，监控期为 marginal_path_err_sample_time。如果在监控期内错误率超过 marginal_path_err_rate_threshold，则该路径会归类为边际路径。marginal_path_err_recheck_gap_time 过后，该路径会再次转变为正常状态。

如果所有四个 marginal_path_ 数字参数均设置为正值，并且 marginal_pathgroups 未设置为 fpin，系统便会使用此算法。从 SUSE Linux Enterprise Server 15 SP1 和 SUSE Linux Enterprise Server 12 SP5 开始，可以使用此算法。

您也可以使用一种更简单的算法，该算法使用参数 san_path_err_threshold、san_path_err_forget_rate 和 san_path_err_recovery time。建议对 SUSE Linux Enterprise Server 15 (GA) 采用此算法。请参见 multipath.conf(5) 中的“不稳定路径检测”部分。

大量的配置指令一开始会令人望而生畏。通常，使用空配置便能获得较好的结果，除非您处于群集环境中。

下面是一些针对独立服务器的一般建议。它们并非强制性要求。有关背景信息，请参见前面小节中各参数的相关说明。

defaults {
    deferred_remove      yes
    find_multipaths      smart
    enable_foreign       nvme
    marginal_pathgroups  fpin    # 15.4 only, if supported by fabric
}
devices {
    # A catch-all device entry.
    device {
        vendor                .*
        product               .*
        dev_loss_tmo          infinity
        no_path_retry         60            # 5 minutes
        path_grouping_policy  group_by_prio
        path_selector         "historical-service-time 0"
        reservation_key       file          # if using SCSI persistent reservations
    }
    # Follow up with specific device entries below, they will take precedence.
}

修改 /etc/multipath.conf 文件后，应用您的设置（请参见第 18.8.4 节 “应用 multipath.conf 修改”）。

要快速了解多路径子系统，请使用 multipath -ll 或 multipathd show topology。这些命令的输出具有相同格式。前一个命令读取内核状态，而后一个命令列显多路径守护程序的状态。两个状态通常是相同的。下面是一个输出示例：

> sudo multipathd show topology
mpatha1 (3600a098000aad1e300000b4b5a275d452) dm-03 NETAPP,INF-01-004
size=64G features='3 queue_if_no_path pg_init_retries 50'5 hwhandler='1 alua'6 wp=rw7
|-+- 8policy='historical-service-time 2'9 prio=5010 status=active11
| |-12 3:0:0:113 sdb 8:1614 active15 ready16 running17
| `- 4:0:0:1 sdf 8:80  active ready running
`-+- policy='historical-service-time 2' prio=10 status=enabled
  `- 4:0:1:1 sdj 8:144 active ready running

多路径的路径设备状态包括：

LVM2 内置了多路径设备检测支持。/etc/lvm/lvm.conf 中默认会激活该支持：

    multipath_component_detection=1

仅当 LVM2 也配置为从 udev 获取有关设备属性的信息时，此功能才可靠：

    external_device_info_source="udev"

这是 SUSE Linux Enterprise 15 SP4 中的默认设置，但早期版本中并非如此。您也可以（尽管通常没有必要）为 LVM2 创建过滤表达式，以忽略除多路径设备之外的所有设备。请参见 第 18.12.4 节 “引用多路径映射”。

如果所有路径同时失败并且 I/O 已在排队，应用程序可能会停滞很长时间。要解决此问题，您可以使用以下程序：

多路径上的 MD RAID 阵列是由系统的 udev 规则自动设置的。无需在 /etc/mdadm.conf 中进行特殊配置。

如果已将系统配置为启用多路径，并且您需要向 SAN 添加存储，则可以使用 rescan-scsi-bus.sh 脚本扫描新设备。该命令的一般语法如下：

> sudo rescan-scsi-bus.sh [-a] [-r] --hosts=2-3,5

其中各选项的含义如下：

要获取其他选项的帮助，请运行 rescan-scsi-bus.sh --help。

如果 multipathd 正在运行并且发现了新的 SAN 设备，系统应该会根据第 18.11 节 “选择要用于多路径的设备”所述的配置自动将它们设置为多路径映射。

警告：Dell/EMC PowerPath 环境

在 EMC PowerPath 环境中，请勿使用操作系统随附的 rescan-scsi-bus.sh 实用程序或 HBA 供应商脚本来扫描 SCSI 总线。为了避免可能发生的文件系统损坏，EMC 要求您遵照 EMC PowerPath for Linux 的供应商文档中提供的过程操作。

块设备要么用作多路径映射的一部分，要么直接使用（挂载为文件系统、用作交换、LVM 物理卷或其他）。如果设备已挂载，则 multipathd 想要使其成为多路径映射一部分的尝试将失败，并显示“设备或资源正忙”错误。反之亦然，如果 systemd 尝试挂载已成为多路径映射一部分的设备，则会出现相同的错误。

引导期间的存储设备激活由 systemd、udev、multipathd 和其他一些工具之间的复杂交互处理。udev 规则起着核心作用。它们会设置设备属性，用于指示其他子系统应如何使用设备。与多路径相关的 udev 规则为选择用于多路径的设备设置以下属性：

SYSTEMD_READY=0
DM_MULTIPATH_DEVICE_PATH=1

分区设备会从其父设备继承这些属性。

如果这些属性设置得不正确，某些工具会忽视这些属性，或者如果设置得太晚，则可能会导致 multipathd 与其他一些子系统之间出现竞态条件。只有一个竞争者能够胜出；另一个会看到“设备或资源正忙”错误。

这种情况下会出现如下问题：LVM2 套件的工具默认不评估 udev 属性。它们依靠自己的逻辑来确定设备是否是多路径组件，这有时与系统其余部分的逻辑不匹配。有关规避此问题的方法，请参见第 18.14.3 节 “在多路径设备上使用 LVM2”。

注意：引导死锁的示例

假设有这样一个拥有多路径的系统，其根设备未进行多路径处理，并且没有设备被排除在多路径之外（请参见第 18.3.2.2 节 “根文件系统位于本地磁盘上”中的在 initramfs 中禁用多路径）。根文件系统挂载在 initramfs 中。systemd 切换到根文件系统，并且 multipathd 启动。由于设备已挂载，multipathd 未能为其设置多路径映射。由于未在 blacklist 中配置根设备，因此系统会将其视为多路径设备并为其设置 SYSTEMD_READY=0。

稍后在引导过程中，系统会尝试挂载其他文件系统，比如 /var 和 /home。通常，这些文件系统将与根文件系统位于同一设备上，默认作为根文件系统本身的 BTRFS 子卷。但 systemd 因 SYSTEMD_READY=0 无法挂载它们。我们陷入了死锁状态：无法创建 dm-multipath 设备，并且底层设备因 systemd 被封锁。无法挂载其他文件系统，导致引导失败。

我们目前已经拥有应对此问题的解决方案。 multipathd 会检测到此情况并将设备释放到 systemd，之后其可继续挂载文件系统。尽管如此，了解这个普遍性问题很重要，因为它可能仍会以更难以察觉的方式发生。

第 18.7.4.2 节 “initramfs 中永久设备的名称”中提供了设备引用问题的示例。通常情况下会有多个符号链接指向一个设备节点（请参见第 18.12.4 节 “引用多路径映射”）。但这些链接并不总是存在；udev 会根据当前的 udev 规则创建它们。例如，如果多路径关闭，/dev/mapper/ 下多路径设备的符号链接将丢失。因此，对 /dev/mapper/ 设备的任何引用都将失败。

此类引用可能会出现在许多地方，特别是在 /etc/fstab 和 /etc/crypttab 中、initramfs 中，甚至是在内核命令行上。

要规避此问题，最安全的方法就是避免使用无法在重引导后永久保留或依赖于系统配置的设备引用。一般而言，我们建议通过文件系统本身的属性（如 UUID 或标签）而不是包含引用的设备来引用文件系统（以及类似的实体，如交换空间）。如果此类引用不可用并且需要设备引用（例如，在 /etc/crypttab 中），则应仔细评估选项。例如，在 第 18.12.4 节 “引用多路径映射” 中，最佳选项可能是 /dev/disk/by-id/wwn- 链接，因为它也可与 multipath=off 搭配使用。

由于存在许多差别非常细微的错误情况，因此无法提供分步恢复指南。但凭借前几小节的背景知识，如果系统因多路径问题进入紧急模式，您应该能够找出问题所在。在您开始调试前，请确保您已检查以下问题：

如果您不确定最后一个问题的答案，这里有一个 dracut 紧急提示示例，切换根之前会列显示例所示的内容：

Generating "/run/initramfs/rdsosreport.txt"
Entering emergency mode. Exit the shell to continue.
Type "journalctl" to view system logs.

You might want to save "/run/initramfs/rdsosreport.txt" to a USB stick or /boot
after mounting them and attach it to a bug report.

Give root password for maintenance
(or press Control-D to continue):

如果提到 rdsosreport.txt，即表明系统仍从 initramfs 中运行。如果您仍然不确定，请登录并检查 /etc/initrd-release 文件是否存在。此文件仅存在于 initramfs 环境中。

如果是在切换根之后进入紧急模式，紧急提示内容与此相似，但不会提到 rdsosreport.txt：

Timed out waiting for device dev-disk-by\x2duuid-c4a...cfef77d.device.
[DEPEND] Dependency failed for Local File Systems.
[DEPEND] Dependency failed for Postfix Mail Transport Agent.
Welcome to emergency shell
Give root password for maintenance
(or press Control-D to continue):

有关 SUSE Linux Enterprise Server 上多路径 I/O 问题查错的详细信息，请参见 SUSE 知识库中的下列技术信息文档 (TID)：