18 管理裝置的多重路徑 I/O #

Linux 中傳統的一般多重路徑實作使用裝置對應程式架構。對於大多數裝置類型 (例如 SCSI 裝置)，裝置對應程式多重路徑是唯一可用的實作。裝置對應程式多重路徑可自由設定，且非常靈活。

Linux NVM Express (NVMe) 核心子系統在核心中原生實作多重路徑。這種實作可以降低 NVMe 裝置 (通常是延遲極低的快速裝置) 的計算負荷。原生 NVMe 多重路徑不需要使用者空間元件。從 SLE 15 開始，原生多重路徑一直是 NVMe 多重路徑裝置的預設功能。如需詳細資訊，請參閱第 17.2.4 節 「多重路徑」。

本章介紹裝置對應程式多重路徑及其使用者空間元件 multipath-tools。multipath-tools 也可對原生 NVMe 多重路徑提供有限的支援 (請參閱第 18.13 節 「其他選項」)。

裝置對應程式多重路徑是一般性的技術。多重路徑裝置偵測只要求核心偵測低層級 (例如 SCSI) 裝置，並要求裝置內容可靠地將多個低層級裝置識別為同一個磁碟區的不同「路徑」，而不是實際不同的裝置。

multipath-tools 套件依廠商和產品名稱偵測儲存陣列。它提供了多種不同儲存產品的內建組態預設值。請參閱您的儲存陣列的硬體文件：某些廠商為 Linux 多重路徑組態提供了具體的建議。

如果您需要對儲存陣列的內建組態套用變更，請參閱第 18.8 節 「多重路徑組態」。

重要：關於內建硬體內容的免責聲明

multipath-tools 為許多儲存陣列提供內建預設。給定儲存產品存在此類預設並不意味著該儲存產品的廠商已使用 dm-multipath 測試了該產品，也不意味著該廠商認可或支援對該產品使用 dm-multipath。若有支援相關的問題，請始終參閱原始廠商文件。

對於某些儲存陣列，需要執行特殊指令才能從一個路徑容錯移轉至另一個路徑，或需要使用非標準的錯誤處理方法。這些特殊指令和方法由 Linux 核心中的硬體處理器實作。新式 SCSI 儲存陣列支援 SCSI 標準中定義的「非對稱邏輯單元存取」(ALUA) 硬體處理器。除 ALUA 之外，SLE 核心還包含 Netapp E 系列 (RDAC)、Dell/EMC CLARiiON CX 陣列系列和 HP 傳統陣列的硬體處理器。

從 Linux 核心 4.4 開始，Linux 核心已自動偵測到大多數陣列 (包括所有支援 ALUA 的陣列) 的硬體處理器。唯一的要求是在查探相應裝置時載入裝置處理器模組。multipath-tools 套件會安裝適當的組態檔案，來確保符合此要求。一旦裝置處理器關聯到給定裝置，就不能再變更。

我們根據處理根裝置的方式來區分安裝類型。第 18.4 節 「在多重路徑系統上安裝 SUSE Linux Enterprise Server」介紹了在安裝期間和安裝後如何建立不同的設定。

使用協力廠商 SAN 陣列管理工具或儲存陣列的使用者介面來建立邏輯裝置，並將其指定給主機。確定在兩端正確設定主機身分證明。

可以在執行中的主機上新增或移除磁碟區，但偵測變更時可能需要重新掃描 SCSI 目標並在主機上重新設定多重路徑。請參閱 第 18.14.6 節 「在不重新開機的情況下掃描新裝置」。

注意：儲存處理器

在某些磁碟陣列上，儲存陣列透過儲存處理器管理流量。一個處理器為主動，另外一個為被動，直到發生了失敗。如果您連接到被動儲存處理器，可能會找不到所需的 LUN，或雖然找到了這些 LUN，但在嘗試存取時會發生 I/O 錯誤。

如果磁碟陣列有多個儲存處理器，請確定 SAN 交換器已連接到您要存取的 LUN 所屬的主動儲存處理器。

多重路徑在 SCSI 磁碟等基本儲存裝置的頂層設定。在多層儲存堆疊中，多重路徑始終位於底層。其他層 (例如軟體 RAID、邏輯磁碟區管理、區塊裝置加密等) 排布在多重路徑之上。因此，對於每個具有多重 I/O 路徑的裝置和要用於軟體 RAID 的裝置來說，您必須先設定多重路徑的裝置，然後才能嘗試建立軟體 RAID 裝置。

叢集儲存資源的高可用性解決方案在每個節點上之多重路徑服務的基礎上執行。確定每個節點上 /etc/multipath.conf 檔案中的組態設定在整個叢集中保持一致。

確定多重路徑裝置在所有裝置中的名稱都相同。如需詳細資訊，請參閱第 18.12 節 「多重路徑裝置名稱和 WWID」。

用於 LAN 鏡像複製裝置的分散式複製區塊裝置 (DRBD) 高可用性解決方案在多重路徑的基礎上執行。對於每個具有多重 I/O 路徑的裝置和要用於 DRDB 解決方案的裝置來說，您必須先設定多重路徑的裝置，然後才能設定 DRDB。

將多重路徑與依賴於使用共用儲存實現圍籬區隔的叢集軟體 (例如包含 pacemaker 的 sbd) 一起使用時必須格外小心。如需詳細資料，請參閱 第 18.9.2 節 「叢集伺服器上的排入佇列規則」。

您可能希望在本地磁碟上執行安裝，而不先設定網狀架構和儲存裝置，以便稍後再將多重路徑 SAN 裝置新增至系統。在此情況下，安裝將如同在非多重路徑系統上一般進行。完成安裝後，雖然會安裝 multipath-tools，但將停用 systemd 服務 multipathd.service。系統的組態將如第 18.3.2.2 節 「根檔案系統位於本地磁碟上」中的在 initramfs 中停用多重路徑所述。新增 SAN 硬體前，您將需要啟用並啟動 multipathd.service。我們建議在 /etc/multipath.conf 中為根裝置建立 blacklist 項目 (請參閱第 18.11.1 節 「multipath.conf 中的 blacklist 區段」)。

如果安裝時多重路徑裝置已連接到系統，YaST 將偵測到這些裝置，並在進入磁碟分割階段前顯示一個快顯視窗，詢問您是否啟用多重路徑。

如果您在此提示視窗中選取「否」(不建議如此)，安裝將依照第 18.4.1 節 「在未連接多重路徑裝置的情況下安裝」所述進行。在磁碟分割階段，請勿使用/編輯稍後將成為多重路徑對應一部分的裝置。

如果您在多重路徑提示視窗中選取「是」，multipathd 將在安裝期間執行。不會有裝置新增至 /etc/multipath.conf 的 blacklist 區段，因此，在磁碟分割對話方塊中，所有 SCSI 和 DASD 裝置 (包括本地磁碟) 都將顯示為多重路徑裝置。安裝後，所有 SCSI 和 DASD 裝置都將是多重路徑裝置 (請參閱第 18.3.2.1 節 「根檔案系統位於多重路徑上 (SAN-boot)」)。

裝置對應程式多重路徑 (DM-MP) 模組 dm-multipath.ko 為 Linux 提供了一般多重路徑功能。DM-MPIO 是 SUSE Linux Enterprise Server 中適用於 SCSI 和 DASD 裝置的慣用多重路徑解決方案，它也適用於 NVMe 裝置。

注意：將 DM-MP 用於 NVMe 裝置

從 SUSE Linux Enterprise Server 15 開始，建議將原生 NVMe 多重路徑 (請參閱第 18.2.1 節 「多重路徑實作：裝置對應程式和 NVMe」) 用於 NVMe，並且預設已使用該功能。若要停用原生 NVMe 多重路徑，並改用裝置對應程式多重路徑 (不建議如此)，請使用核心參數 nvme-core.multipath=0 開機。

裝置對應程式多重路徑模組可處理以下任務：

以下任務由 multipath-tools 套件中的使用者空間元件處理，而不是由裝置對應程式多重路徑模組處理：

如需 multipath-tools 套件中各元件的詳細資料，請參閱第 18.6.2 節 「multipathd 精靈」。

注意：多重路徑預防的故障

DM-MPIO 預防的是裝置路徑中的故障，而不是裝置自身的故障，例如媒體錯誤。只能透過其他方式來預防後一種錯誤，例如複製。

multipathd 是新式 Linux 裝置對應程式多重路徑設定中的最重要部分。通常透過 systemd 服務 multipathd.service 來啟動此精靈 (請參閱第 18.7.1 節 「啟用、啟動和停止多重路徑服務」)。

multipathd 可處理以下任務 (其中一些任務依賴於組態)：

multipathd 還可用做指令列用戶端，透過將互動式指令傳送到執行中精靈來處理這些指令。用於向精靈傳送指令的一般語法如下：

> sudo multipathd COMMAND

或

> sudo multipathd -k'COMMAND'

此精靈還可在互動模式下執行，允許您傳送多個後續指令：

> sudo multipathd -k

注意：multipath 和 multipathd 如何協同運作

許多 multipathd 指令都有等效的 multipath 指令。例如，multipathd show topology 的作用與 multipath -ll 相同。兩者的明顯差別在於，multipathd 指令會查詢執行中 multipathd 精靈的內部狀態，而 multipath 則是直接從核心和 I/O 操作取得資訊。

如果多重路徑精靈正在執行，我們建議使用 multipathd 指令對系統進行修改。否則，該精靈可能會注意到組態變更並做出回應。在某些情況下，該精靈甚至可能嘗試復原已套用的變更。如果偵測到執行中的精靈，multipath 會自動將某些可能帶來風險的指令 (例如損毀和衝洗對應) 委派給 multipathd。

下面的清單介紹了常用的 multipathd 指令：

可以使用其他指令來修改路徑狀態、啟用或停用佇列等。如需詳細資料，請參閱 multipathd(8)。

儘管多重路徑的大部分設定是自動完成並由 multipathd 處理，您仍可使用 multipath 來完成某些管理任務。下面提供了幾個指令用法範例：

選項 -v 控制輸出的詳細程度。提供的值會覆寫 /etc/multipath.conf 中的 verbosity 選項。請參閱 第 18.13 節 「其他選項」。

mpathpersist 公用程式可用於管理裝置對應程式多重路徑裝置上的 SCSI 永久保留。永久保留用於僅限特定的 SCSI 啟動器存取 SCSI 邏輯單元。在多重路徑組態中，必須對給定磁碟區的所有 I_T 節點 (路徑) 使用相同的保留金鑰；否則，在一部路徑裝置上建立保留會導致其他路徑發生 I/O 錯誤。

將此公用程式與 /etc/multipath.conf 檔案中的 reservation_key 屬性配合使用，可設定 SCSI 裝置的永久保留。當且僅當設定了此選項時，multipathd 精靈才會檢查新探查到的路徑或重新啟用之路徑的永久保留。

您可以將該屬性新增至 multipath.conf 的 defaults 或 multipaths 區段。例如：

multipaths {
    multipath {
        wwid             3600140508dbcf02acb448188d73ec97d
        alias            yellow
        reservation_key  0x123abc
    }
}

為適用於永久管理的所有 mpath 裝置設定 reservation_key 參數後，使用 multipathd reconfigure 重新載入組態。

注意：使用 “reservation_key file”

如果在 multipath.conf 的 defaults 區段中使用了特殊值 reservation_key file，則可以使用 mpathpersist 以動態方式在檔案 /etc/multipath/prkeys 中管理保留金鑰。

這是處理多重路徑對應永久保留的建議方法。從 SUSE Linux Enterprise Server 12 SP4 開始可以使用這種方法。

使用指令 mpathpersist 查詢和設定由 SCSI 裝置組成的多重路徑對應的永久保留。如需詳細資料，請參閱手冊頁 mpathpersist(8)。指令列選項與 sg3_utils 套件中 sg_persist 的選項相同。sg_persist(8) 手冊頁詳細解釋了選項的語意。

在以下範例中，DEVICE 表示裝置對應程式多重路徑裝置，例如 /dev/mapper/mpatha。以下指令與長選項一起列出，以方便閱讀。可以用單個字母取代所有選項，例如 mpathpersist -oGS 123abc DEVICE。

若要允許多重路徑服務在開機時啟動，請執行以下指令：

> sudo systemctl enable multipathd

若要在執行中的系統上手動啟動該服務，請輸入：

> sudo systemctl start multipathd

若要重新啟動該服務，請輸入：

> sudo systemctl restart multipathd

在大多數情況下不需要重新啟動該服務。若要簡單地讓 multipathd 重新載入其組態，請執行：

> sudo systemctl reload multipathd

若要檢查該服務的狀態，請輸入：

> sudo systemctl status multipathd

若要停止目前工作階段中的多重路徑服務，請執行：

> sudo systemctl stop multipathd multipathd.socket

停止服務不會移除現有的多重路徑對應。若要移除未使用的對應，請執行以下指令：

> sudo multipath -F

警告：將 multipathd.service 保持為啟用狀態

我們強烈建議永遠將 multipathd.service 保持為啟用狀態，並讓其在配有多重路徑硬體的系統上執行。雖然該服務支援 systemd 的通訊端啟用機制，但我們不建議您依賴於該機制。如果停用該服務，開機期間將不會設定多重路徑對應。

注意：停用多重路徑

如果您需要在出現上述警告的情況下停用多重路徑，例如，因為要部署協力廠商多重路徑軟體，請執行以下操作。確定系統不會使用多重路徑裝置的硬式編碼參考 (請參閱第 18.15.2 節 「瞭解裝置參考問題」)。

若要僅為單次系統開機停用多重路徑，請使用核心參數 multipath=off。這會影響已開機的系統和 initramfs (在這種情況下不需要重建)。

若要永久停用 multipathd 服務，使其不會在系統今後開機時啟動，請執行以下指令：

> sudo systemctl disable multipathd multipathd.socket
> sudo dracut --force --omit multipath

(每次停用或啟用多重路徑服務後，都需要重建 initramfs。請參閱第 18.7.4 節 「將 initramfs 與系統保持同步」)。

如果您想確保不設定多重路徑裝置 (即使是手動執行 multipath 時)，請在重建 initramfs 之前，將以下幾行新增至 /etc/multipath.conf 的結尾：

blacklist {
    wwid .*
}

在為 SAN 裝置設定多重路徑 I/O 之前，請視需要執行以下步驟準備 SAN 裝置：

如果已偵測到多重路徑裝置並已啟用 multipathd.service，則應會自動建立多重路徑對應。如果未自動建立，第 18.15.3 節 「緊急模式下的疑難排解步驟」 會列出一些可用於檢查該情況的外圍程序指令。如果 HBA 驅動程式無法探查到 LUN，請檢查 SAN 中的區域設定。尤其是要檢查 LUN 遮罩是否處於使用中，且 LUN 是否正確地指定給伺服器。

如果 HBA 驅動程式可以探查到 LUN，但未建立相應的區塊裝置，則可能需要使用額外的核心參數。請參閱 https://www.suse.com/support/kb/doc.php?id=3955167 上 SUSE 知識庫中的 TID 3955167: Troubleshooting SCSI (LUN) Scanning Issues。

多重路徑對應可以像其路徑裝置一樣包含分割區。分割區表掃描以及為分割區建立裝置節點的操作是由 kpartx 工具在使用者空間中執行的。kpartx 由 udev 規則自動呼叫，通常不需要手動執行。請參閱第 18.12.4 節 「參考多重路徑對應」獲取參考多重路徑分割區的方法。

注意：禁止呼叫 kpartx

可以在 /etc/multipath.conf 中使用 skip_kpartx 選項來禁止對選定的多重路徑對應呼叫 kpartx。例如，在虛擬化主機上，這種做法可能很有用。

可以使用 YaST 或者使用 fdisk 或 parted 等工具來如常操作多重路徑裝置上的分割區表和分割區。當分割工具退出時，系統會記下套用於分割區表的變更。如果這種方法不起作用 (通常是因為裝置忙碌)，請嘗試執行 multipathd reconfigure 或將系統重新開機。

重要

對於所有區塊裝置，是否以及如何使用多重路徑，初始 RAM 檔案系統 (initramfs) 與已開機系統的行為務必要保持一致。套用多重路徑組態變更後重建 initramfs。

如果在系統中啟用了多重路徑，那麼也需要在 initramfs 中啟用多重路徑，反之亦然。此規則的唯一例外情況是第 18.3.2.2 節 「根檔案系統位於本地磁碟上」中所述的選項 在 initramfs 中停用多重路徑。

必須在已開機系統與 initramfs 之間同步多重路徑組態。因此，如果您變更 /etc/multipath.conf、/etc/multipath/wwids 和 /etc/multipath/bindings 中的任一檔案，或者其他與裝置識別相關的組態檔案或 udev 規則，請使用以下指令重建 initramfs：

> sudo dracut -f

如果 initramfs 與系統不同步，系統將無法正常開機，啟動程序可能會顯示緊急外圍程序。如需如何避免或修復此類情況的說明，請參閱第 18.15 節 「MPIO 疑難排解」。

> sudo dracut --force --add multipath

> sudo dracut --force --omit multipath

/dev/mapper/3600a098000aad73f00000a3f5a275dc8-part1

> sudo dracut --force --omit multipath --persistent-policy=by-uuid

建議您建立只包含要變更設定的最小 /etc/multipath.conf。在很多情況下，您根本不需要建立 /etc/multipath.conf。

如果您想要使用包含所有可能組態指令的組態範本，請執行：

multipath -T >/etc/multipath.conf

另請參閱第 18.14.1 節 「有關組態的最佳實務」。

/etc/multipath.conf 檔案使用由區段、子區段和選項/值組構成的階層。

以下範例展示了相應語法：

section {
    subsection {
        option1 value
        option2      "complex value!"
        option3    "value with ""quoted"" word"
    } ! subsection end
} # section end

/etc/multipath.conf 檔案由下列區段構成。某些選項可以出現在多個區段中。如需詳細資料，請參閱multipath.conf(5)。

若要套用組態變更，請執行：

> sudo multipathd reconfigure

請不要忘記與 initramfs 中的組態同步。請參閱 第 18.7.4 節 「將 initramfs 與系統保持同步」。

警告：不要使用 multipath 套用設定

當 multipath 正在執行時，請不要使用 multipathd 指令套用新設定。否則可能導致設定不一致甚至損壞。

注意：驗證已修改的設定

在套用已修改的設定之前，可以先執行以下指令對其進行測試：

> sudo multipath -d -v2

此指令會顯示要使用建議的拓撲建立的新對應，但不顯示是否會移除/衝洗對應。若要獲得更多資訊，請以更高的詳細程度執行：

> sudo multipath -d -v3 2>&1 | less

如果您為獨立伺服器設定了多重路徑 I/O，設定為 queue 值的 no_path_retry 可使伺服器作業系統在儘可能長的時間內不收到 I/O 錯誤。它會使訊息排入佇列，直至發生多重路徑容錯移轉。如果不需要「無限期」排入佇列 (見上文)，請選取一個您認為足夠高的數值，以便儲存路徑能在正常情況下復原 (見上文)。

為高可用性叢集中的節點設定多重路徑 I/O 時，您希望多重路徑報告 I/O 故障以觸發資源容錯移轉，而不是等待多重路徑容錯移轉得以解決。在叢集環境中，您必須修改 no_path_retry 設定，以確保在與儲存系統的連接中斷時，叢集節點會收到與叢集驗證程序相關的 I/O 錯誤 (建議設為 heartbeat 容錯的 50%)。此外，您還希望將多重路徑 failback 設為 manual 或 followover，以免因路徑失敗而造成資源的乒乓效應。

/etc/multipath.conf 檔案可能包含 blacklist 區段，其中會列出 multipathd 和 multipath 應該忽略的所有裝置。以下範例展示了可用於排除裝置的方法：

blacklist {
    wwid 3600605b009e7ed501f0e45370aaeb77f 1
    device {  2
        vendor ATA
        product .*
    }
    protocol scsi:sas 3
    property SCSI_IDENT_LUN_T10 4
    devnode "!^dasd[a-z]*" 5
}

> sudo multipathd show paths format "%d %P"

依預設，multipath-tools 會忽略除 SCSI、DASD 或 NVMe 以外的所有裝置。從技術上講，內建的 devnode 排除清單就是下面這個否定的規則運算式：

    devnode !^(sd[a-z]|dasd[a-z]|nvme[0-9])

有時，需要僅將非常具體的裝置設定為用於多重路徑。在這種情況下，需預設排除裝置，並將應成為多重路徑對應一部分的裝置定義為例外。blacklist_exceptions 區段就用於實現此目的。該區段的一般用法如下方範例所示，該範例排除了所有儲存裝置，產品字串為「NETAPP」的儲存裝置除外：

blacklist {
     wwid .*
}
blacklist_exceptions {
     device {
         vendor ^NETAPP$
         product .*
     }
}

blacklist_exceptions 區段支援上文所述適用於 blacklist 區段的所有方法。

blacklist_exceptions 中的 property 指令是強制性的，因為每部裝置必須至少具有一個「允許的」udev 內容，才能視為多重路徑的路徑裝置 (內容的值無關緊要)。property 的內建預設值為

    property (SCSI_IDENT_|ID_WWN)

系統只會包含至少具有一個與此規則運算式相符的 udev 內容的裝置。

除了 blacklist 選項外，/etc/multipath.conf 中的數個其他設定也會影響哪些裝置可視為多重路徑裝置。

多重路徑操作必須能夠可靠地偵測代表同一儲存磁碟區各個路徑的裝置。為實現此目的，multipath-tools 使用了裝置的全球通用識別碼 (WWID) (有時也稱為通用唯一 ID (UUID) 或唯一 ID (UID — 請勿與「使用者 ID」混淆))。對應裝置的 WWID 一律與其路徑裝置的 WWID 相同。

依預設，系統會從 sysfs 檔案系統讀取裝置屬性，或使用特定的 I/O 指令，來根據裝置 udev 內容 (在 udev 規則中確定) 推斷路徑裝置的 WWID。若要查看裝置的 udev 內容，請執行以下指令：

> udevadm info /dev/sdx

multipath-tools 用於衍生 WWID 的 udev 內容如下：

警告：避免變更 WWID

無法變更使用中多重路徑對應的 WWID。如果已對應路徑裝置的 WWID 因組態變更而變更，則需要損毀該對應，並使用新的 WWID 設定新對應。如果舊對應正在使用中，則無法執行此操作。在極端情況下，WWID 變更可能會導致資料損毀。因此，必須嚴格避免套用會導致對應 WWID 變更的組態變更。

在 /etc/multipath.conf 中啟用 uid_attrs 選項可以實現此目的，請參閱第 18.13 節 「其他選項」。

可以在 /etc/multipath.conf 的 multipaths 區段中設定任意對應名稱，如下所示：

multipaths {
    multipath {
        wwid 3600a098000aad1e3000064e45f2c2355
        alias postgres
    }
}

別名較為易懂，但需要個別將它們指定給每個對應，這在大型系統上可能很麻煩。

multipath-tools 還支援自動產生的別名，即所謂的「使用者易記名稱」。別名的命名方案遵循以下模式：mpathINDEX，其中 INDEX 為小寫字母 (以 a 開頭)。因此，首個自動產生的別名為 mpatha，下一個別名為 mpathb、然後是 mpathc，直至 mpathz。之後是 mpathaa、mpathab 等，依此類推。

對應名稱只有在永久存在時才有用。multipath-tools 會在 /etc/multipath/bindings 檔案 (「bindings 檔案」) 中記錄指定的名稱。建立新對應時，首先會在此檔案中尋找 WWID。如果未找到，則會為對應指定可用性最低的使用者易記名稱。

第 18.12.2 節 「為多重路徑對應設定別名」中所述的明確別名優先於使用者易記名稱。

/etc/multipath.conf 中的以下選項會影響使用者易記名稱：

警告：高可用性叢集中的對應名稱

對於叢集操作，裝置名稱必須在叢集的所有節點間都相同。multipath-tools 組態必須在節點之間保持同步。如果使用 user_friendly_names，multipathd 可以在執行時期修改 /etc/multipath/bindings 檔案。此類修改必須動態複製到所有節點。這同樣適用於 /etc/multipath/wwids (請參閱第 18.11.3 節 「影響選取裝置的其他選項」)。

注意：在執行時期變更對應名稱

可以在執行時期變更對應名稱。使用本節中所述的任何方法以及執行 multipathd reconfigure，都可變更對應名稱，而不會造成系統作業中斷。

從技術上講，多重路徑對應是裝置對應程式裝置，其名稱一般採用 /dev/dm-n 格式，其中 n 為整數。這些名稱不是永久存在的。切勿使用它們來參考多重路徑對應。udev 會建立指向這些裝置的各種符號連結，這些連結更適合做為永久參考。這些連結的不同之處在於它們不會隨特定組態的變更而變化。下面的一般範例展示了所有指向同一裝置的各種符號連結。

/dev/disk/by-id/dm-name-mpathb1 -> ../../dm-1
/dev/disk/by-id/dm-uuid-mpath-3600a098000aad73f00000a3f5a275dc82 -> ../../dm-1
/dev/disk/by-id/scsi-3600a098000aad73f00000a3f5a275dc83 -> ../../dm-1
/dev/disk/by-id/wwn-0x600a098000aad73f00000a3f5a275dc84 -> ../../dm-1
/dev/mapper/mpathb5 -> ../dm-1

filter = [ "a|/dev/disk/by-id/dm-uuid-mpath-.*|", "r|.*|" ]

對於 kpartx 工具所建立多重路徑對應上的分割區，存在類似的符號連結，它們源自父裝置名稱或 WWID 和分割區編號：

/dev/disk/by-id/dm-name-mpatha-part2 -> ../../dm-5
/dev/disk/by-id/dm-uuid-part2-mpath-3600a098000aad1e300000b4b5a275d45 -> ../../dm-5
/dev/disk/by-id/scsi-3600a098000aad1e300000b4b5a275d45-part2 -> ../../dm-5
/dev/disk/by-id/wwn-0x600a098000aad1e300000b4b5a275d45-part2 -> ../../dm-5
/dev/disk/by-partuuid/1c2f70e0-fb91-49f5-8260-38eacaf7992b -> ../../dm-5
/dev/disk/by-uuid/f67c49e9-3cf2-4bb7-8991-63568cb840a4 -> ../../dm-5
/dev/mapper/mpatha-part2 -> ../dm-5

請注意，分割區通常也有 by-uuid 連結，該連結不參考裝置自身，而是參考裝置包含的檔案系統。一般最好使用這些連結。即使將檔案系統複製到不同的裝置或分割區，這些連接也不會變更。

警告：initramfs 中的對應名稱

當 dracut 建構 initramfs 時，會在 initramfs 中建立裝置的硬式編碼參考，並預設使用 /dev/mapper/$MAP_NAME 參考。如果 initramfs 中使用的對應名稱與建構 initramfs 時使用的名稱不符，在開機期間將找不到這些硬式編碼參考，導致開機失敗。這種情況通常不會發生，因為 dracut 會將所有多重路徑組態檔案新增至 initramfs 中。但如果 initramfs 是從不同的環境 (例如，在救援系統中或在離線更新期間) 建構的，就會出現問題。為防止這類開機失敗，請變更 dracut 的 persistent_policy 設定 (如第 18.7.4.2 節 「initramfs 中永久裝置的名稱」所述)。

架構中的不穩定狀況可能會導致路徑裝置行為不正常。它們頻繁出現 I/O 錯誤、復原然後再次失敗。此類路徑裝置也稱為「臨界」或「不穩定」路徑。本節概述了 multipath-tools 提供的一些可解決此問題的選項。

注意：multipathd 的臨界路徑檢查演算法

如果首次失敗後尚未過去 marginal_path_double_failed_time，路徑裝置便出現第二次失敗 (從良好轉變為不佳)，multipathd 會開始以每秒 10 次申請的速率監控該路徑，監控期為 marginal_path_err_sample_time。如果在監控期內錯誤率超過 marginal_path_err_rate_threshold，則會將該路徑歸類為臨界路徑。marginal_path_err_recheck_gap_time 過後，該路徑會再次轉變為正常狀態。

如果所有四個 marginal_path_ 數字參數均設定為正值，並且 marginal_pathgroups 未設定為 fpin，系統便會使用此演算法。從 SUSE Linux Enterprise Server 15 SP1 和 SUSE Linux Enterprise Server 12 SP5 開始，可以使用此演算法。

您也可以使用一種更簡單的演算法，這種演算法使用參數 san_path_err_threshold、san_path_err_forget_rate 和 san_path_err_recovery time。建議對 SUSE Linux Enterprise Server 15 (GA) 採用此演算法。請參閱 multipath.conf(5) 中的「不穩定路徑偵測」部分。

大量的組態指令一開始會令人望而生畏。通常，使用空組態便能獲得較好的結果，除非您處於叢集環境中。

下面是一些針對獨立伺服器的一般建議。它們並非強制性要求。如需背景資訊，請參閱前面小節中各參數的相關描述。

defaults {
    deferred_remove      yes
    find_multipaths      smart
    enable_foreign       nvme
    marginal_pathgroups  fpin    # 15.4 only, if supported by fabric
}
devices {
    # A catch-all device entry.
    device {
        vendor                .*
        product               .*
        dev_loss_tmo          infinity
        no_path_retry         60            # 5 minutes
        path_grouping_policy  group_by_prio
        path_selector         "historical-service-time 0"
        reservation_key       file          # if using SCSI persistent reservations
    }
    # Follow up with specific device entries below, they will take precedence.
}

修改 /etc/multipath.conf 檔案後，套用您的設定 (請參閱第 18.8.4 節 「套用 multipath.conf 修改」)。

若要快速瞭解多重路徑子系統，請使用 multipath -ll 或 multipathd show topology。這些指令的輸出具有相同格式。前一個指令讀取核心狀態，而後一個指令列印多重路徑精靈的狀態。兩個狀態通常是相同的。下面是一個輸出範例：

> sudo multipathd show topology
mpatha1 (3600a098000aad1e300000b4b5a275d452) dm-03 NETAPP,INF-01-004
size=64G features='3 queue_if_no_path pg_init_retries 50'5 hwhandler='1 alua'6 wp=rw7
|-+- 8policy='historical-service-time 2'9 prio=5010 status=active11
| |-12 3:0:0:113 sdb 8:1614 active15 ready16 running17
| `- 4:0:0:1 sdf 8:80  active ready running
`-+- policy='historical-service-time 2' prio=10 status=enabled
  `- 4:0:1:1 sdj 8:144 active ready running

多重路徑的路徑裝置狀態包括：

LVM2 具有內建的多重路徑裝置偵測支援。/etc/lvm/lvm.conf 中預設會啟用該支援：

    multipath_component_detection=1

僅當 LVM2 也設定為從 udev 獲取有關裝置內容的資訊時，此功能才可靠：

    external_device_info_source="udev"

這是 SUSE Linux Enterprise 15 SP4 中的預設設定，但早期版本中並非如此。您也可以 (儘管通常沒有必要) 為 LVM2 建立過濾運算式，以忽略除多重路徑裝置之外的所有裝置。請參閱 第 18.12.4 節 「參考多重路徑對應」。

如果所有路徑同時失敗，並且 I/O 已排入佇列，應用程式可能會停滯很長時間。若要解決此問題，您可以使用以下程序：

多重路徑上的 MD RAID 陣列由系統的 udev 規則自動設定。無需在 /etc/mdadm.conf 中進行特殊的組態設定。

如果已將系統設定為啟用多重路徑，並且您需要將儲存新增到 SAN，則可以使用 rescan-scsi-bus.sh 程序檔掃描新裝置。該指令的一般語法如下：

> sudo rescan-scsi-bus.sh [-a] [-r] --hosts=2-3,5

其中各選項的含義如下：

若要獲取其他選項的說明，請執行 rescan-scsi-bus.sh --help。

如果 multipathd 在執行中，並且探查到新的 SAN 裝置，系統應該會根據第 18.11 節 「選取要用於多重路徑的裝置」所述的組態自動將它們設定為多重路徑對應。

警告：Dell/EMC PowerPath 環境

在 EMC PowerPath 環境中，請勿使用作業系統隨附的 rescan-scsi-bus.sh 公用程式或 HBA 廠商程序檔來掃描 SCSI 匯流排。為了避免潛在的檔案系統損毀，EMC 要求您遵循 EMC PowerPath for Linux 的廠商文件中提供的程序來操作。

區塊裝置要麽做為多重路徑對應的一部分，要麽直接使用 (掛接為檔案系統、做為交換、LVM 實體磁碟區或其他)。如果裝置已掛接，則 multipathd 想要使其成為多重路徑對應一部分的嘗試將失敗，並顯示「裝置或資源正忙」錯誤。反之亦然，如果 systemd 嘗試掛接已成為多重路徑對應一部分的裝置，則會出現相同的錯誤。

開機期間的儲存裝置啟用由 systemd、udev、multipathd 和其他一些工具之間的複雜互動處理。udev 規則起著核心作用。它們會設定裝置內容，用於指示其他子系統應如何使用裝置。與多重路徑相關的 udev 規則會為選定用於多重路徑的裝置設定以下內容：

SYSTEMD_READY=0
DM_MULTIPATH_DEVICE_PATH=1

分割區裝置會從其父裝置繼承這些內容。

如果這些內容設定得不正確，一些工具會忽視這些內容，或者如果設定得太晚，則可能會導致 multipathd 與其他一些子系統之間出現競爭情形。只有一個競爭者能夠勝出；另一個會看到「裝置或資源正忙」錯誤。

這種情況下會出現如下問題：LVM2 套件的工具預設不評估 udev 內容。它們依靠自己的邏輯來確定裝置是否為多重路徑元件，這有時與系統其餘部分的邏輯不符。如需規避此問題的方法，請參閱第 18.14.3 節 「在多重路徑裝置上使用 LVM2」。

注意：開機鎖死的範例

假設有這樣一個擁有多重路徑的系統，其根裝置未進行多重路徑處理，並且沒有裝置被排除在多重路徑之外 (請參閱第 18.3.2.2 節 「根檔案系統位於本地磁碟上」中的在 initramfs 中停用多重路徑)。根檔案系統掛接在 initramfs 中。systemd 切換到根檔案系統，並且 multipathd 啟動。由於裝置已掛接，multipathd 未能為其設定多重路徑對應。由於未在 blacklist 中設定根裝置，因此系統會將其視為多重路徑裝置並為其設定 SYSTEMD_READY=0。

稍後在開機過程中，系統會嘗試掛接其他檔案系統，例如 /var 和 /home。通常，這些檔案系統將與根檔案系統位於同一裝置上，預設做為根檔案系統自身的 BTRFS 子磁碟區。但 systemd 因 SYSTEMD_READY=0 無法掛接它們。我們陷入了鎖死狀態：無法建立 dm-multipath 裝置，並且基礎裝置因 systemd 而封鎖。無法掛接其他檔案系統，導致開機失敗。

我們目前已經擁有應對此問題的解決方案。 multipathd 會偵測到此情況，並將裝置釋放到 systemd，之後其可繼續掛接檔案系統。儘管如此，瞭解這個普遍性問題很重要，因為它可能仍會以更難以察覺的方式發生。

第 18.7.4.2 節 「initramfs 中永久裝置的名稱」中提供了裝置參考問題的範例。通常情況下會有多個符號連結指向一個裝置節點 (請參閱第 18.12.4 節 「參考多重路徑對應」)。但這些連結並不總是存在；udev 會根據目前的 udev 規則建立它們。例如，如果多重路徑關閉，/dev/mapper/ 下多重路徑裝置的符號連結將遺失。因此，對 /dev/mapper/ 裝置的任何參考都將失敗。

此類參考可能會出現在許多地方，特別是在 /etc/fstab 和 /etc/crypttab 中、initramfs 中，甚至是在核心指令列上。

若要規避此問題，最安全的方法就是避免使用無法在重新開機後永久保留或相依於系統組態的裝置參考。一般而言，我們建議透過檔案系統自身的內容 (例如 UUID 或標籤) 而不是包含參考的裝置來參考檔案系統 (以及類似的實體，如交換空間)。如果此類參考不可用並且需要裝置參考 (例如，在 /etc/crypttab 中)，則應仔細評估選項。例如，在 第 18.12.4 節 「參考多重路徑對應」 中，最佳選項可能是 /dev/disk/by-id/wwn- 連結，因為它也可與 multipath=off 配合使用。

由於存在許多差別非常細微的錯誤情況，因此無法提供逐步復原指南。但憑藉前幾節的背景知識，如果系統因多重路徑問題進入緊急模式，您應該能夠找出問題所在。在您開始除錯前，請確定您已檢查以下問題：

如果您不確定最後一個問題的答案，這裡有一個 dracut 緊急提示範例，切換根之前會列印範例所示的內容：

Generating "/run/initramfs/rdsosreport.txt"
Entering emergency mode. Exit the shell to continue.
Type "journalctl" to view system logs.

You might want to save "/run/initramfs/rdsosreport.txt" to a USB stick or /boot
after mounting them and attach it to a bug report.

Give root password for maintenance
(or press Control-D to continue):

如果提及 rdsosreport.txt，即表明系統仍從 initramfs 中執行。如果您仍然不確定，請登入系統並檢查 /etc/initrd-release 檔案是否存在。此檔案僅存在於 initramfs 環境中。

如果是在切換根之後進入緊急模式，緊急提示內容與此相似，但不會提及 rdsosreport.txt：

Timed out waiting for device dev-disk-by\x2duuid-c4a...cfef77d.device.
[DEPEND] Dependency failed for Local File Systems.
[DEPEND] Dependency failed for Postfix Mail Transport Agent.
Welcome to emergency shell
Give root password for maintenance
(or press Control-D to continue):

如需 SUSE Linux Enterprise Server 上多重路徑 I/O 問題疑難排解的相關詳細資訊，請參閱 SUSE 知識庫中的下列技術資訊文件 (TID)：