High Availability Extension 支援以下情境：

叢集最多可以包含 32 個 Linux 伺服器。使用 pacemaker_remote 可擴充叢集使其突破此限制，以包含更多 Linux 伺服器。可以使用叢集內的任一伺服器重新啟動同一叢集中之失敗伺服器中的資源 (應用程式、服務、IP 位址和檔案系統)。

High Availability Extension 附帶 Corosync 訊息傳送與成員資格層及 Pacemaker 叢集資源管理員。使用 Pacemaker，管理員可持續監控其資源的健康狀況和狀態，並管理相依性。他們可根據高度可設定的規則，自動停止和啟動服務。High Availability Extension 可讓您對叢集量身打造，以包含滿足貴組織需求的特定應用程式和硬體架構。時間相關組態可讓服務在指定時間自動移轉回已修復節點。

使用 High Availability Extension，您可以視需要動態指定和重新指定伺服器儲存。它支援光纖通道或 iSCSI 儲存區域網路 (SAN)。還支援共享磁碟系統，但這些系統並非必要系統。SUSE Linux Enterprise High Availability Extension 還隨附了叢集感知檔案系統 (OCFS2) 和叢集邏輯磁碟區管理員 (叢集 LVM2)。若要複製您的資料，請使用 DRBD* 將高可用性服務的資料自叢集主動節點鏡像複製到待命節點。此外，SUSE Linux Enterprise High Availability Extension 還支援一種用於 Samba 叢集的技術：CTDB (叢集化簡單資料庫，Clustered Trivial Database)。

SUSE Linux Enterprise High Availability Extension 支援包含實體與虛擬 Linux 伺服器的混合叢集。SUSE Linux Enterprise Server 15 SP2 隨附有 Xen (一種開放原始碼的虛擬化監管程式) 和 KVM (基於核心的虛擬機器，Kernel-based Virtual Machine)。KVM 是一款適用於 Linux 的虛擬化軟體，基於硬體虛擬化延伸。High Availability Extension 中的叢集資源管理員可辨識、監控和管理虛擬伺服器以及實體伺服器上正在執行的服務。叢集可以將訪客系統做為服務進行管理。

SUSE Linux Enterprise High Availability Extension 已經過延伸，可支援多種不同的地理分佈情境。Geo Clustering for SUSE Linux Enterprise High Availability Extension 支援地理位置分散的叢集 (Geo 叢集)。

各叢集節點之間的地理位置相隔越遠，可能干擾叢集所提供服務的高可用性的因素就越多。網路延遲、有限的頻寬和對儲存的存取是遠距離叢集面臨的主要挑戰。

SUSE Linux Enterprise High Availability Extension 中包含大量資源代辦，用於管理 Apache、IPv4、IPv6 等眾多資源。它還內建有適用於 IBM WebSphere Application Server 等廣受歡迎的協力廠商應用程式的資源代辦。如需產品隨附的 Open Cluster Framework (OCF) 資源代辦綜覽，請依照第 8.1.3 節 「顯示 OCF 資源代辦的相關資訊」所述使用 crm ra 指令。

High Availability Extension 隨附有一組強大的工具。您可使用這些工具進行基本的叢集安裝和設定，並能實現高效的組態設定和管理：

High Availability Extension 採用分層結構。圖形 1.6 「結構」 說明不同的層及其相關的元件。

圖 1.6︰ 結構 #

 

pacemakerd 精靈將會啟動並監控其他所有相關精靈。用於協調所有動作的精靈 pacemaker-controld 在每個叢集節點上都有一個例項。Pacemaker 會選出其中一個例項做為主要例項，以此來集中做出所有叢集決策。如果選出的 pacemaker-controld 精靈發生失敗，則會建立一個新的精靈。

在叢集中執行的許多動作都會導致全叢集發生變更。這些動作包括新增或移除叢集資源，或變更資源條件約束等。執行此類動作時，必須瞭解叢集中會發生什麼狀況。

例如，假設您要新增叢集 IP 位址資源。為此，您可以使用 crm 外圍程序或 Web 介面來修改 CIB。不必在 DC 上執行動作，您可以使用叢集中的任何節點上的其中一種工具，動作即會轉送至 DC。然後，DC 會將 CIB 變更複製到所有叢集節點。

隨後，pacemaker-schedulerd 將根據 CIB 中的資訊，計算叢集的理想狀態以及應如何達到該狀態。它會將指令清單饋送給 DC。DC 透過訊息傳送/基礎架構層送出指令，而這些指令將由其他節點上的 pacemaker-controld 對等體接收。每個對等體使用自身的本地資源代辦執行程式 (實作為 pacemaker-execd) 來執行資源修改。pacemaker-execd 不支援叢集感知，它會直接與資源代辦互動。

所有對等節點都會將其操作結果報告給 DC。DC 確定已在叢集中成功執行了所有必要的操作後，叢集就會轉回閒置狀態，等待以後的事件。如果有任何操作未按計畫執行，則會用 CIB 中記錄的新資訊再次呼叫 pacemaker-schedulerd。

在某些情況下，可能需要關閉節點以保護共享資料或完成資源復原。在 Pacemaker 叢集中，節點層級圍籬區隔的實作為 STONITH。為此，Pacemaker 隨附了一個圍籬區隔子系統 pacemaker-fenced。必須將 STONITH 裝置設定為叢集資源 (使用特定的圍籬區隔代辦)，如此可以監控圍籬區隔裝置。當用戶端偵測到故障時，會將一個要求傳送至 pacemaker-fenced，後者再執行圍籬區隔代辦來關閉節點。

若要成功使用 Csync2 來同步檔案，必須符合以下要求：

因此，在首次執行 Csync2 之前，需要做好以下準備：

如需 Csync2 選項的詳細資訊，請執行

csync2 -help

注意：發生任何變更後推送同步

Csync2 僅會推送變更，而不會持續在機器間同步檔案。

每次對需要同步的檔案進行更新時，都需要將變更推入至其餘機器：在您進行了變更的機器上執行 csync2  -xv。如果在未變更檔案的任何其他機器上執行該指令，系統不會執行任何操作。

本節適用於以下案例：

如果您的叢集仍然以早期的產品版本而不是上面所列版本為基礎，請先將它升級至 SLES 和 SLE HA 的某個版本，而該版本可用做升級至所需目標版本的來源。

注意：升級 CIB 語法版本

有時，新功能只能在最新的 CIB 語法版本中使用。升級至新的產品版本時，預設不會升級 CIB 語法版本。

1. 使用以下指令檢查版本：

   cibadmin -Q | grep validate-with

2. 使用以下指令升級至最新的 CIB 語法版本：

   root # cibadmin --upgrade --force

程序 5.2︰ 從產品版本 12 升級至 15：叢集離線升級 #

 

重要：從頭開始安裝

如果您決定從頭開始安裝叢集節點 (而不是升級它們)，請參閱第 2.2 節 「軟體要求」以取得 SUSE Linux Enterprise High Availability Extension 15 SP2 所需的模組清單。如需模組、延伸及相關產品的詳細資訊，請參閱 SUSE Linux Enterprise Server 15 的版本說明。您可以從 https://www.suse.com/releasenotes/ 上取得這些文件。

1. 在開始離線升級至 SUSE Linux Enterprise High Availability Extension 15 之前，請如注意：升級 CIB 語法版本所述手動升級目前叢集中的 CIB 語法。

2. 登入每個叢集節點，並使用以下指令停止叢集堆疊：

   root # crm cluster stop

3. 將每個叢集節點都升級至 SUSE Linux Enterprise Server 和 SUSE Linux Enterprise High Availability Extension 的所需目標版本 — 請參閱第 5.2.1 節 「SLE HA 和 SLE HA Geo 支援的升級路徑」。

4. 完成升級程序後，請登入每個節點，並將安裝了 SUSE Linux Enterprise Server 和 SUSE Linux Enterprise High Availability Extension 升級版的每個節點開機。

5. 如果您使用叢集 LVM，則需要從 clvmd 移轉至 lvmlockd。請參閱 lvmlockd 的 man 頁面中的「changing clvm VG to lockd VG」(將 clvm VG 變更為 lockd VG) 部分，另請參閱第 21.4 節 「從鏡像 LV 線上移轉至叢集 MD」。

6. 使用以下指令啟動叢集堆疊：

   root # crm cluster start

7. 使用 crm status 或 Hawk2 檢查叢集狀態。

本節適用於以下案例：

警告：使用中的叢集堆疊

在開始升級某個節點之前，請停止該節點上的叢集堆疊。

如果某個節點上的叢集資源管理員在軟體更新期間處於使用中狀態，可能會導致出現不可預知的結果，例如圍籬區隔使用中的節點。

重要：叢集滾存升級的時間限制

只有將所有叢集節點升級至最新產品版本之後，才可使用最新產品版本隨附的新功能。在叢集滾存升級期間，只有一段較短的時間支援混合版本叢集升級。請在一週內完成叢集滾存升級。

全域叢集選項控制叢集在遇到特定情況時的運作方式。它們分為不同的組，可透過 Hawk2 和 crm 外圍程序等叢集管理工具來檢視和修改。

一般情況下，可以保留預先定義的值。但是，為了讓叢集的關鍵功能正常運作，還需要在執行基本叢集設定後調整以下參數：

此全域選項定義在叢集分割區沒有達到最低節點數 (節點多數不是該分割區的一部分) 時如何運作。

允許的值：

此全域選項定義是否套用圍籬區隔，以允許 STONITH 裝置關閉失敗的節點以及其上資源無法停止的節點。此全域選項預設為 true，因為正常的叢集運作需要使用 STONITH 裝置。依據預設值，如果未定義 STONITH 資源，叢集將拒絕啟動任何資源。

如果出於某種原因需要停用圍籬區隔，請將 stonith-enabled 設定為 false，但請注意，這樣做會影響您產品的支援狀態。此外，使用 stonith-enabled="false" 設定時，分散式鎖定管理員 (DLM) 等資源以及依存於 DLM 的所有服務 (例如 cLVM、GFS2 和 OCFS2) 都將無法啟動。

重要：不支援沒有 STONITH 的組態

系統不支援沒有 STONITH 的叢集。

使用開機程序檔時，Corosync 組態包含一個 quorum 區段，其中包含以下選項：

quorum {
   # Enable and configure quorum subsystem (default: off)
   # see also corosync.conf.5 and votequorum.5
   provider: corosync_votequorum
   expected_votes: 2
   two_node: 1
}

相較於 SUSE Linux Enterprise 11，SUSE Linux Enterprise 12 中的 votequorum 子系統以 Corosync 版本 2.x 為基礎。這表示不可使用 no-quorum-policy=ignore 選項。

當設定了 two_node: 1 時，預設會自動啟用 wait_for_all 選項。如果未啟用 wait_for_all，則叢集應在兩個節點上平行啟動。否則，第一個節點將對缺少的第二個節點執行啟動圍籬區隔。

如果不使用雙節點叢集，我們強烈建議使用奇數數量的節點來構成 N 節點叢集。在仲裁組態方面，可以使用以下選項：

如果您要手動調整 /etc/corosync/corosync.conf，請使用以下設定：

quorum {
   provider: corosync_votequorum 1
   expected_votes: N 2
   wait_for_all: 1 3
}

若想在叢集中使用某項資源，必須先對其進行設定。例如，如果想要使用 Apache 伺服器做為叢集資源，請先設定 Apache 伺服器並完成 Apache 組態設定，然後才能在叢集中啟動各個資源。

如果資源具有特定的環境要求，請確保這些要求在所有叢集節點上均得到滿足並且一致。此類組態並非由 High Availability Extension 管理。您必須自行管理。

注意：不要對叢集管理的服務執行任何操作

當您正透過 High Availability Extension 管理某個資源時，就不能再啟動或停止該資源 (例如，不能在叢集之外手動啟動或停止，或者在開機或重新開機時啟動或停止)。High Availability Extension 軟體負責所有服務的啟動或停止動作。

如果服務已在叢集控制下執行，而您需要執行測試或維護任務，請務必先將資源、節點或整個叢集置於維護模式，然後再對其進行任何手動處理。如需詳細資料，請參閱第 16.2 節 「用於維護任務的不同選項」。

在叢集中設定資源之後，可以使用叢集管理工具手動啟動、停止、清理、移除或移轉資源。以下為如何使用偏好的叢集管理工具執行這些操作的詳細資料：

重要：資源 ID 和節點名稱

叢集資源和叢集節點的名稱應該不同。否則 Hawk2 將會失敗。

對於每個新增的叢集資源，都需要定義資源代辦所遵循的標準。資源代辦會提取它們所提供的服務並向叢集提供準確的狀態，這樣叢集便可不理會其所管理的資源。當接收到啟動、停止或監控指令時，叢集會依賴資源代辦來做出恰當的反應。

通常，資源代辦採用的是外圍程序檔的形式。High Availability Extension 支援以下類別的資源代辦：

High Availability Extension 隨附的代辦將寫入 OCF 規格。

以下是可建立的資源類型：

如果您要建立大量具有相似組態的資源，定義資源範本是最輕鬆的方法。定義資源範本後，便可在基本資源或某些類型的條件約束中參考該範本，如第 6.5.3 節 「資源範本和條件約束」所述。

如果某個基本資源中參考了某個範本，該基本資源將會繼承範本中定義的所有操作、例項屬性 (參數)、中繼屬性和使用率屬性。此外，您也可以為基本資源定義特定的操作或屬性。如果在範本和基本資源兩者中都定義了上述其中任何一項，則基本資源中定義的值會優先於範本中定義的值。

瞭解如何使用偏好的叢集組態工具定義資源範本：

基本資源是最簡單的一種資源，易於設定，不過您的叢集組態可能還需要更進階的資源類型，例如群組、複製品資源或可升級複製品資源。

6.3.5.1 群組 #

 

有些叢集資源依存於其他元件或資源，它們要求每個元件或資源以特定順序啟動並與其相依的資源在同一伺服器上執行。若要簡化此組態，您可以使用叢集資源群組。

範例 6.3︰ Web 伺服器的資源群組 #

 

需要 IP 位址與檔案系統的 Web 伺服器就是資源群組的一個範例。在此範例中，每個元件都是組合成一個叢集資源群組中的獨立資源。資源群組將在一或多個伺服器上執行。若軟體或硬體出現異常，群組會容錯移轉至叢集中的另一個伺服器，這一點與個別叢集資源類似。

圖 6.1︰ 群組資源 #

 

群組具有以下內容：

啟動和停止

資源以顯示的順序依次啟動，並以相反順序停止。

相依性

若群組中的某個資源在任何地方都無法執行，則群組中位於該資源之後的所有資源均不允許執行。

內容

群組僅會包含基本叢集資源的集合。群組至少須包含一個資源，否則組態視為無效。若要引用群組資源的子代，請使用子代 ID，而不要使用群組 ID。

條件約束

儘管您可以在條件約束中參考群組的子代，但一般最好使用群組的名稱。

粘性

粘性在群組中屬於加法類內容。群組中每個使用中成員的粘性值都會影響群組的總值。因此，若 resource-stickiness 的預設值為 100，並且群組有七個成員，其中五個處於使用中狀態，則整個群組偏向於其目前位置 (分數為 500)。

資源監控

若要對群組啟用資源監控，您必須為要監控的群組中的每個資源分別設定監控。

瞭解如何使用偏好的叢集管理工具建立群組：

• Hawk2：程序 7.9 「新增資源群組」

• crmsh：第 8.3.10 節 「設定叢集資源群組」

對於新增的每個資源，您都可以定義選項。叢集使用選項來決定資源的行為方式 — 它們會告知 CRM 如何處理特定資源。資源選項可透過 crm_resource --meta 指令或者依程序 7.5 「新增基本資源」所述使用 Hawk2 來設定。

表 6.1︰ 基本資源選項 #

 

選項	描述	預設值
priority	如果並非所有資源都可處於使用中狀態，叢集將停止優先程度較低的資源，以便讓優先程度較高的資源保持使用中狀態。	0
target-role	叢集應嘗試讓此資源保持什麼狀態？允許的值：stopped、started、 master。	started
is-managed	叢集是否允許啟動及停止資源？允許的值：true、false。如果該值設定為 false，則仍會監控資源的狀態，並報告任何故障。這與將資源設定為 maintenance="true" 的情況完全不同。	true
maintenance	是否可以手動處理資源？允許的值：true、false。如果設定為 true，則所有資源將會變為不受管理狀態：叢集將停止監控這些資源，因此將會忽視這些資源的狀態。您可以視需要停止或重新啟動叢集資源，不必等待叢集嘗試重新啟動它們。	false
resource-stickiness	資源希望留在原處的程度如何？	calculated
migration-threshold	此資源在節點上的失敗次數達到多少次才會取消該節點代管此資源的資格？	INFINITY (已停用)
multiple-active	如果叢集發現資源在多個節點上處於使用中狀態，應如何處理？允許的值：block (將資源標示為不受管理)、stop_only、 stop_start。	stop_start
failure-timeout	等待多少秒之後才會當做失敗未發生 (潛在含義為允許資源回到其失敗的節點上)？	0 (已停用)
allow-migrate	允許對支援 migrate_to/migrate_from 動作的資源執行資源移轉。	false
remote-node	此資源定義之遠端節點的名稱。這會使資源變成一個遠端節點，並且定義唯一的名稱以用於識別該遠端節點。如果未設定任何其他參數，則此值還將做為要在 remote-port 連接埠上連接到的主機名稱。 警告：使用唯一的 ID 此值不得與任何現有資源 ID 或節點 ID 重複。	none (已停用)
remote-port	訪客與 pacemaker_remote 建立連接時使用的自訂連接埠。	3121
remote-addr	當遠端節點的名稱不是訪客的主機名稱時，要連接到的 IP 位址或主機名稱。	remote-node (用做主機名稱的值)
remote-connect-timeout	等待中訪客連接在逾時之前所要經過的時間。	60s

所有資源類別的程序檔均可接收參數，參數決定了資源的行為及其控制的服務例項。如果您的資源代辦支援參數，您可以使用 crm_resource 指令或 Hawk2 (如程序 7.5 「新增基本資源」所述) 新增參數。在 crm 指令行公用程式和 Hawk2 中，例項屬性分別稱為 params 和 Parameter。您可用 root 身分執行如下指令來獲取受 OCF 程序檔支援的例項屬性清單：

root # crm ra info [class:[provider:]]resource_agent

或 (不含選擇性的部分)：

root # crm ra info resource_agent

輸出會列出所有受支援的屬性、其用途與預設值。

例如，指令

root # crm ra info IPaddr

傳回下列輸出：

Manages virtual IPv4 addresses (portable version) (ocf:heartbeat:IPaddr)
    
This script manages IP alias IP addresses
It can add an IP alias, or remove one.   
    
Parameters (* denotes required, [] the default):
    
ip* (string): IPv4 address
The IPv4 address to be configured in dotted quad notation, for example
"192.168.1.1".                                                        
    
nic (string, [eth0]): Network interface
The base network interface on which the IP address will be brought
online.                                                           
    
If left empty, the script will try and determine this from the    
routing table.                                                    
    
Do NOT specify an alias interface in the form eth0:1 or anything here;
rather, specify the base interface only.                              
    
cidr_netmask (string): Netmask
The netmask for the interface in CIDR format. (ie, 24), or in
dotted quad notation  255.255.255.0).                        
    
If unspecified, the script will also try to determine this from the
routing table.                                                     
    
broadcast (string): Broadcast address
Broadcast address associated with the IP. If left empty, the script will
determine this from the netmask.                                        
    
iflabel (string): Interface label
You can specify an additional label for your IP address here.
    
lvs_support (boolean, [false]): Enable support for LVS DR
Enable support for LVS Direct Routing configurations. In case a IP
address is stopped, only move it to the loopback device to allow the
local node to continue to service requests, but no longer advertise it
on the network.                                                       
    
local_stop_script (string): 
Script called when the IP is released
    
local_start_script (string): 
Script called when the IP is added
    
ARP_INTERVAL_MS (integer, [500]): milliseconds between gratuitous ARPs
milliseconds between ARPs                                         
    
ARP_REPEAT (integer, [10]): repeat count
How many gratuitous ARPs to send out when bringing up a new address
    
ARP_BACKGROUND (boolean, [yes]): run in background
run in background (no longer any reason to do this)
    
ARP_NETMASK (string, [ffffffffffff]): netmask for ARP
netmask for ARP - in nonstandard hexadecimal format.
    
Operations' defaults (advisory minimum):
    
start         timeout=90
stop          timeout=100
monitor_0     interval=5s timeout=20s

注意：群組、複製品或可升級複製品的例項屬性

請注意，群組、複製品和可升級複製品資源沒有例項屬性。但是，群組、複製品或可升級複製品的子代會繼承任何例項屬性集。

叢集預設不會確保資源仍正常。若要指示叢集確保資源能正常運作，您需要在資源定義中新增監控操作。可為所有類別或資源代辦新增監控操作。若需更多資訊，請參閱第 6.4 節 「資源監控」。

以下參數可能會影響資源的逾時值：

注意：值的優先程度

如果為資源定義了特定值，則該值將優先於全域預設值。資源的特定值也優先於資源範本中定義的值。

設定合適的逾時值非常重要。將逾時值設定得太小，會因以下緣故產生許多 (不必要的) 圍籬區隔操作：

您可以使用 crmsh 和 Hawk2 調整操作的全域預設值並設定任何特定的逾時值。確定及設定逾時值的最佳實務如下：

系統中的條件約束分為三種類型：

重要：條件約束與特定資源類型的限制

• 不要為資源群組的成員建立並存條件約束。應該建立指向整個資源群組的並存條件約束。其他所有類型的條件約束可安全地用於資源群組的成員。

• 不要對包含複製品資源或者已套用可升級複製品資源的資源使用任何條件約束。條件約束必須套用於複製品或可升級複製品資源，而不能套用於子資源。

crm(live)configure# primitive vip1 ocf:heartbeat:IPaddr2 params ip=192.168.1.5
crm(live)configure# primitive vip2 ocf:heartbeat:IPaddr2 params ip=192.168.1.6
crm(live)configure# location loc-alice { vip1 vip2 } Mandatory: alice

<constraints>
     <rsc_colocation id="coloc-1" rsc="B" with-rsc="A" score="INFINITY"/>
     <rsc_colocation id="coloc-2" rsc="C" with-rsc="B" score="INFINITY"/>
     <rsc_colocation id="coloc-3" rsc="D" with-rsc="C" score="INFINITY"/>
</constraints>

<constraints>
    <rsc_colocation id="coloc-1" score="INFINITY" >
     <resource_set id="colocated-set-example" sequential="true">
      <resource_ref id="A"/>
      <resource_ref id="B"/>
      <resource_ref id="C"/>
      <resource_ref id="D"/>
     </resource_set>
    </rsc_colocation>
</constraints>

<constraints>
     <rsc_order id="order-1" first="A" then="B" />
     <rsc_order id="order-2" first="B" then="C" />
     <rsc_order id="order-3" first="C" then="D" />
</constraints>

<constraints>
     <rsc_order id="order-1">
     <resource_set id="ordered-set-example" sequential="true">
     <resource_ref id="A"/>
     <resource_ref id="B"/>
     <resource_ref id="C"/>
     <resource_ref id="D"/>
     </resource_set>
     </rsc_order>
</constraints>

定義條件約束時，還需要處理分數。所有類型的分數對於叢集的工作方式而言都是不可或缺的。實際上，從移轉資源到決定要將降級叢集中哪個資源停止的所有操作，都是透過某種方式對分數進行操作來實現。系統會對每個資源都計算分數，針對某個資源分數為負數的所有節點都不能執行該資源。計算完針對資源的分數之後，叢集會選擇分數最高的節點。

INFINITY 目前定義為 1,000,000。與其相關的加法或減法計算遵循以下三項基本規則：

定義資源條件約束時，您還要指定每個條件約束的分數。分數表示您要指定給此資源條件約束的值。系統會先套用分數較高的條件約束，然後再套用分數較低的條件約束。透過為指定資源建立不同分數的其他位置條件約束，即可指定資源將容錯移轉至之目標節點的順序。

如果您定義了一個資源範本 (請參閱第 6.3.4 節 「資源範本」)，則可以在以下類型的條件約束中參考該範本：

不過，並存條件約束不得包含對同個範本的多個參考。資源集不得包含對範本的參考。

條件約束中參考的資源範本代表由該範本衍生的所有基本資源。也就是說，這些條件約束將適用於所有參考了資源範本的基本資源。在條件約束中參考資源範本是另外一種使用資源集的方式，這種方式能夠大大簡化叢集設定。如需有關資源集的詳細資料，請參閱程序 7.17 「對條件約束使用資源集」。

若資源失敗，系統會自動將其重新啟動。若無法在目前節點上重新啟動，或資源已在目前節點上失敗 N 次，則會嘗試容錯移轉至其他節點。每次資源失敗，其 failcount 值都會增加。您可以定義一個失敗計數，讓資源在失敗該次數 (migration-threshold) 之後移轉至新節點。若叢集中有兩個以上的節點，則特定資源容錯移轉所至的節點由 High Availability 軟體來選擇。

但是，您可以透過為該資源設定一或多個位置條件約束以及一個 migration-threshold，指定資源容錯移轉所至的節點。

瞭解如何使用偏好的叢集管理工具指定容錯移轉節點：

移轉限定值概念有兩種例外情況，發生於資源無法啟動或無法停止之時：

以下章節詳細介紹了如何使用移轉限定值以及如何使用偏好的叢集管理工具重設失敗計數的信息：

當原始節點恢復連接且位於叢集中時，資源可以錯誤回復至該節點。為防止資源錯誤回復到之前執行它的節點，或者要指定讓該資源錯誤回復到其他節點，請變更其資源粘性值。您可以在建立資源時或建立之後指定資源粘性。

指定資源粘性的值時，請考慮以下事項：

並非所有資源都相同。有些資源 (例如 Xen 客體作業系統) 要求代管它們的節點符合其容量要求。如果放置資源後其所需的容量之和超過了提供的容量，資源效能便會下降 (甚至無法執行)。

鑒於此，High Availability Extension 允許您指定以下參數：

瞭解如何使用偏好的叢集管理工具設定這些設定：

如果一個節點有足夠的可用容量來滿足資源的要求，則認為該節點符合資源要求。容量實際上與 High Availability Extension 完全無關，這只是為了確定在將資源移至某個節點前，該節點滿足此資源的全部容量要求。

若要手動設定資源的要求以及節點提供的容量，可以利用使用率屬性。您可以依據自己的偏好命名使用率屬性，依據組態需要定義任意數量的名稱/值對。但是，屬性的值必須是整數。

如果具有使用率屬性的多個資源已分組或具有並存條件約束，High Availability Extension 會將這種情況考慮在內。可能的話，系統會將資源放置在可以滿足全部容量要求的節點上。

注意：群組的使用率屬性

使用者無法直接為資源群組設定使用率屬性。不過，若要簡化群組的組態設定，您可以新增具有群組中所有資源所需總容量的使用率屬性。

High Availability Extension 現在還提供了用於自動偵測和設定節點容量及資源要求的方法：

NodeUtilization 資源代辦可檢查節點的容量 (與 CPU 和 RAM 相關)。若要設定自動偵測，請建立類別、提供者和類型如下的複製品資源：ocf:pacemaker:NodeUtilization。每個節點上都應該執行一個該複製品例項。該例項啟動後，一個使用率區段會新增至 CIB 中的節點組態。

為了自動偵測資源的最低要求 (與 RAM 和 CPU 相關)，我們改進了 Xen 資源代辦。Xen 資源啟動後會反映 RAM 和 CPU 的使用情況。使用率屬性將會自動新增至資源組態。

注意：適用於 Xen 和 libvirt 的不同資源代辦

ocf:heartbeat:Xen 資源代辦不應與 libvirt 配合使用，因為 libvirt 需要能夠修改機器描述檔案。

對於 libvirt，請使用 ocf:heartbeat:VirtualDomain 資源代辦。

除了偵測最低要求外，High Availability Extension 還允許透過 VirtualDomain 資源代辦監控目前使用率。它可以偵測虛擬機器的 CPU 和 RAM 使用情況。若要使用此功能，請設定類別、提供者和類型如下的資源：ocf:heartbeat:VirtualDomain。可以使用以下例項屬性： autoset_utilization_cpu 和 autoset_utilization_hv_memory。兩者都預設為 true。如此，每個監控週期都會更新 CIB 中的使用率值。

無論是手動還是自動設定容量與要求，都必須使用 placement-strategy 內容 (在全域叢集選項中) 指定配置策略。可用的值如下：

注意：設定資源優先程度

提供的配置策略效能最佳，它們雖然沒有使用複雜的啟發式解析程式，卻總能獲得最佳的配置效果。請確保資源的優先程度已正確設定，以便先排程最重要的資源。

node alice utilization memory="4000"
node bob utilization memory="4000"
node  charlie utilization memory="4000"
primitive xenA ocf:heartbeat:Xen utilization hv_memory="3500" \
     params xmfile="/etc/xen/shared-vm/vm1"
     meta priority="10" 
primitive xenB ocf:heartbeat:Xen utilization hv_memory="2000" \
     params xmfile="/etc/xen/shared-vm/vm2"
     meta priority="1"
primitive xenC ocf:heartbeat:Xen utilization hv_memory="2000" \
     params xmfile="/etc/xen/shared-vm/vm3"
     meta priority="1"
primitive xenD ocf:heartbeat:Xen utilization hv_memory="1000" \
     params xmfile="/etc/xen/shared-vm/vm4"
     meta priority="5"
property placement-strategy="minimal"

標記是最近新增至 Pacemaker 中的功能。使用標記可以一次參考多個資源，而無需在這些資源之間建立任何並存或順序關係。這個功能在把概念上相關的資源分組在一起時將十分實用。例如，如果有多個資源與某個資料庫相關，您可以建立名為 databases 的標記，並將與該資料庫相關的所有資源新增至此標記。這樣，只需使用一個指令就能停止或啟動所有這些資源。

在條件約束中也可以使用標記。例如，以下位置條件約束 loc-db-prefer 會套用至標記為 databases 的資源集：

location loc-db-prefer databases 100: alice

瞭解如何使用偏好的叢集管理工具建立標記：

監控虛擬機器的操作可以借助 VM 代辦來執行 (該代辦僅檢查客體作業系統是否出現在 hypervisor 中)，也可以透過從 VirtualDomain 或 Xen 代辦中呼叫的外部程序檔執行。到目前為止，較精細的監控只能透過在虛擬機器中安裝整個 High Availability 堆疊來實現。

透過提供對監控外掛程式 (以前稱為 Nagios 外掛程式) 的支援，High Availability Extension 現在還允許您監控遠端主機上的服務。您可以收集關於客體作業系統的外部狀態，而不必修改客體作業系統影像。例如，VM 客體作業系統可以執行 Web 服務或簡單網路資源，不過這些服務或資源必須位於可以存取的位置。借助 Nagios 資源代辦，您現在可以監控客體作業系統上的 Web 服務或網路資源。如果這些服務不再可存取，High Availability Extension 便會觸發對相應客體作業系統的重新啟動或移轉操作。

如果客體依存於某項服務 (例如，客體要使用的 NFS 伺服器) 運作，則該服務可能是由叢集管理的一般資源，也可能是使用 Nagios 資源監控的外部服務。

若要設定 Nagios 資源，必須在主機上安裝下列套件：

必要時，YaST 或 Zypper 將會解析對其他套件的任何相依性。

將監控外掛程式設定為屬於資源容器 (一般是 VM) 的資源，就是一個典型的使用案例。如果容器的任何資源發生故障，容器將會重新啟動。如需組態設定範例，請參閱範例 6.10 「設定監控外掛程式的資源」。或者，若要使用 Nagios 資源代辦來透過網路監控主機或服務，也可以將其設定為一般資源。

primitive vm1 ocf:heartbeat:VirtualDomain \
    params hypervisor="qemu:///system" config="/etc/libvirt/qemu/vm1.xml" \
    op start interval="0" timeout="90" \
    op stop interval="0" timeout="90" \
    op monitor interval="10" timeout="30"
primitive vm1-sshd nagios:check_tcp \
    params hostname="vm1" port="22" \ 1
    op start interval="0" timeout="120" \ 2
    op monitor interval="10"
group g-vm1-and-services vm1 vm1-sshd \
    meta container="vm1" 3

group g-vm1-and-services vm1 vm1-sshd vm1-httpd \ 
     meta container="vm1" \ 
     params hostname="vm1"

使用 pacemaker_remote 服務可將高可用性叢集延伸到虛擬節點或遠端裸機。這些虛擬節點或遠端裸機無需執行叢集堆疊就能成為叢集的成員。

High Availability Extension 現在可以啟動虛擬環境 (KVM 和 LXC) 以及這些虛擬環境中存在的資源，而無需虛擬環境執行 Pacemaker 或 Corosync。

對於同時要管理做為叢集資源的虛擬機器以及這些虛擬機器中存在之資源的使用案例，您現在可以使用以下設定：

由於遠端節點上未安裝叢集堆疊，這意味著：

Article “Pacemaker Remote Quick Start”中介紹了關於 remote_pacemaker 服務的詳細資訊，包括多個使用案例和詳細的設定說明。

Hawk2 的頂層列顯示以下項目：

叢集管理員有時需要知道叢集組態。Hawk2 可以 crm 外圍程序語法、XML 和圖形形式顯示目前組態。若要檢視 crm 外圍程序語法形式的叢集組態，請從左側導覽列中選取組態 › 編輯組態，並按一下顯示。若要改為以原始 XML 顯示組態，請按一下 XML。按一下圖形會以圖形顯示 CIB 中設定的節點和資源。它還會顯示各資源之間的關係。

Hawk2 精靈是設定簡單資源 (如虛擬 IP 位址或 SBD STONITH 資源) 的便捷方式。對於包含多個資源的複雜組態 (例如 DRBD 區塊裝置或 Apache Web 伺服器的資源組態) 而言，這種方法也十分有用。精靈會引導您完成所有組態步驟，並提供您需要輸入的參數的相關資訊。

圖 7.2︰ Hawk2—Apache Web 伺服器精靈 #

 

若要建立最基本的資源類型，請執行下列步驟：

若要建立大量具有相似組態的資源，定義資源範本是最輕鬆的方式。定義資源範本後，您可以在基本資源或某些類型的條件約束中參考該範本。如需有關資源範本功能和用法的詳細資訊，請參閱第 6.5.3 節 「資源範本和條件約束」。

建立資源後，您隨時都可以視需要修改其組態，也就是調整其參數、操作或中繼屬性。

重要：不支援沒有 STONITH 的組態

• 您必須為叢集設定節點圍籬區隔機制。

• 全域叢集選項 stonith-enabled 和 startup-fencing 必須設定為 true。如果您變更這些選項，將會失去支援。

依預設，全域叢集選項 stonith-enabled 設為 true。如果未定義 STONITH 資源，叢集將拒絕啟動任何資源。設定一或多個 STONITH 資源以完成 STONITH 設定。若要為 SBD、libvirt (KVM/Xen) 或 vCenter/ESX 伺服器新增 STONITH 資源，最簡單的方式就是使用 Hawk2 精靈 (請參閱第 7.5.2 節 「透過精靈新增資源」)。您也可以按照類似的方式為其他資源設定 STONITH 資源，但其行為在某些方面存在差異。如需詳細資料，請參閱第 10.3 節 「STONITH 資源和組態」。

要完成圍籬區隔組態，請新增條件約束。如需詳細資訊，請參閱第 10 章 「圍籬區隔與 STONITH」。

有些叢集資源依存於其他元件或資源，這些資源要求每個元件或資源依特定順序啟動，並在同一部伺服器上執行。為簡化此組態，SUSE Linux Enterprise High Availability Extension 支援使用群組。

資源群組包含一組需放置在一起的資源，這些資源按順序啟動並以相反順序停止。如需資源群組的範例和群組及其內容的詳細資訊，請參閱第 6.3.5.1 節 「群組」。

注意：空群組

群組至少須包含一個資源，否則組態視為無效。建立群組時，Hawk2 允許您建立多個基本資源並將它們新增至群組。如需詳細資料，請參閱第 7.7.1 節 「編輯資源和群組」。

圖 7.6︰ Hawk2—資源群組 #

 

如果希望某些資源同時在叢集中的多個節點上執行，請將這些資源設定為複製品。舉例而言，對於 OCFS2 之類您想要用做複製品的叢集檔案系統，資源 ocf:pacemaker:controld 任何一般性資源或資源群組均可以複製。複製之資源的例項可以有相同的行為方式，但是其設定方式可能有所不同，具體視其所在的節點而定。

如需可用資源複製品類型的綜覽，請參閱第 6.3.5.2 節 「複製品」。

注意：複製品的子資源

複製品可以將基本資源或群組做為子資源。在 Hawk2 中，建立複製品時不能建立或修改子資源。請在新增複製品之前建立子資源並視需要對其進行設定。如需詳細資訊，請參閱第 7.5.3 節 「新增簡單資源」 或第 7.5.7 節 「新增叢集資源群組」。

圖 7.7︰ Hawk2—複製資源 #

 

多狀態資源是一種特殊的複製品，可讓例項在兩種操作模式 (稱為主動/被動、主要/次要或主要/從屬) 之一下執行。多狀態資源只能包含一個群組或一個一般資源。

設定資源監控或條件約束時，多狀態資源的要求與簡單資源不同。如需詳細資料，請參閱 http://www.clusterlabs.org/pacemaker/doc/ 上的《Pacemaker Explained》(Pacemaker 說明)。詳情位於「Multi-state - Resources That Have Multiple Modes」(多狀態 - 有多種模式的資源) 一節。

注意：多狀態資源的子資源

多狀態資源可以將基本資源或群組做為子資源。在 Hawk2 中，建立多狀態資源時不能建立或修改子資源。請在新增多狀態資源之前建立子資源，並視需要對其進行設定。如需詳細資訊，請參閱第 7.5.3 節 「新增簡單資源」 或第 7.5.7 節 「新增叢集資源群組」。

圖 7.8︰ Hawk2—多狀態資源 #

 

使用標記可以一次參考多個資源，而無需在這些資源之間建立任何並存或順序關係。您可以使用標記對概念相關的資源進行分組。例如，如果您有若干個資源與同一個資料庫相關，可以為所有相關資源新增名為資料庫的標記。

標記名下的所有資源都可以透過一則簡單的指令啟動或停止。

圖 7.9︰ Hawk2—標記 #

 

High Availability Extension 不僅能夠偵測節點故障，還能偵測到節點上個別資源發生的故障。若要確定某個資源是否正在執行，請對其設定資源監控。通常，叢集只會在資源執行時對其進行監控。但是，若要偵測並行存取違規，還需針對停止的資源設定監控。設定資源監控需指定逾時和/或啟動延遲值以及間隔。該間隔會告知 CRM 應檢查資源狀態的頻率。您還可以設定特定參數，例如為 start 或 stop 操作設定 timeout。

有關資源監控偵測到失敗時應執行的程序，請參閱第 6.4 節 「資源監控」。

若要檢視發生的資源故障，請在 Hawk2 中切換至狀態螢幕，然後選取關注的資源。在操作欄中按一下向下箭頭圖示，然後選取最近的事件。隨後開啟的對話方塊會列出對資源執行的最近動作。其中故障顯示為紅色。若要檢視資源詳細資料，請按一下操作欄中的放大鏡圖示。

圖 7.10︰ Hawk2 - 資源詳細資料 #

 

位置條件約束決定了資源在哪些節點上可以執行、優先執行或禁止執行。舉例而言，位置條件約束可以設為與特定資料庫相關的所有資源都在同一個節點上執行。

圖 7.11︰ Hawk2—位置條件約束 #

 

並存條件約束會告訴叢集哪些資源可以或不可以同時在節點上執行。由於並存條件約束定義了資源之間的相依性，因此您至少需要兩個資源才能建立並存條件約束。

圖 7.12︰ Hawk2—並存條件約束 #

 

順序條件約束定義了啟動和停止資源的順序。由於順序條件約束定義了資源之間的相依性，因此您至少需要兩個資源才能建立順序條件約束。

圖 7.13︰ Hawk2—順序條件約束 #

 

若要用另一種方式來定義條件約束，您可以使用資源組，其順序語意與群組相同。

如需設定條件約束的詳細資訊，以及關於順序與並存基本概念的詳細背景資訊，請參閱 http://www.clusterlabs.org/pacemaker/doc/ 上提供的文件：

若資源失敗，系統會自動將其重新啟動。若無法在目前節點上重新啟動，或資源已在目前節點上失敗 N 次，則會嘗試容錯移轉至其他節點。您可以定義一個失敗計數，讓資源在失敗該次數 (migration-threshold) 之後移轉至新節點。如果叢集中有兩個以上的節點，則某個資源應容錯移轉至哪個節點由 High Availability 軟體來選擇。

您可以執行以下步驟指定資源容錯移轉至某個特定節點：