6 組態和管理基礎 #

全域叢集選項控制叢集在遇到特定情況時的運作方式。它們分為不同的組，可透過 Hawk2 和 crm 外圍程序等叢集管理工具來檢視和修改。

一般情況下，可以保留預先定義的值。但是，為了讓叢集的關鍵功能正常運作，還需要在執行基本叢集設定後調整以下參數：

此全域選項定義在叢集分割區沒有達到最低節點數 (節點多數不是該分割區的一部分) 時如何運作。

允許的值：

此全域選項定義是否套用圍籬區隔，以允許 STONITH 裝置關閉失敗的節點以及其上資源無法停止的節點。此全域選項預設為 true，因為正常的叢集運作需要使用 STONITH 裝置。依據預設值，如果未定義 STONITH 資源，叢集將拒絕啟動任何資源。

如果出於某種原因需要停用圍籬區隔，請將 stonith-enabled 設定為 false，但請注意，這樣做會影響您產品的支援狀態。此外，在 stonith-enabled="false" 的情況下，分散式鎖定管理員 (DLM) 等資源以及相依於 DLM 的所有服務 (例如 lvmlockd、GFS2 和 OCFS2) 都將無法啟動。

重要：不支援沒有 STONITH 的組態

系統不支援沒有 STONITH 的叢集。

使用開機程序檔時，Corosync 組態包含一個 quorum 區段，其中包含以下選項：

quorum {
   # Enable and configure quorum subsystem (default: off)
   # see also corosync.conf.5 and votequorum.5
   provider: corosync_votequorum
   expected_votes: 2
   two_node: 1
}

與 SUSE Linux Enterprise 11 不同，SUSE Linux Enterprise 12 及更新版本中的 votequorum 子系統由 Corosync 版本 2.x 提供支援。這表示不得使用 no-quorum-policy=ignore 選項。

當設定了 two_node: 1 時，預設會自動啟用 wait_for_all 選項。如果未啟用 wait_for_all，則叢集應在兩個節點上平行啟動。否則，第一個節點將對缺少的第二個節點執行啟動圍籬區隔。

如果不使用雙節點叢集，我們強烈建議使用奇數數量的節點來構成 N 節點叢集。在最低節點數組態方面，您具有以下選擇：

如果您要手動調整 /etc/corosync/corosync.conf，請使用以下設定：

quorum {
   provider: corosync_votequorum 1
   expected_votes: N 2
   wait_for_all: 1 3
}

若想在叢集中使用某項資源，必須先對其進行設定。例如，如果想要使用 Apache 伺服器做為叢集資源，請先設定 Apache 伺服器並完成 Apache 組態設定，然後才能在叢集中啟動各個資源。

如果資源具有特定的環境要求，請確保這些要求在所有叢集節點上均得到滿足並且一致。此類組態並非由 High Availability Extension 管理。您必須自行管理。

注意：不要操作叢集所管理的服務

當您正透過 High Availability Extension 管理某個資源時，就不能再啟動或停止該資源 (例如，不能在叢集之外手動啟動或停止，或者在開機或重新開機時啟動或停止)。High Availability Extension 軟體負責所有服務的啟動或停止動作。

如果服務已在叢集控制下執行，而您需要執行測試或維護任務，請務必先將資源、節點或整個叢集置於維護模式，然後再對其進行任何手動處理。如需詳細資料，請參閱第 17.2 節 「用於維護任務的不同選項」。

在叢集中設定資源之後，可以使用叢集管理工具手動啟動、停止、清理、移除或移轉資源。以下為如何使用偏好的叢集管理工具執行這些操作的詳細資料：

重要：資源 ID 和節點名稱

叢集資源和叢集節點的名稱應該不同。否則 Hawk2 將會失敗。

對於每個新增的叢集資源，都需要定義資源代辦所遵循的標準。資源代辦會提取它們所提供的服務並向叢集提供準確的狀態，這樣叢集便可不理會其所管理的資源。當接收到啟動、停止或監控指令時，叢集會依賴資源代辦來做出恰當的反應。

通常，資源代辦採用的是外圍程序檔的形式。High Availability Extension 支援以下類別的資源代辦：

High Availability Extension 隨附的代辦將寫入 OCF 規格。

以下是可建立的資源類型：

如果您要建立大量具有相似組態的資源，定義資源範本是最輕鬆的方法。定義資源範本後，便可在基本資源或某些類型的條件約束中參考該範本，如第 6.5.3 節 「資源範本和條件約束」所述。

如果某個基本資源中參考了某個範本，該基本資源將會繼承範本中定義的所有操作、例項屬性 (參數)、中繼屬性和使用率屬性。此外，您也可以為基本資源定義特定的操作或屬性。如果在範本和基本資源兩者中都定義了上述其中任何一項，則基本資源中定義的值會優先於範本中定義的值。

瞭解如何使用偏好的叢集組態工具定義資源範本：

基本資源是最簡單的一種資源，易於設定，不過您的叢集組態可能還需要更進階的資源類型，例如群組、複製品資源或可升級複製品資源。

6.3.5.1 群組 #

 

有些叢集資源依存於其他元件或資源，它們要求每個元件或資源以特定順序啟動並與其相依的資源在同一伺服器上執行。若要簡化此組態，您可以使用叢集資源群組。

範例 6.3︰ Web 伺服器的資源群組 #

 

需要 IP 位址與檔案系統的 Web 伺服器就是資源群組的一個範例。在此範例中，每個元件都是組合成一個叢集資源群組中的獨立資源。資源群組將在一或多個伺服器上執行。若軟體或硬體出現異常，群組會容錯移轉至叢集中的另一個伺服器，這一點與個別叢集資源類似。

圖 6.1︰ 群組資源 #

 

群組具有以下內容：

啟動和停止

資源以顯示的順序依次啟動，並以相反順序停止。

相依性

若群組中的某個資源在任何地方都無法執行，則群組中位於該資源之後的所有資源均不允許執行。

內容

群組僅會包含基本叢集資源的集合。群組至少須包含一個資源，否則組態視為無效。若要引用群組資源的子代，請使用子代 ID，而不要使用群組 ID。

條件約束

儘管您可以在條件約束中參考群組的子代，但一般最好使用群組的名稱。

粘性

粘性在群組中屬於加法類內容。群組中每個使用中成員的粘性值都會影響群組的總值。因此，若 resource-stickiness 的預設值為 100，並且群組有七個成員，其中五個處於使用中狀態，則整個群組偏向於其目前位置 (分數為 500)。

資源監控

若要對群組啟用資源監控，您必須為要監控的群組中的每個資源分別設定監控。

瞭解如何使用偏好的叢集管理工具建立群組：

• Hawk2：程序 7.9 「新增資源群組」

• crmsh：第 8.3.10 節 「設定叢集資源群組」

對於新增的每個資源，您都可以定義選項。叢集使用選項來決定資源的行為方式 — 它們會告知 CRM 如何處理特定資源。資源選項可透過 crm_resource --meta 指令或者依程序 7.5 「新增基本資源」所述使用 Hawk2 來設定。

表 6.1︰ 基本資源選項 #

 

選項	描述	預設值
priority	如果並非所有資源都可處於使用中狀態，叢集將停止優先程度較低的資源，以便讓優先程度較高的資源保持使用中狀態。	0
target-role	叢集應嘗試讓此資源保持什麼狀態？允許的值：Stopped、Started、​Unpromoted、Promoted。	Started
is-managed	叢集是否允許啟動及停止資源？允許的值：true、false。如果該值設定為 false，則仍會監控資源的狀態，並報告任何故障。這與將資源設定為 maintenance="true" 的情況完全不同。	true
maintenance	是否可以手動處理資源？允許的值：true、false。如果設定為 true，則所有資源將會變為不受管理狀態：叢集將停止監控這些資源，因此將會忽視這些資源的狀態。您可以視需要停止或重新啟動叢集資源，不必等待叢集嘗試重新啟動它們。	false
resource-stickiness	資源希望留在原處的程度如何？	calculated
migration-threshold	此資源在節點上的失敗次數達到多少次才會取消該節點代管此資源的資格？	INFINITY (已停用)
multiple-active	如果叢集發現資源在多個節點上處於使用中狀態，應如何處理？允許的值：block (將資源標示為不受管理)、stop_only、​stop_start。	stop_start
failure-timeout	等待多少秒之後才會當做失敗未發生 (潛在含義為允許資源回到其失敗的節點上)？	0 (已停用)
allow-migrate	允許對支援 migrate_to/​migrate_from 動作的資源執行資源移轉。	false
remote-node	此資源定義之遠端節點的名稱。這會使資源變成一個遠端節點，並且定義唯一的名稱以用於識別該遠端節點。如果未設定其他參數，則此值還將做為要在 remote-port 連接埠連接的主機名稱。 警告：使用唯一的 ID 此值不得與任何現有資源 ID 或節點 ID 重複。	none (已停用)
remote-port	訪客與 pacemaker_remote 建立連接時使用的自訂連接埠。	3121
remote-addr	當遠端節點的名稱不是訪客的主機名稱時，要連接到的 IP 位址或主機名稱。	remote-node (用做主機名稱的值)
remote-connect-timeout	等待中訪客連接在逾時之前所要經過的時間。	60s

所有資源類別的程序檔均可接收參數，參數決定了資源的行為及其控制的服務例項。如果您的資源代辦支援參數，您可以使用 crm_resource 指令或 Hawk2 (如程序 7.5 「新增基本資源」所述) 新增參數。在 crm 指令行公用程式和 Hawk2 中，例項屬性分別稱為 params 和 Parameter。您可用 root 身分執行如下指令來獲取受 OCF 程序檔支援的例項屬性清單：

root # crm ra info [class:[provider:]]resource_agent

或 (不含選擇性的部分)：

root # crm ra info resource_agent

輸出會列出所有受支援的屬性、其用途與預設值。

例如，指令

root # crm ra info IPaddr

傳回下列輸出：

Manages virtual IPv4 addresses (portable version) (ocf:heartbeat:IPaddr)

This script manages IP alias IP addresses
It can add an IP alias, or remove one.

Parameters (* denotes required, [] the default):

ip* (string): IPv4 address
The IPv4 address to be configured in dotted quad notation, for example
"192.168.1.1".

nic (string, [eth0]): Network interface
The base network interface on which the IP address will be brought
online.

If left empty, the script will try and determine this from the
routing table.

Do NOT specify an alias interface in the form eth0:1 or anything here;
rather, specify the base interface only.

cidr_netmask (string): Netmask
The netmask for the interface in CIDR format. (ie, 24), or in
dotted quad notation  255.255.255.0).

If unspecified, the script will also try to determine this from the
routing table.

broadcast (string): Broadcast address
Broadcast address associated with the IP. If left empty, the script will
determine this from the netmask.

iflabel (string): Interface label
You can specify an additional label for your IP address here.

lvs_support (boolean, [false]): Enable support for LVS DR
Enable support for LVS Direct Routing configurations. In case a IP
address is stopped, only move it to the loopback device to allow the
local node to continue to service requests, but no longer advertise it
on the network.

local_stop_script (string):
Script called when the IP is released

local_start_script (string):
Script called when the IP is added

ARP_INTERVAL_MS (integer, [500]): milliseconds between gratuitous ARPs
milliseconds between ARPs

ARP_REPEAT (integer, [10]): repeat count
How many gratuitous ARPs to send out when bringing up a new address

ARP_BACKGROUND (boolean, [yes]): run in background
run in background (no longer any reason to do this)

ARP_NETMASK (string, [ffffffffffff]): netmask for ARP
netmask for ARP - in nonstandard hexadecimal format.

Operations' defaults (advisory minimum):

start         timeout=90
stop          timeout=100
monitor_0     interval=5s timeout=20s

注意：群組、複製品或可升級複製品的例項屬性

請注意，群組、複製品和可升級複製品資源沒有例項屬性。但是，群組、複製品或可升級複製品的子代會繼承任何例項屬性集。

叢集預設不會確保資源仍正常。若要指示叢集確保資源能正常運作，您需要在資源定義中新增監控操作。可為所有類別或資源代辦新增監控操作。若需更多資訊，請參閱第 6.4 節 「資源監控」。

以下參數可能會影響資源的逾時值：

注意：值的優先程度

如果為資源定義了特定值，則該值將優先於全域預設值。資源的特定值也優先於資源範本中定義的值。

設定合適的逾時值非常重要。將逾時值設定得太小，會因以下緣故產生許多 (不必要的) 圍籬區隔操作：

您可以使用 crmsh 和 Hawk2 調整操作的全域預設值並設定任何特定的逾時值。確定及設定逾時值的最佳實務如下：

系統中的條件約束分為三種類型：

重要：條件約束與特定資源類型的限制

• 不要為資源群組的成員建立並存條件約束。應該建立指向整個資源群組的並存條件約束。其他所有類型的條件約束可安全地用於資源群組的成員。

• 不要對包含複製品資源或者已套用可升級複製品資源的資源使用任何條件約束。條件約束必須套用於複製品或可升級複製品資源，而不能套用於子資源。

crm(live)configure# primitive vip1 IPaddr2 params ip=192.168.1.5
crm(live)configure# primitive vip2 IPaddr2 params ip=192.168.1.6
crm(live)configure# location loc-alice { vip1 vip2 } inf: alice

<constraints>
     <rsc_colocation id="coloc-1" rsc="B" with-rsc="A" score="INFINITY"/>
     <rsc_colocation id="coloc-2" rsc="C" with-rsc="B" score="INFINITY"/>
     <rsc_colocation id="coloc-3" rsc="D" with-rsc="C" score="INFINITY"/>
</constraints>

<constraints>
    <rsc_colocation id="coloc-1" score="INFINITY" >
     <resource_set id="colocated-set-example" sequential="true">
      <resource_ref id="A"/>
      <resource_ref id="B"/>
      <resource_ref id="C"/>
      <resource_ref id="D"/>
     </resource_set>
    </rsc_colocation>
</constraints>

<constraints>
     <rsc_order id="order-1" first="A" then="B" />
     <rsc_order id="order-2" first="B" then="C" />
     <rsc_order id="order-3" first="C" then="D" />
</constraints>

<constraints>
     <rsc_order id="order-1">
     <resource_set id="ordered-set-example" sequential="true">
     <resource_ref id="A"/>
     <resource_ref id="B"/>
     <resource_ref id="C"/>
     <resource_ref id="D"/>
     </resource_set>
     </rsc_order>
</constraints>

定義條件約束時，還需要處理分數。所有類型的分數對於叢集的工作方式而言都是不可或缺的。實際上，從移轉資源到決定要將降級叢集中哪個資源停止的所有操作，都是透過某種方式對分數進行操作來實現。系統會對每個資源都計算分數，針對某個資源分數為負數的所有節點都不能執行該資源。計算完針對資源的分數之後，叢集會選擇分數最高的節點。

INFINITY 目前定義為 1,000,000。與其相關的加法或減法計算遵循以下三項基本規則：

定義資源條件約束時，您還要指定每個條件約束的分數。分數表示您要指定給此資源條件約束的值。系統會先套用分數較高的條件約束，然後再套用分數較低的條件約束。透過為指定資源建立不同分數的其他位置條件約束，即可指定資源將容錯移轉至之目標節點的順序。

如果您定義了一個資源範本 (請參閱第 6.3.4 節 「資源範本」)，則可以在以下類型的條件約束中參考該範本：

不過，並存條件約束不得包含對同個範本的多個參考。資源集不得包含對範本的參考。

條件約束中參考的資源範本代表由該範本衍生的所有基本資源。也就是說，這些條件約束將適用於所有參考了資源範本的基本資源。在條件約束中參考資源範本是另外一種使用資源集的方式，這種方式能夠大大簡化叢集設定。如需有關資源集的詳細資料，請參閱程序 7.17 「在條件約束中使用資源集」。

若資源失敗，系統會自動將其重新啟動。若無法在目前節點上重新啟動，或資源已在目前節點上失敗 N 次，則會嘗試容錯移轉至其他節點。每次資源失敗，其 failcount 值都會增加。您可以定義一個失敗計數，讓資源在失敗該次數 (migration-threshold) 之後移轉至新節點。若叢集中有兩個以上的節點，則特定資源容錯移轉所至的節點由 High Availability 軟體來選擇。

但是，您可以透過為該資源設定一或多個位置條件約束以及一個 migration-threshold，指定資源容錯移轉所至的節點。

瞭解如何使用偏好的叢集管理工具指定容錯移轉節點：

移轉限定值概念有兩種例外情況，發生於資源無法啟動或無法停止之時：

以下章節詳細介紹了如何使用移轉限定值以及如何使用偏好的叢集管理工具重設失敗計數的信息：

當原始節點恢復連接且位於叢集中時，資源可以錯誤回復至該節點。為防止資源錯誤回復到之前執行它的節點，或者要指定讓該資源錯誤回復到其他節點，請變更其資源粘性值。您可以在建立資源時或建立之後指定資源粘性。

指定資源粘性的值時，請考慮以下事項：

並非所有資源都相同。有些資源 (例如 Xen 客體作業系統) 要求代管它們的節點符合其容量要求。如果放置資源後其所需的容量之和超過了提供的容量，資源效能便會下降 (甚至無法執行)。

鑒於此，High Availability Extension 允許您指定以下參數：

瞭解如何使用偏好的叢集管理工具設定這些設定：

如果一個節點有足夠的可用容量來滿足資源的要求，則認為該節點符合資源要求。容量實際上與 High Availability Extension 完全無關，這只是為了確定在將資源移至某個節點前，該節點滿足此資源的全部容量要求。

若要手動設定資源的要求以及節點提供的容量，可以利用使用率屬性。您可以依據自己的偏好命名使用率屬性，依據組態需要定義任意數量的名稱/值對。但是，屬性的值必須是整數。

如果具有使用率屬性的多個資源已分組或具有並存條件約束，High Availability Extension 會將這種情況考慮在內。可能的話，系統會將資源放置在可以滿足全部容量要求的節點上。

注意：群組的使用率屬性

使用者無法直接為資源群組設定使用率屬性。不過，若要簡化群組的組態設定，您可以新增具有群組中所有資源所需總容量的使用率屬性。

High Availability Extension 現在還提供了用於自動偵測和設定節點容量及資源要求的方法：

NodeUtilization 資源代辦可檢查節點的容量 (與 CPU 和 RAM 相關)。若要設定自動偵測，請建立類別、提供者和類型如下的複製品資源：ocf:pacemaker:NodeUtilization。每個節點上都應該執行一個該複製品例項。該例項啟動後，一個使用率區段會新增至 CIB 中的節點組態。

為了自動偵測資源的最低要求 (與 RAM 和 CPU 相關)，我們改進了 Xen 資源代辦。Xen 資源啟動後會反映 RAM 和 CPU 的使用情況。使用率屬性將會自動新增至資源組態。

注意：適用於 Xen 和 libvirt 的不同資源代理程式

ocf:heartbeat:Xen 資源代辦不應與 libvirt 配合使用，因為 libvirt 需要能夠修改機器描述檔案。

對於 libvirt，請使用 ocf:heartbeat:VirtualDomain 資源代理程式。

除了偵測最低要求外，High Availability Extension 還允許透過 VirtualDomain 資源代辦監控目前使用率。它可以偵測虛擬機器的 CPU 和 RAM 使用情況。若要使用此功能，請設定類別、提供者和類型如下的資源：ocf:heartbeat:VirtualDomain。可用的例項屬性如下：autoset_utilization_cpu 和 autoset_utilization_hv_memory。兩者都預設為 true。如此，每個監控週期都會更新 CIB 中的使用率值。

無論是手動還是自動設定容量與要求，都必須使用 placement-strategy 內容 (在全域叢集選項中) 指定配置策略。可用的值如下：

注意：設定資源優先程度

提供的配置策略效能最佳，它們雖然沒有使用複雜的啟發式解析程式，卻總能獲得最佳的配置效果。請確保資源的優先程度已正確設定，以便先排程最重要的資源。

node alice utilization memory="4000"
node bob utilization memory="4000"
node  charlie utilization memory="4000"
primitive xenA Xen utilization hv_memory="3500" \
     params xmfile="/etc/xen/shared-vm/vm1"
     meta priority="10"
primitive xenB Xen utilization hv_memory="2000" \
     params xmfile="/etc/xen/shared-vm/vm2"
     meta priority="1"
primitive xenC Xen utilization hv_memory="2000" \
     params xmfile="/etc/xen/shared-vm/vm3"
     meta priority="1"
primitive xenD Xen utilization hv_memory="1000" \
     params xmfile="/etc/xen/shared-vm/vm4"
     meta priority="5"
property placement-strategy="minimal"

標記是最近新增至 Pacemaker 中的功能。使用標記可以一次參考多個資源，而無需在這些資源之間建立任何並存或順序關係。這個功能在把概念上相關的資源分組在一起時將十分實用。例如，如果有多個資源與某個資料庫相關，您可以建立名為 databases 的標記，並將與該資料庫相關的所有資源新增至此標記。這樣，只需使用一個指令就能停止或啟動所有這些資源。

在條件約束中也可以使用標記。例如，以下位置條件約束 loc-db-prefer 會套用至標記為 databases 的資源集：

location loc-db-prefer databases 100: alice

瞭解如何使用偏好的叢集管理工具建立標記：

監控虛擬機器的操作可以借助 VM 代辦來執行 (該代辦僅檢查客體作業系統是否出現在 hypervisor 中)，也可以透過從 VirtualDomain 或 Xen 代辦中呼叫的外部程序檔執行。到目前為止，較精細的監控只能透過在虛擬機器中安裝整個 High Availability 堆疊來實現。

透過提供對監控外掛程式 (以前稱為 Nagios 外掛程式) 的支援，High Availability Extension 現在還允許您監控遠端主機上的服務。您可以收集關於客體作業系統的外部狀態，而不必修改客體作業系統影像。例如，VM 客體作業系統可以執行 Web 服務或簡單網路資源，不過這些服務或資源必須位於可以存取的位置。借助 Nagios 資源代辦，您現在可以監控客體作業系統上的 Web 服務或網路資源。如果這些服務不再可存取，High Availability Extension 便會觸發對相應客體作業系統的重新啟動或移轉操作。

如果客體依存於某項服務 (例如，客體要使用的 NFS 伺服器) 運作，則該服務可能是由叢集管理的一般資源，也可能是使用 Nagios 資源監控的外部服務。

若要設定 Nagios 資源，必須在主機上安裝下列套件：

必要時，YaST 或 Zypper 將會解析對其他套件的任何相依性。

將監控外掛程式設定為屬於資源容器 (一般是 VM) 的資源，就是一個典型的使用案例。如果容器的任何資源發生故障，容器將會重新啟動。如需組態設定範例，請參閱範例 6.10 「為監控外掛程式設定資源」。或者，若要使用 Nagios 資源代辦來透過網路監控主機或服務，也可以將其設定為一般資源。

primitive vm1 VirtualDomain \
    params hypervisor="qemu:///system" config="/etc/libvirt/qemu/vm1.xml" \
    op start interval="0" timeout="90" \
    op stop interval="0" timeout="90" \
    op monitor interval="10" timeout="30"
primitive vm1-sshd nagios:check_tcp \
    params hostname="vm1" port="22" \ 1
    op start interval="0" timeout="120" \ 2
    op monitor interval="10"
group g-vm1-and-services vm1 vm1-sshd \
    meta container="vm1" 3

group g-vm1-and-services vm1 vm1-sshd vm1-httpd \
     meta container="vm1" \
     params hostname="vm1"

使用 pacemaker_remote 服務可將高可用性叢集延伸到虛擬節點或遠端裸機。這些虛擬節點或遠端裸機無需執行叢集堆疊就能成為叢集的成員。

High Availability Extension 現在可以啟動虛擬環境 (KVM 和 LXC) 以及這些虛擬環境中存在的資源，而無需虛擬環境執行 Pacemaker 或 Corosync。

對於同時要管理做為叢集資源的虛擬機器以及這些虛擬機器中存在之資源的使用案例，您現在可以使用以下設定：

由於遠端節點上未安裝叢集堆疊，這意味著：

Pacemaker Remote Quick Start中介紹了關於 remote_pacemaker 服務的詳細資訊，包括多個使用案例和詳細的設定說明。