17 儲存的資料管理 #

Ceph 的優勢之一是 CRUSH 地圖能夠靈活控制資料的放置。這也是叢集最難管理的環節之一。裝置類別會自動對 CRUSH 地圖執行最常見的變更，先前這些變更都需要由管理員手動完成。

17.1.1.1 CRUSH 管理問題 #

 

Ceph 叢集常由多種類型的儲存裝置建構而成：HDD、SSD、NVMe，甚至是以上這些類別的混合。我們將這些不同的儲存裝置類型稱為裝置類別，以避免與 CRUSH 桶的類型內容 (例如 host、rack 和 row，請參閱第 17.2 節 「桶」以瞭解更多詳細資料) 產生混淆。受 SSD 支援的 Ceph OSD 比受旋轉式磁碟支援的 OSD 速度快得多，因此更適合特定工作負載。利用 Ceph，您可輕鬆為不同資料集或工作負載建立 RADOS 池，以及指定不同的 CRUSH 規則來控制這些池的資料放置。

圖 17.1︰ 使用混合裝置類別的 OSD #

 

不過，透過設定 CRUSH 規則將資料僅放置到特定類別的裝置這個過程十分枯燥。規則是針對 CRUSH 階層運作的，但如果將某些裝置混合到同一主機或機架中 (如上面的範例階層所示)，則這些裝置預設會混合在一起並顯示在階層的同一子樹狀結構中。若要手動將它們分隔到單獨的樹狀結構中，需要針對先前版本的 SUSE Enterprise Storage 中的每個裝置類別，為每個中間節點建立多個版本。

cephuser@adm > ceph osd tree
 ID CLASS WEIGHT   TYPE NAME      STATUS REWEIGHT PRI-AFF
 -1       83.17899 root default
 -4       23.86200     host cpach
 2   hdd  1.81898         osd.2      up  1.00000 1.00000
 3   hdd  1.81898         osd.3      up  1.00000 1.00000
 4   hdd  1.81898         osd.4      up  1.00000 1.00000
 5   hdd  1.81898         osd.5      up  1.00000 1.00000
 6   hdd  1.81898         osd.6      up  1.00000 1.00000
 7   hdd  1.81898         osd.7      up  1.00000 1.00000
 8   hdd  1.81898         osd.8      up  1.00000 1.00000
 15  hdd  1.81898         osd.15     up  1.00000 1.00000
 10  nvme 0.93100         osd.10     up  1.00000 1.00000
 0   ssd  0.93100         osd.0      up  1.00000 1.00000
 9   ssd  0.93100         osd.9      up  1.00000 1.00000

cephuser@adm > ceph osd crush rm-device-class osd.2 osd.3
done removing class of osd(s): 2,3
cephuser@adm > ceph osd crush set-device-class ssd osd.2 osd.3
set osd(s) 2,3 to class 'ssd'

cephuser@adm > ceph osd crush rule create-replicated RULE_NAME ROOT FAILURE_DOMAIN_TYPE DEVICE_CLASS

cephuser@adm > ceph osd crush rule create-replicated fast default host ssd

cephuser@adm > ceph osd pool create fast_pool 128 128 replicated fast

cephuser@adm > ceph osd erasure-code-profile set myprofile \
 k=4 m=2 crush-device-class=ssd crush-failure-domain=host
cephuser@adm > ceph osd pool create mypool 64 erasure myprofile

rule ecpool {
  id 2
  type erasure
  min_size 3
  max_size 6
  step set_chooseleaf_tries 5
  step set_choose_tries 100
  step take default class ssd
  step chooseleaf indep 0 type host
  step emit
}

cephuser@adm > ceph osd crush class ls
[
  "hdd",
  "ssd"
]

cephuser@adm > ceph osd crush rule ls
replicated_rule
fast

cephuser@adm > ceph osd crush rule dump fast
{
		"rule_id": 1,
		"rule_name": "fast",
		"ruleset": 1,
		"type": 1,
		"min_size": 1,
		"max_size": 10,
		"steps": [
						{
										"op": "take",
										"item": -21,
										"item_name": "default~ssd"
						},
						{
										"op": "chooseleaf_firstn",
										"num": 0,
										"type": "host"
						},
						{
										"op": "emit"
						}
		]
}

cephuser@adm > ceph osd crush class ls-osd ssd
0
1

可採用節點樹的形式來檢視使用桶定義的結構。在此樹中，桶是節點，OSD 是葉。

CRUSH 地圖中的規則定義如何從此樹中選取 OSD。規則從某個節點開始，然後在樹中向下逐一查看，以傳回一組 OSD。無法定義需要選取哪個分支。CRUSH 演算法可保證 OSD 集能夠符合複製要求並均衡分發資料。

使用 step take bucket 時，在節點樹中從給定的桶 (而不是桶類型) 開始逐一查看。如果要傳回樹中所有分支上的 OSD，該桶必須是根桶。否則，以下步驟只會在子樹中逐一查看。

完成 step take 後，接下來會執行規則定義中的一或多個 step choose 項目。每個 step choose 會從前面選定的上層節點中選擇指定數量的節點 (或分支)。

最後，使用 step emit 傳回選定的 OSD。

step chooseleaf 是一個便捷函數，可直接從給定桶的分支中選取 OSD。

圖形 17.2 「範例樹」中提供了展示如何使用 step 在樹中逐一查看的範例。在下面的規則定義中，橙色箭頭和數字與 example1a 和 example1b 對應，藍色箭頭和數字與 example2 對應。

圖 17.2︰ 範例樹 #

 

# orange arrows
rule example1a {
        ruleset 0
        type replicated
        min_size 2
        max_size 10
        # orange (1)
        step take rack1
        # orange (2)
        step choose firstn 0 host
        # orange (3)
        step choose firstn 1 osd
        step emit
}

rule example1b {
        ruleset 0
        type replicated
        min_size 2
        max_size 10
        # orange (1)
        step take rack1
        # orange (2) + (3)
        step chooseleaf firstn 0 host
        step emit
}

# blue arrows
rule example2 {
        ruleset 0
        type replicated
        min_size 2
        max_size 10
        # blue (1)
        step take room1
        # blue (2)
        step chooseleaf firstn 0 rack
        step emit
}

CRUSH 規則定義有故障節點或 OSD 的取代項 (請參閱第 17.3 節 「規則集」)。關鍵字 step 要求使用 firstn 或 indep 參數。圖形 17.3 「節點取代方法」提供了範例。

firstn 將取代節點新增至使用中節點清單的結尾。如果某個節點發生故障，其後的正常節點會移位到左側，以填滿有故障節點留下的空缺。這是副本池的預設方法，也是需要採取的方法，因為次要節點已包含所有資料，因此可立即接管主要節點的職責。

indep 為每個使用中節點選取固定的取代節點。取代有故障節點不會變更剩餘節點的順序。這對於糾刪碼池而言是所需的行為。在糾刪碼池中，節點上儲存的資料取決於在選取節點時它所在的位置。如果節點的順序發生變化，受影響節點上的所有資料都需要重新放置。

圖 17.3︰ 節點取代方法 #

 

放置群組 (PG) 聚合了池內的物件。主要原因是基於每個物件來追蹤物件放置和中繼資料的計算成本較高。例如，包含數百萬個物件的系統無法直接追蹤各個物件的放置。

圖 17.4︰ 池中的放置群組 #

 

Ceph 用戶端負責計算物件將屬於哪個放置群組。它會對物件 ID 進行雜湊處理，並依據所定義池中的 PG 數及池的 ID 來套用操作。

系統會在一組 OSD 中儲存放置群組內的物件內容。例如，在大小為 2 的複本池中，每個放置群組將物件儲存到兩個 OSD 中：

圖 17.5︰ 放置群組和 OSD #

 

如果 OSD 2 發生故障，則系統會將另一個 OSD 指定給放置群組 1，並在該 OSD 中填入 OSD 1 內所有物件的複本。如果池大小從 2 變為 3，則系統會向放置群組另外再指定一個 OSD，並在該 OSD 中填入放置群組內所有物件的複本。

放置群組並不擁有 OSD，它們與同一池甚至其他池內的其他放置群組共用 OSD。如果 OSD 2 發生故障，放置群組 2 也將需要使用 OSD 3 來還原物件的複本。

當放置群組的數量增加時，系統會向新放置群組指定 OSD。CRUSH 函數的結果也會發生變更，並且系統會將之前的放置群組的部分物件複製到新放置群組，並將它們從舊放置群組移除。

注意

從 Ceph Nautilus (v14.x) 開始，您可以使用 Ceph 管理員 pg_autoscaler 模組視需要自動調整 PG。如果要啟用此功能，請參閱Section 8.1.1.1, “Default PG and PGP counts”。

建立新池時，您仍可手動選擇 PG_NUM 的值：

# ceph osd pool create POOL_NAME PG_NUM

系統無法自動計算 PG_NUM 的值。以下是一些常用的值，選擇哪個值取決於叢集中的 OSD 數量：

隨著 OSD 數量的增加，選擇正確的 PG_NUM 值也變得愈加重要。PG_NUM 對叢集的行為以及 OSD 發生故障時的資料持久性具有很大影響。

total PGs = (OSDs * 100) / POOL_SIZE

          (200 * 100) / 3 = 6667

注意

從 Ceph Nautilus (v14.x) 開始，您可以使用 Ceph 管理員 pg_autoscaler 模組視需要自動調整 PG。如果要啟用此功能，請參閱Section 8.1.1.1, “Default PG and PGP counts”。

如果您仍需手動指定池中的放置群組數量，則需要在建立池時指定 (請參閱第 18.1 節 「建立池」)。為池設定放置群組後，您可以透過執行以下指令來增加放置群組的數量：

# ceph osd pool set POOL_NAME pg_num PG_NUM

增加放置群組數量後，您還需要增加要放置的放置群組數量 (PGP_NUM)，以便您的叢集重新達到平衡。PGP_NUM 是考慮要透過 CRUSH 演算法放置的放置群組數。增加 PG_NUM 會分割放置群組，但在增加 PGP_NUM 之前，資料不會移轉至較新的放置群組。PGP_NUM 應等於 PG_NUM。若要增加應放置的放置群組數量，請執行以下指令：

# ceph osd pool set POOL_NAME pgp_num PGP_NUM

獲取某個池中放置群組的數量，請執行以下 get 指令：

# ceph osd pool get POOL_NAME pg_num

若要獲取叢集內放置群組的統計資料，請執行以下指令：

# ceph pg dump [--format FORMAT]

有效格式為「plain」(預設值) 和「json」。

若要獲取所有卡在指定狀態之放置群組的統計資料，請執行以下指令：

# ceph pg dump_stuck STATE \
 [--format FORMAT] [--threshold THRESHOLD]

可能的狀態有：「inactive」(PG 由於在等待擁有最新資料的 OSD 恢復啟用狀態而無法處理讀取或寫入)、「unclean」(PG 包含未複製所需次數的物件)、「stale」(PG 處於未知狀態，即代管 PG 的 OSD 未在 mon_osd_report_timeout 選項所指定的時間間隔內向監控程式叢集報告相關資訊)、「undersized」或「degraded」。

有效格式為「plain」(預設值) 和「json」。

該閾值定義放置群組至少卡住多少秒 (預設為 300 秒) 後，系統會將其包含到傳回的統計資料中。

若要搜尋特定放置群組的地圖，請執行以下指令：

# ceph pg map PG_ID

Ceph 將傳回放置群組地圖、放置群組和 OSD 狀態：

# ceph pg map 1.6c
osdmap e13 pg 1.6c (1.6c) -> up [1,0] acting [1,0]

若要擷取特定放置群組的統計資料，請執行以下指令：

# ceph pg PG_ID query

若要整理 (第 17.6 節 「整理放置群組」) 放置群組，請執行以下指令：

# ceph pg scrub PG_ID

Ceph 會檢查主要節點和複本節點、產生放置群組內所有物件的目錄，並對它們進行比較，以確定沒有缺少或不符的物件且物件的內容均一致。假設所有複本均相符，最後的語意整理便可確定所有與快照相關的物件中繼資料均一致。系統透過記錄來報告錯誤。

您可能會遇到數個放置群組需要復原和/或回填，而其中一些放置群組儲存的資料比其他放置群組更為重要的情況。例如，這些 PG 可能儲存著執行中機器所使用的影像資料，其他 PG 則可能儲存的是由非使用中機器使用的資料或相關度較低的資料。在該情況下，您可能需要優先復原這些放置群組，以便更早地還原這些放置群組中所儲存資料的效能和可用性。若要將特定放置群組標示為在回填或復原期間優先處理，請執行以下指令：

# ceph pg force-recovery PG_ID1 [PG_ID2 ... ]
# ceph pg force-backfill PG_ID1 [PG_ID2 ... ]

這將導致 Ceph 先對指定放置群組執行復原或回填，然後再處理其他放置群組。這并不會中斷目前正在進行的回填或復原，而是會使指定的 PG 儘快得到處理。如果您改變了主意或將錯誤的放置群組設為優先處理，請使用以下指令取消優先程度：

# ceph pg cancel-force-recovery PG_ID1 [PG_ID2 ... ]
# ceph pg cancel-force-backfill PG_ID1 [PG_ID2 ... ]

cancel-* 指令會移除 PG 的「force」旗標，這樣系統便會依預設順序處理這些 PG。同樣，這並不會影響目前正在處理的放置群組，只會影響仍排在佇列中的放置群組。完成放置群組復原或回填後，系統即會自動清除「force」旗標。

如果叢集遺失了一或多個物件，而您已決定放棄搜尋遺失的資料，則需要將未找到的物件標示為「lost」。

如果在查詢過所有可能的位置後仍未找到這些物件，您可能需要放棄這些遺失的物件。這可能是由於幾種故障同時發生 (這種情況很少見) 所導致，致使叢集在寫入自身復原之前便得知寫入已執行。

目前唯一支援的選項為「revert」，該選項會復原到物件的先前版本，或在有新物件時完全忽略遺失物件。若要將「未找到」的物件標示為「lost」，請執行以下指令：

  cephuser@adm > ceph pg PG_ID mark_unfound_lost revert|delete

放置群組 (PG) 是 Ceph 分佈資料方式的詳細內部實作。透過啟用 PG 自動調整功能，您可以允許叢集依據叢集的使用情況建立或自動調整 PG。

系統中的每個池都有一個 pg_autoscale_mode 內容，可將其設定為 off、on 或 warn：

自動調整器基於每個池設定，可在以下三種模式下執行：

若要為現有池設定自動調整模式，請執行以下指令：

cephuser@adm > ceph osd pool set POOL_NAME pg_autoscale_mode mode

您也可以執行以下指令，以設定將套用至未來將建立之所有池的預設 pg_autoscale_mode：

cephuser@adm > ceph config set global osd_pool_default_pg_autoscale_mode MODE

您可以執行以下指令來檢視每個池、其相關使用情況，以及對 PG 計數的任何變更建議：

cephuser@adm > ceph osd pool autoscale-status

若要編輯現有的 CRUSH 地圖，請執行以下操作：

提示：使用版本設定系統

請為輸出並修改過的 CRUSH 地圖檔案使用諸如 git 或 svn 的版本設定系統。這可以讓可能發生的復原變得簡單。

提示：測試新 CRUSH 地圖

請使用 crushtool --test 指令測試調整後的新 CRUSH 地圖，並與套用新 CRUSH 地圖之前的狀態進行比較。以下指令參數十分有用：--show-statistics、--show-mappings、--show-bad-mappings、--show-utilization、--show-utilization-all、--show-choose-tries

若要在執行中叢集的 CRUSH 地圖中新增或移動 OSD，請執行以下指令：

cephuser@adm > ceph osd crush set id_or_name weight root=pool-name
bucket-type=bucket-name ...

下面的範例將 osd.0 新增至階層，或移動先前某個位置的 OSD。

cephuser@adm > ceph osd crush set osd.0 1.0 root=data datacenter=dc1 room=room1 \
row=foo rack=bar host=foo-bar-1

有兩個相似的指令都可變更 Ceph OSD 的權數。它們的使用情境不同，可能會造成混淆。

17.5.3.1 ceph osd reweight #

 

用法：

cephuser@adm > ceph osd reweight OSD_NAME NEW_WEIGHT

ceph osd reweight 用於對 Ceph OSD 設定覆寫權數。此值介於 0 到 1 之間，會強制 CRUSH 重新放置此磁碟機上將以其他方式儲存的資料。該指令不會變更指定給 OSD 上方的桶的權數，它是一種在正常 CRUSH 分佈出現問題時的矯正措施。例如，如果您的其中一個 OSD 處於 90%，而其他 OSD 處於 40%，則您可縮小此權數，以嘗試對其進行補償。

注意：OSD 權數是暫時的

請注意，ceph osd reweight 並非永久設定。將某個 OSD 標示為「out」時，它的權數將設為 0，一旦將它重新標示為「in」，其權數又會變更為 1。

cephuser@adm > ceph osd crush reweight OSD_NAME NEW_WEIGHT

若要從執行中叢集的 CRUSH 地圖中移除 OSD，請執行以下指令：

cephuser@adm > ceph osd crush remove OSD_NAME

若要新增桶至執行中叢集的 CRUSH 地圖，請執行 ceph osd crush add-bucket 指令：

cephuser@adm > ceph osd crush add-bucket BUCKET_NAME BUCKET_TYPE

若要將某個桶移至 CRUSH 地圖階層中的不同位置，請執行以下指令：

cephuser@adm > ceph osd crush move BUCKET_NAME BUCKET_TYPE=BUCKET_NAME [...]

例如：

cephuser@adm > ceph osd crush move bucket1 datacenter=dc1 room=room1 row=foo rack=bar host=foo-bar-1

若要從 CRUSH 地圖階層中移除某個桶，請執行以下指令：

cephuser@adm > ceph osd crush remove BUCKET_NAME

注意：僅限空的桶

從 CRUSH 階層中只能移除空的桶。