若要登入 Ceph Dashboard，請將瀏覽器指向其 URL，包括連接埠號碼。執行以下指令可尋找位址：

cephuser@adm > ceph mgr services | grep dashboard
"dashboard": "https://host:port/",

該指令將傳回 Ceph Dashboard 所在的 URL。如果您有與此指令相關的問題，請參閱Book “Troubleshooting Guide”, Chapter 10 “Troubleshooting the Ceph Dashboard”, Section 10.1 “Locating the Ceph Dashboard”。

圖 2.1︰ Ceph Dashboard 登入畫面 #

 

使用您在叢集部署期間建立的身分證明登入 (參閱Book “部署指南”, Chapter 5 “使用 cephadm 進行部署”, Section 5.3.2.9 “設定 Ceph Dashboard 登入身分證明”)。

提示：自訂使用者帳戶

如果您不想使用預設的 admin 帳戶存取 Ceph Dashboard，請建立擁有管理員權限的自訂使用者帳戶。如需更多詳細資料，請參閱第 11 章 「在指令行上管理使用者和角色」。

儀表板使用者介面以圖形方式分為數個區塊：螢幕右上方的公用程式功能表，左側的主功能表以及主要的內容窗格。

圖 2.2︰ Ceph Dashboard 首頁 #

 

公用程式功能表位於螢幕右上方。該功能表包含與儀表板更為相關 (相較於 Ceph 叢集) 的一般任務。按一下相應選項可以存取以下主題：

儀表板的主功能表位於螢幕左側。它涵蓋下列主題：

內容窗格佔據儀表板螢幕的主要部分。儀表板首頁上顯示了很多有用的工具集，為您提供叢集目前狀態、容量及效能的簡要資訊。

在 Ceph Dashboard 中，您經常會用到清單 — 例如，池清單、OSD 節點清單或 RBD 裝置清單。所有清單預設每五秒會自動重新整理一次。下列常用工具集可協助您管理或調整這些清單：

按一下 可手動觸發清單的重新整理。

按一下 可顯示或隱藏表的個別欄。

按一下 並輸入 (或選取) 要在一頁上顯示的列數。

在 中按一下並輸入要搜尋的字串以過濾列。

如果清單跨多頁顯示，可使用 來變更目前顯示的頁。

每個儀表板工具集顯示與執行中 Ceph 叢集特定方面相關的特定狀態資訊。有些工具集是使用中連結，按一下它們會將您重新導向至其所代表主題的相關詳細頁面。

提示：滑鼠懸停時顯示更多詳細資料

有些圖形工具集會在您將滑鼠移至其上時顯示更多詳細資料。

2.6.1 狀態工具集 #

 

狀態工具集為您提供有關叢集目前狀態的簡要綜覽。

圖 2.3︰ 狀態工具集 #

 

叢集狀態

顯示有關叢集狀態的基本資訊。

主機

顯示叢集節點的總數。

監控程式

顯示執行中監控程式的數量及其仲裁。

OSD

顯示 OSD 的總數及處於 up 和 in 狀態的 OSD 數量。

管理員

顯示使用中和待命 Ceph 管理員精靈的數量。

物件閘道

顯示執行中物件閘道的數量。

中繼資料伺服器

顯示中繼資料伺服器的數量。

iSCSI 閘道

顯示設定的 iSCSI 閘道的數量。

2.6.2 容量工具集 #

 

容量工具集顯示有關儲存容量的簡要資訊。

圖 2.4︰ 容量工具集 #

 

原始容量

顯示已用與可用原始儲存容量的比率。

物件

顯示叢集中儲存的資料物件數量。

PG 狀態

顯示依照狀態分組的放置群組圖表。

池

顯示叢集中池的數量。

每個 OSD 的 PG 數

顯示每個 OSD 的平均放置群組數量。

2.6.3 效能工具集 #

 

效能工具集提供 Ceph 用戶端的基本效能資料。

圖 2.5︰ 效能工具集 #

 

用戶端讀取/寫入

每秒用戶端讀取和寫入操作次數。

用戶端輸送量

每秒與 Ceph 用戶端之間傳輸的資料數量 (以位元組計)。

復原輸送量

每秒復原的資料輸送量。

整理

顯示整理 (參閱第 17.4.9 節 「整理放置群組」) 狀態。其狀態可以是 inactive、enabled 或 active。

按一下公用程式功能表中的 ，然後選取使用者管理。

該清單包含每個使用者的使用者名稱、全名、電子郵件、已指定角色的清單、角色是否啟用以及密碼過期日期。

圖 3.1︰ 使用者管理 #

 

按一下表標題左上方的建立可新增新使用者。輸入其使用者名稱、密碼、全名 (選擇性) 和電子郵件。

圖 3.2︰ 新增使用者 #

 

按一下鉛筆小圖示可為使用者指定預先定義的角色。按一下建立使用者進行確認。

按一下表中某個使用者對應的列以反白顯示所選項。選取編輯，即可編輯該使用者的詳細資料。按一下編輯使用者進行確認。

按一下表中某個使用者對應的列以反白顯示所選項。選取編輯旁的下拉式按鈕，然後從清單中選取刪除，即可刪除使用者帳戶。啟用是的，我確定核取方塊，然後按一下刪除使用者進行確認。

按一下公用程式功能表中的 ，然後選取使用者管理。然後按一下角色索引標籤。

該清單包含每個角色的名稱、描述及其是否屬於系統角色。

圖 3.3︰ 使用者角色 #

 

按一下表標題左上方的建立可新增新的自訂角色。輸入名稱和描述，然後在許可權旁選取適當的許可權。

提示：清除自訂角色

如果您建立了自訂使用者角色，並打算以後使用 ceph-salt purge 指令移除 Ceph 叢集，則需要先清除自訂角色。如需更多詳細資料，請參閱第 13.9 節 「移除整個 Ceph 叢集」。

圖 3.4︰ 新增角色 #

 

提示：多項目啟用

透過啟用主題名稱前的核取方塊，您可以啟用針對該主題的所有許可權。透過啟用全部核取方塊，您可以啟用針對所有主題的所有許可權。

按一下建立角色進行確認。

按一下表中某個自訂角色對應的列以反白顯示所選項。選取表標題左上方的編輯，即可編輯自訂角色的描述和許可權。按一下編輯角色進行確認。

按一下表中某個角色對應的列以反白顯示所選項。選取編輯旁的下拉式按鈕，然後從清單中選取刪除，即可刪除角色。啟用是的，我確定核取方塊，然後按一下刪除角色進行確認。

按一下叢集 › 主機可檢視叢集節點清單。

圖 4.1︰ 主機 #

 

按一下主機名稱欄中某個節點名稱旁的下拉式箭頭可檢視節點的效能詳細資料。

服務欄中會列出每個相關節點上的所有執行中精靈。按一下精靈名稱可檢視其詳細組態。

按一下叢集 › 庫存可檢視裝置清單。該清單包含裝置路徑、類型、可用性、廠商、型號、大小和 OSD。

按一下以在主機名稱欄中選取節點名稱。選取後，按一下識別以識別正在執行主機的裝置。這會讓相應裝置上的 LED 閃爍。選取此動作的持續時間 (介於 1、2、5、10 或 15 分鐘之間)。按一下執行。

圖 4.2︰ 服務 #

 

按一下叢集 › 監控程式可檢視具有執行中 Ceph 監控程式的叢集節點清單。內容窗格分為兩個檢視窗：狀態和仲裁成員或非仲裁成員。

狀態表顯示有關執行中 Ceph 監控程式的一般統計資料，包括以下各項：

仲裁成員和非仲裁成員窗格包含每個監控程式的名稱、階層編號、公用 IP 位址和開啟的工作階段數。

按一下名稱欄中的節點名稱可檢視相關的 Ceph 監控程式組態。

圖 4.3︰ Ceph 監控程式 #

 

按一下叢集 › 服務可檢視每個可用服務的詳細資料：crash、Ceph 管理員和 Ceph 監控程式。該清單包含容器影像名稱、容器影像 ID、正在執行項目的狀態、大小以及上次重新整理時間。

按一下服務欄中某個服務名稱旁的下拉式箭頭可檢視精靈的詳細資料。詳細資料清單包含主機名稱、精靈類型、精靈 ID、容器 ID、容器影像名稱、容器影像 ID、版本號碼、狀態以及上次重新整理時間。

圖 4.4︰ 服務 #

 

按一下叢集 › OSD 可檢視具有執行中 OSD 精靈的節點清單。該清單包含每個節點的名稱、ID、狀態、裝置類別、放置群組數量、大小、使用率、不同時間的讀取/寫入圖表，以及每秒讀取/寫入操作次數。

圖 4.5︰ Ceph OSD #

 

從表標題中的叢集範圍的組態下拉式功能表中選取旗標，可開啟一個快顯視窗。此視窗包含適用於整個叢集的旗標清單。您可以啟用或停用個別旗標，然後按一下提交進行確認。

圖 4.6︰ OSD 旗標 #

 

從表標題中的叢集範圍的組態下拉式功能表中選取復原優先程度，可開啟一個快顯視窗。此視窗包含適用於整個叢集的 OSD 復原優先程度清單。您可以啟用偏好的優先程度設定檔，並對下面的個別值進行微調。按一下提交以確認。

圖 4.7︰ OSD 復原優先程度 #

 

按一下主機欄中某個節點名稱旁的下拉式箭頭可檢視延伸表，其中包含有關裝置設定和效能的詳細資料。您可以在數個索引標籤之間切換，以便查看屬性、中繼資料、裝置狀況、效能計數器的各個清單、讀取/寫入操作次數的圖形長條圖，以及效能詳細資料。

圖 4.8︰ OSD 詳細資料 #

 

提示：在 OSD 上執行特定任務

按一下某個 OSD 節點名稱後，將反白顯示表中的對應列。這表示現在您可以在該節點上執行任務。您可以選擇執行以下任何動作：編輯、建立、整理、深層整理、重新設定權數、標示為除名、標示為加入、標示為停機、標示為遺失、清除、損毀或刪除。

按一下表標題左上方建立按鈕旁的向下箭頭，然後選取要執行的任務。

按一下叢集 › 組態可檢視 Ceph 叢集組態選項的完整清單。該清單包含選項的名稱、其簡短描述、目前值和預設值以及選項是否可編輯。

圖 4.14︰ 叢集組態 #

 

按一下名稱欄中某個組態選項旁的下拉式箭頭可檢視延伸表，其中包含有關該選項的詳細資訊，例如其值類型、允許的最小值和最大值、是否可以在執行時期更新等。

反白特定選項後，您可以透過按一下表標題左上方的編輯按鈕來編輯它的值。按一下儲存確認變更。

按一下叢集 › CRUSH 地圖可檢視叢集的 CRUSH 地圖。如需 CRUSH 地圖的更多一般資訊，請參閱第 17.5 節 「CRUSH 地圖操作」。

按一下根、節點或個別 OSD 可檢視更多詳細資訊，例如 CRUSH 權數、地圖樹狀結構的深度、OSD 的裝置類別等等。

圖 4.15︰ CRUSH 地圖 #

 

按一下叢集 › 管理員模組可檢視可用 Ceph 管理員模組的清單。每行包含模組名稱以及該模組目前啟用與否的資訊。

圖 4.16︰ 管理員模組 #

 

按一下名稱欄中某個模組旁的下拉式箭頭，可在下面的詳細資料表中檢視包含詳細設定的延伸表。按一下表標題左上方的編輯按鈕可進行編輯。按一下更新確認變更。

按一下表標題左上方編輯按鈕旁的下拉式箭頭，可啟用或停用模組。

按一下叢集 › 記錄可檢視叢集的最近記錄項目清單。每行包含一個時戳、記錄項目的類型及自身所記錄的訊息。

按一下稽核記錄索引標籤可檢視稽核子系統的記錄項目。如需啟用或停用稽核的指令，請參閱第 11.5 節 「稽核 API 要求」。

圖 4.17︰ 記錄 #

 

按一下叢集 › 監控可管理和檢視有關 Prometheus 警示的詳細資料。

如果您啟用了 Prometheus，則在此內容窗格中，您可以檢視有關使用中警示、所有警示或靜默的詳細資訊。

注意

如果您未部署 Prometheus，則會顯示一個資訊標題頁以及相關文件的連結。

若要新增新池，請按一下池表左上方的建立。在池表單中，您可以輸入池的名稱、類型、其應用程式、壓縮模式和定額 (包括位元組數上限和物件數量上限)。池表單會自行預先計算最適合此特定池的放置群組數量。計算以叢集中的 OSD 數量和所選池類型及其特定設定為依據。如果手動設定了放置群組數量，計算出的數量會取代設定的數量。按一下建立池進行確認。

圖 5.2︰ 新增新池 #

 

若要刪除池，請選取並反白顯示表中該池對應的列。按一下建立按鈕旁的下拉式箭頭，然後按一下刪除。

若要編輯池選項，請選取表中該池對應的列，然後按一下池表左上方的編輯。

您可以變更池的名稱、增加放置群組的數量、變更池的應用程式清單和壓縮設定。按一下編輯池進行確認。

若要檢視某部裝置的更多詳細資訊，請按一下表中對應的列：

圖 6.2︰ RBD 詳細資料 #

 

若要檢視某部裝置的詳細組態，請按一下表中對應的列，然後按一下下方表中的組態索引標籤：

圖 6.3︰ RBD 組態 #

 

若要新增新裝置，請按一下表標題左上方的建立，然後在建立 RBD 螢幕上執行以下操作：

圖 6.4︰ 新增新的 RBD #

 

若要刪除裝置，請選取表中該裝置對應的列。按一下建立按鈕旁的下拉式箭頭，然後按一下刪除。按一下刪除 RBD 確認刪除。

提示：將 RBD 移至垃圾桶

刪除 RBD 的動作無法復原。如果您選擇將裝置移至垃圾桶，那麼稍後還可以將其還原，只需在主表的垃圾桶索引標籤上選取該裝置，然後按一下表標題左上方的還原。

若要建立 RADOS 區塊裝置快照，請選取表中該裝置對應的列，將會顯示詳細的組態內容窗格。選取快照索引標籤，然後按一下表標題左上方的建立。輸入快照的名稱，然後按一下建立 RBD 快照進行確認。

選取快照後，您可以在裝置上執行其他動作，例如重新命名、保護、克隆、複製或刪除。復原可根據目前的快照還原裝置的狀態。

圖 6.5︰ RBD 快照 #

 

RADOS 區塊裝置影像可以在兩個 Ceph 叢集之間以非同步方式鏡像。您可以使用 Ceph Dashboard 在兩個或更多叢集之間設定 RBD 影像複製。此功能有兩種模式：

鏡像是基於對等叢集中的每個池進行設定的，可以對池中的特定影像子集進行設定，也可以設定為在僅使用基於記錄的鏡像時自動鏡像池中的所有影像。

鏡像是使用 rbd 指令設定的，依預設，SUSE Enterprise Storage 7 中會安裝該應用程式。rbd-mirror 精靈負責從遠端對等叢集提取影像更新，並將它們套用於本地叢集中的影像。如需啟用 rbd-mirror 精靈的詳細資訊，請參閱第 6.6.2 節 「啟用 rbd-mirror 精靈」。

依據複製需求，RBD 區塊裝置鏡像可以設定為單向或雙向複製：

重要

rbd-mirror 精靈的每個例項都必須能夠同時連接至本地和遠端 Ceph 叢集，例如所有監控程式和 OSD 主機。此外，網路必須在兩個資料中心之間具有足夠的頻寬來處理鏡像工作負載。

提示：一般資訊

如需 RADOS 區塊裝置鏡像的一般資訊和指令行方法，請參閱第 20.4 節 「RBD 影像鏡像」。

6.6.1 設定主要叢集和次要叢集 #

 

主要叢集是用於建立包含影像的原始池的叢集。次要叢集是用於從主要叢集複製池或影像的叢集。

注意：相對命名

在複製情境中，主要與次要這兩個術語有可能是相對的，因為相較於叢集來說，它們與個別池更為相關。例如，在雙向複製中，可將一個池從主要叢集鏡像到次要叢集，與此同時，也可以將另一個池從次要叢集鏡像到主要叢集。

cephuser@adm > rbd mirror pool disable POOL_NAME

cephuser@adm > rbd mirror pool peer bootstrap create [--site-name local-site-name] pool-name

cephuser@adm > rbd --cluster primary mirror pool peer bootstrap create --site-name primary
  image-pool eyJmc2lkIjoiOWY1MjgyZGItYjg5OS00NTk2LTgwOTgtMzIwYzFmYzM5NmYzIiwiY2xpZW50X2lkIjoicmJkL \
  W1pcnJvci1wZWVyIiwia2V5IjoiQVFBUnczOWQwdkhvQmhBQVlMM1I4RmR5dHNJQU50bkFTZ0lOTVE9PSIsIm1vbl9ob3N0I \
  joiW3YyOjE5Mi4xNjguMS4zOjY4MjAsdjE6MTkyLjE2OC4xLjM6NjgyMV0ifQ==

cephuser@adm > rbd mirror pool peer bootstrap import [--site-name local-site-name] \
[--direction rx-only or rx-tx] pool-name token-path

cephuser@adm > cat >>EOF < token
eyJmc2lkIjoiOWY1MjgyZGItYjg5OS00NTk2LTgwOTgtMzIwYzFmYzM5NmYzIiwiY2xpZW50X2lkIjoicmJkLW \
1pcnJvci1wZWVyIiwia2V5IjoiQVFBUnczOWQwdkhvQmhBQVlMM1I4RmR5dHNJQU50bkFTZ0lOTVE9PSIsIm1v \
bl9ob3N0IjoiW3YyOjE5Mi4xNjguMS4zOjY4MjAsdjE6MTkyLjE2OC4xLjM6NjgyMV0ifQ==
EOF
cephuser@adm > rbd --cluster secondary mirror pool peer bootstrap import --site-name secondary image-pool token

cephuser@adm > rbd mirror pool peer remove pool-name peer-uuid

提示：iSCSI 閘道的更多資訊

如需 iSCSI 閘道的更多一般資訊，請參閱第 22 章 「Ceph iSCSI 閘道」。

若要列出所有可用閘道和對應的影像，請按一下主功能表中的區塊 › iSCSI。綜覽索引標籤即會開啟，列出目前設定的 iSCSI 閘道和對應的 RBD 影像。

閘道表列出每個閘道的狀態、iSCSI 目標數量及工作階段數量。影像表列出每個對應影像的名稱、相關池名稱、後備儲存類別，以及其他統計資料詳細資訊。

目標索引標籤列出目前設定的 iSCSI 目標。

圖 6.14︰ iSCSI 目標清單 #

 

若要檢視有關目標的更多詳細資訊，請按一下表中該目標對應的列上的下拉式箭頭。一個樹狀結構綱要即會開啟，列出磁碟、入口網站、啟動器和群組。按一下某一項可將其展開並檢視詳細內容，右側的表中也可能會顯示其相關組態。

圖 6.15︰ iSCSI 目標詳細資料 #

 

6.7.1 新增 iSCSI 目標 #

 

若要新增新的 iSCSI 目標，請按一下目標表左上方的建立，並輸入所需資訊。

圖 6.16︰ 新增新目標 #

 

1. 輸入新閘道的目標位址。

2. 按一下新增入口網站，然後從清單中選取一或多個 iSCSI 入口網站。

3. 按一下新增影像，然後為閘道選取一或多個 RBD 影像。

4. 如果您需要使用驗證才能存取閘道，請啟用 ACL 驗證核取方塊並輸入身分證明。選取雙向驗證和探查驗證之後，您可看到更多進階驗證選項。

5. 按一下建立目標進行確認。

提示：相關資訊

如需 RBD QoS 組態選項的更多一般資訊和描述，請參閱第 20.6 節 「QoS 設定」。

您可以在不同層級設定 QoS 選項。

全域組態位於清單頂部，將用於所有新建立的 RBD 影像，以及不會覆寫池或 RBD 影像層相應值的影像。基於每個池或影像設定的值可能會覆寫全域指定的選項值。針對某個池指定的選項將套用至該池的所有 RBD 影像，除非被針對某個影像設定的組態選項所覆寫。對影像指定的選項將覆寫對池指定的選項以及全域指定的選項。

因此可以如此操作：全域定義預設值，對預設值進行調整以適合特定池的所有 RBD 影像，然後覆寫個別 RBD 影像的池組態。

6.8.2 針對新池設定選項 #

 

若要建立新池並對其設定 RBD 組態選項，請按一下池 › 建立。選取複本做為池類型。然後，您需要將 rbd 應用程式標記新增至池，這樣才能設定 RBD QoS 選項。

注意

對於糾刪碼池是無法設定 RBD QoS 組態選項的。若要為糾刪碼池設定 RBD QoS 選項，您需要編輯 RBD 影像的複本中繼資料池。該組態隨後將套用於該影像的糾刪碼資料池。

6.8.3 針對現有池設定選項 #

 

若要對某個現有池設定 RBD QoS 選項，請按一下池，然後按一下表中該池對應的列，並選取表左上方的編輯。

對話方塊中應該就會顯示 RBD 組態區段，下方是服務品質區段。

注意

如果 RBD 組態和服務品質區段均未顯示，則可能是因為您正在編輯無法用於設定 RBD 組態選項的糾刪碼池，或該池未設定為供 RBD 影像使用。在下一個案例中，將為池指定 rbd 應用程式標記，相應的組態區段將會顯示。

若要新增新的 NFS 輸出項，請按一下輸出項表左上方的建立並輸入所需的資訊。

圖 7.3︰ 新增新的 NFS 輸出項 #

 

若要刪除輸出項，請選取並反白顯示表中該輸出項對應的列。按一下編輯按鈕旁的下拉式箭頭，然後選取刪除。啟用是的，我確定核取方塊，然後按一下刪除 NFS 輸出項進行確認。

若要編輯現有輸出項，請選取並反白顯示表中該輸出項對應的列，然後按一下輸出項表左上方的編輯。

然後，您便可以調整 NFS 輸出項的所有詳細資料。

圖 7.4︰ 編輯 NFS 輸出項 #

 

在主功能表中按一下檔案系統可檢視所設定檔案系統的綜覽。主表會顯示每個檔案系統的名稱、建立日期，以及檔案系統是否已啟用。

按一下表中某個檔案系統對應的列，可檢視其階層以及新增至其中的池的詳細資料。

圖 8.1︰ CephFS 詳細資料 #

 

您可在螢幕底部查看即時收集的相關 MDS Inode 及用戶端要求數量統計資料。

圖 8.2︰ CephFS 詳細資料 #

 

若要檢視設定的物件閘道清單，請按一下物件閘道 › 精靈。該清單包含閘道的 ID、執行閘道精靈的叢集節點的主機名稱，以及閘道的版本號碼。

按一下閘道名稱旁的下拉式箭頭可檢視有關該閘道的詳細資訊。效能計數器索引標籤顯示有關讀取/寫入操作及快取統計資料的詳細資料。

圖 9.1︰ 閘道的詳細資料 #

 

按一下物件閘道 › 使用者可檢視現有物件閘道使用者的清單。

按一下使用者名稱旁的下拉式箭頭可檢視有關使用者帳戶的詳細資料，例如狀態資訊或使用者和桶定額詳細資料。

圖 9.2︰ 閘道使用者 #

 

9.2.1 新增新閘道使用者 #

 

若要新增新閘道使用者，請按一下表標題左上方的建立。填寫其身分證明、有關 S3 金鑰及使用者和桶定額的詳細資料，然後按一下建立使用者進行確認。

圖 9.3︰ 新增新閘道使用者 #

 

物件閘道 (OGW) 桶實作了 OpenStack Swift 容器的功能。物件閘道桶可充當儲存資料物件的容器。

按一下物件閘道 › 桶可檢視物件閘道桶清單。

9.3.1 新增新的桶 #

 

若要新增新的物件閘道桶，請按一下表標題左上方的建立。輸入桶的名稱，選取擁有者，並設定放置目標。按一下建立桶進行確認。

注意

您也可以在此階段透過選取已啟用來啟用鎖定；但此功能在桶建立之後亦可設定。如需詳細資訊，請參閱第 9.3.3 節 「編輯桶」。

9.3.2 檢視桶詳細資料 #

 

若要檢視有關物件閘道桶的詳細資訊，請按一下桶名稱旁的下拉式箭頭。

圖 9.4︰ 閘道桶詳細資料 #

 

提示：桶定額

您可以在詳細資料表下方查看有關桶定額和鎖定設定的詳細資料。

9.3.3 編輯桶 #

 

選取並反白顯示桶，然後按一下表標題左上方的編輯。

您可以更新桶的擁有者，或者啟用版本設定、多因素驗證或鎖定功能。按一下編輯桶確認任何變更。

圖 9.5︰ 編輯桶的詳細資料 #

 

所有連至儀表板的 HTTP 連接預設均使用 TLS/SSL 來保障安全。安全連接需要 SSL 證書。您可以使用自行簽署的證書，也可以產生證書並讓知名證書管理中心 (CA) 簽署該證書。

提示：停用 SSL

您可能會出於某種原因需要停用 SSL 支援。例如，如果儀表板是在不支援 SSL 的代理之後執行。

停用 SSL 要慎重，因為停用 SSL 後，使用者名稱和密碼將以未加密的形式傳送至儀表板。

若要停用 SSL，請執行以下指令：

cephuser@adm > ceph config set mgr mgr/dashboard/ssl false

提示：重新啟動 Ceph 管理員程序

變更 SSL 證書和金鑰後，您需要手動重新啟動 Ceph 管理員程序。您可以透過執行以下指令

cephuser@adm > ceph mgr fail ACTIVE-MANAGER-NAME

或停用儀表板模組之後再重新將其啟用的方式來執行此操作，如此還會觸發管理員自行重新繁衍：

cephuser@adm > ceph mgr module disable dashboard
cephuser@adm > ceph mgr module enable dashboard

10.1.1 建立自行簽署的證書 #

 

為了安全通訊而建立自行簽署的證書的過程非常簡單。採用這種方式可迅速讓儀表板執行起來。

注意：網頁瀏覽器控訴

大多數網頁瀏覽器都將對自行簽署的證書發起控訴，並需要在建立與儀表板的安全連接前進行明確確認。

若要產生並安裝自行簽署的證書，請使用以下內建指令：

cephuser@adm > ceph dashboard create-self-signed-cert

10.1.2 使用 CA 簽署的證書 #

 

為了正確保障連至儀表板的連接安全，以及消除網頁瀏覽器對自行簽署的證書的控訴，我們建議使用 CA 簽署的證書。

您可以使用如下指令產生證書金鑰組：

root # openssl req -new -nodes -x509 \
  -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650 \
  -keyout dashboard.key -out dashboard.crt -extensions v3_ca

以上指令會輸出 dashboard.key 和 dashboard.key.crt 檔案。獲得 CA 簽署的 dashboard.key.crt 檔案後，請執行以下指令為所有 Ceph 管理員例項啟用該證書：

cephuser@adm > ceph config-key set mgr/dashboard/crt -i dashboard.crt
cephuser@adm > ceph config-key set mgr/dashboard/key -i dashboard.key

提示：每個管理員例項使用不同的證書

如果您需要為每個 Ceph 管理員例項使用不同的證書，請依如下所示修改指令，並在其中指定例項的名稱。以 Ceph 管理員例項的名稱 (通常是相關的主機名稱) 取代 NAME：

cephuser@adm > ceph config-key set mgr/dashboard/NAME/crt -i dashboard.crt
cephuser@adm > ceph config-key set mgr/dashboard/NAME/key -i dashboard.key

Ceph Dashboard 結合至特定 TCP/IP 位址和 TCP 連接埠。依預設，代管儀表板的目前使用中 Ceph 管理員會結合至 TCP 連接埠 8443 (如果停用 SSL，則結合至 8080 連接埠)。

注意

如果在執行 Ceph 管理員 (以及 Ceph Dashboard) 的主機上啟用了防火牆，則您可能需要變更組態以啟用對這些連接埠的存取。如需 Ceph 防火牆設定的詳細資訊，請參閱Book “Troubleshooting Guide”, Chapter 13 “Hints and tips”, Section 13.7 “Firewall settings for Ceph”。

Ceph Dashboard 預設結合至「::」，該符號表示所有可用的 IPv4 和 IPv6 位址。您可以使用以下指令變更 Web 應用程式的 IP 位址和連接埠號碼，以使它們適用於所有 Ceph 管理員例項：

cephuser@adm > ceph config set mgr mgr/dashboard/server_addr IP_ADDRESS
cephuser@adm > ceph config set mgr mgr/dashboard/server_port PORT_NUMBER

提示：單獨設定 Ceph 管理員例項

因為每個 ceph-mgr 精靈都代管著各自的儀表板例項，您可能需要單獨設定每個 Ceph 管理員例項。使用以下指令 (以 ceph-mgr 例項的 ID 取代 NAME) 變更特定管理員例項的 IP 位址和連接埠號碼：

cephuser@adm > ceph config set mgr mgr/dashboard/NAME/server_addr IP_ADDRESS
cephuser@adm > ceph config set mgr mgr/dashboard/NAME/server_port PORT_NUMBER

提示：列出設定的端點

ceph mgr services 指令會顯示目前設定的所有端點。尋找 dashboard 鍵可獲取用於存取儀表板的 URL。

如果您不想使用預設管理員帳戶，可建立其他使用者帳戶，並將其與至少一個角色相關聯。我們提供了一組預先定義的系統角色供您使用。如需詳細資訊，請參閱第 11 章 「在指令行上管理使用者和角色」。

若要建立具有管理員權限的使用者，請使用以下指令：

cephuser@adm > ceph dashboard ac-user-create USER_NAME PASSWORD administrator

若要使用儀表板的物件閘道管理功能，您需要提供啟用了 system 旗標的使用者的登入身分證明：

注意

依預設，SUSE Linux Enterprise Server 15 SP2 中會啟用防火牆。如需防火牆組態的詳細資訊，請參閱Book “Troubleshooting Guide”, Chapter 13 “Hints and tips”, Section 13.7 “Firewall settings for Ceph”。

請注意以下幾點事項：

Ceph Dashboard 使用 Ceph iSCSI 閘道的 rbd-target-api 服務所提供的 REST API 管理 iSCSI 目標。確定已在 iSCSI 閘道上安裝並啟用它。

注意

Ceph Dashboard 的 iSCSI 管理功能取決於 ceph-iscsi 專案的最新版本 3。請確定您的作業系統提供了正確的版本，否則 Ceph Dashboard 將無法啟用管理功能。

如果 ceph-iscsi REST API 以 HTTPS 模式設定並使用自行簽署的證書，請設定該儀表板以避免在存取 ceph-iscsi API 時發生 SSL 證書驗證。

停用 API SSL 驗證：

cephuser@adm > ceph dashboard set-iscsi-api-ssl-verification false

定義可用的 iSCSI 閘道：

cephuser@adm > ceph dashboard iscsi-gateway-list
cephuser@adm > ceph dashboard iscsi-gateway-add scheme://username:password@host[:port]
cephuser@adm > ceph dashboard iscsi-gateway-rm gateway_name

單一登入 (SSO) 是一種允許使用者以單個 ID 和密碼同時登入多個應用程式的存取控制方法。

Ceph Dashboard 支援透過 SAML 2.0 通訊協定對使用者進行外部驗證。由於仍由儀表板負責進行授權，因此您需要先建立使用者帳戶，並將其與所需角色相關聯。不過，可由現有身分提供者 (IdP) 來執行驗證。

若要設定單一登入，請使用以下指令：

cephuser@adm > ceph dashboard sso setup saml2 CEPH_DASHBOARD_BASE_URL \
 IDP_METADATA IDP_USERNAME_ATTRIBUTE \
 IDP_ENTITY_ID SP_X_509_CERT \
 SP_PRIVATE_KEY

參數：

注意：SAML 要求

SAML 要求的發出者值將採用以下格式：

CEPH_DASHBOARD_BASE_URL/auth/saml2/metadata

若要顯示目前的 SAML 2.0 組態，請執行以下指令：

cephuser@adm > ceph dashboard sso show saml2

若要停用單一登入，請執行以下指令：

cephuser@adm > ceph dashboard sso disable

若要檢查是否啟用了 SSO，請執行以下指令：

cephuser@adm > ceph dashboard sso status

若要啟用 SSO，請執行以下指令：

cephuser@adm > ceph dashboard sso enable saml2

依預設會啟用密碼規則功能，包括以下檢查：

可以完全開啟或關閉密碼規則功能：

cephuser@adm > ceph dashboard set-pwd-policy-enabled true|false

可以開啟或關閉以下個別檢查：

cephuser@adm > ceph dashboard set-pwd-policy-check-length-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-oldpwd-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-username-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-exclusion-list-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-complexity-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-sequential-chars-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-repetitive-chars-enabled true|false

此外，可使用以下選項設定密碼規則行為。

Ceph Dashboard 支援管理多個使用者帳戶。每個使用者帳戶包含使用者名稱、密碼 (使用 bcrypt 以加密形式儲存)、選用名稱和選用電子郵件地址。

系統將使用者帳戶儲存在 Ceph 管理員的組態資料庫中，並在所有 Ceph 管理員例項之間全域共用該資訊。

使用以下指令可管理使用者帳戶：

本節介紹您可為使用者角色指定的安全性範圍、如何管理使用者角色，以及如何為使用者帳戶指定角色。

11.3.2 指定使用者角色 #

 

角色指定了一個安全性範圍與一組許可權之間的一組對應。許可權分為四種類型：「read」、「create」、「update」和「delete」。

下面的範例指定了一個角色，具有該角色的使用者擁有池管理相關功能的「read」和「create」許可權，以及 RBD 影像管理相關功能的完整許可權：

{
  'role': 'my_new_role',
  'description': 'My new role',
  'scopes_permissions': {
    'pool': ['read', 'create'],
    'rbd-image': ['read', 'create', 'update', 'delete']
  }
}

儀表板提供了一組預先定義的角色，我們稱之為系統角色。全新安裝 Ceph Dashboard 後即可使用這些角色：

administrator

提供針對所有安全性範圍的完整許可權。

read-only

提供針對儀表板設定以外的其他所有安全性範圍的讀取許可權。

block-manager

提供針對「rbd-image」、「rbd-mirroring」和「iscsi」範圍的完整許可權。

rgw-manager

提供針對「rgw」範圍的完整許可權。

cluster-manager

提供針對「hosts」、「osd」、「monitor」、「manager」和「config-opt」範圍的完整許可權。

pool-manager

提供針對「pool」範圍的完整許可權。

cephfs-manager

提供針對「cephfs」範圍的完整許可權。

11.3.2.1 管理自訂角色 #

 

您可以使用以下指令建立新使用者角色：

建立新角色：

cephuser@adm > ceph dashboard ac-role-create ROLENAME [DESCRIPTION]

刪除角色:

cephuser@adm > ceph dashboard ac-role-delete ROLENAME

新增範圍許可權至角色：

cephuser@adm > ceph dashboard ac-role-add-scope-perms ROLENAME SCOPENAME PERMISSION [PERMISSION...]

從角色中刪除範圍許可權：

cephuser@adm > ceph dashboard ac-role-del-perms ROLENAME SCOPENAME

11.3.2.2 為使用者帳戶指定角色 #

 

使用以下指令可為使用者指定角色：

設定使用者角色：

cephuser@adm > ceph dashboard ac-user-set-roles USERNAME ROLENAME [ROLENAME ...]

新增其他角色至使用者：

cephuser@adm > ceph dashboard ac-user-add-roles USERNAME ROLENAME [ROLENAME ...]

刪除使用者的角色：

cephuser@adm > ceph dashboard ac-user-del-roles USERNAME ROLENAME [ROLENAME ...]

提示：清除自訂角色

如果您建立了自訂使用者角色，並打算以後使用 ceph.purge 執行程式移除 Ceph 叢集，則需要先清除自訂角色。如需更多詳細資料，請參閱第 13.9 節 「移除整個 Ceph 叢集」。

11.3.2.3 範例：建立使用者和自訂角色 #

 

本節說明建立具有以下功能的使用者帳戶的程序：可管理 RBD 影像、檢視和建立 Ceph 池，並擁有針對任何其他範圍的唯讀存取權。

1. 建立名為 tux 的新使用者：

    cephuser@adm > ceph dashboard ac-user-create tux PASSWORD

2. 建立角色並指定範圍許可權：

   cephuser@adm > ceph dashboard ac-role-create rbd/pool-manager
   cephuser@adm > ceph dashboard ac-role-add-scope-perms rbd/pool-manager \
    rbd-image read create update delete
   cephuser@adm > ceph dashboard ac-role-add-scope-perms rbd/pool-manager pool read create

3. 將角色與 tux 使用者相關聯：

   cephuser@adm > ceph dashboard ac-user-set-roles tux rbd/pool-manager read-only

如果您要建立固定 URL 以連接 Ceph Dashboard，或者不允許直接連接至管理員節點，可以設定一個代理將內送要求轉到目前使用中 ceph-mgr 例項。

  cephuser@adm > ceph config set mgr mgr/dashboard/url_prefix URL_PREFIX

cephuser@adm > ceph config set mgr mgr/dashboard/standby_behaviour "error"

cephuser@adm > ceph config set mgr mgr/dashboard/standby_behaviour "redirect"

cephuser@adm > ceph config set mgr mgr/dashboard/standby_error_status_code 503

11.4.4 HAProxy 範例組態 #

 

以下範例組態適用於使用 HAProxy 的 TLS/SSL 傳遞。

注意

該組態適用於以下情況：如果儀表板發生容錯移轉，前端用戶端可能會收到 HTTP 重新導向 (303) 回應，並將重新導向至無法解析的主機。

兩次 HAProxy 狀況檢查期間發生容錯移轉時，便會發生此情況。在這種情況下，先前處於使用中狀態的儀表板節點現在將以 303 進行回應，從而指向新使用中節點。為避免出現該情況，您應該考慮停用待命節點上的重新導向行為。

  defaults
    log global
    option log-health-checks
    timeout connect 5s
    timeout client 50s
    timeout server 450s

  frontend dashboard_front
    mode http
    bind *:80
    option httplog
    redirect scheme https code 301 if !{ ssl_fc }

  frontend dashboard_front_ssl
    mode tcp
    bind *:443
    option tcplog
    default_backend dashboard_back_ssl

  backend dashboard_back_ssl
    mode tcp
    option httpchk GET /
    http-check expect status 200
    server x HOST:PORT ssl check verify none
    server y HOST:PORT ssl check verify none
    server z HOST:PORT ssl check verify none

Ceph Dashboard 的 REST API 可將 PUT、POST 和 DELETE 要求記錄至 Ceph 稽核記錄中。記錄功能預設處於停用狀態，但您可使用以下指令將其啟用：

cephuser@adm > ceph dashboard set-audit-api-enabled true

如果記錄功能處於啟用狀態，將會記錄每個要求的以下參數：

範例記錄項目如下所示：

2019-02-06 10:33:01.302514 mgr.x [INF] [DASHBOARD] \
 from='https://[::ffff:127.0.0.1]:37022' path='/api/rgw/user/exu' method='PUT' \
 user='admin' params='{"max_buckets": "1000", "display_name": "Example User", "uid": "exu", "suspended": "0", "email": "user@example.com"}'

提示：停用記錄要求封包內容的功能

要求封包內容 (引數及其值的清單) 的記錄功能預設處於啟用狀態。您可以依照如下方式停用該功能：

cephuser@adm > ceph dashboard set-audit-api-log-payload false

Ceph Dashboard 可以管理使用 CephFS 或物件閘道做為其後備儲存的 NFS Ganesha 輸出項。該儀表板用於管理儲存在 CephFS 叢集上的 RADOS 物件中的 NFS Ganesha 組態檔案。NFS Ganesha 必須將其部分組態儲存在 Ceph 叢集中。

執行以下指令以設定 NFS Ganesha 組態物件的位置：

cephuser@adm > ceph dashboard set-ganesha-clusters-rados-pool-namespace pool_name[/namespace]

現在您便可以使用 Ceph Dashboard 管理 NFS Ganesha 輸出項。

cephuser@adm > ceph dashboard set-ganesha-clusters-rados-pool-namespace cluster_id:pool_name[/namespace](,cluster_id:pool_name[/namespace])*

Ceph Dashboard 外掛程式延伸了儀表板的功能。除錯外掛程式允許依據除錯模式來自訂儀表板的行為。可以使用以下指令啟用、停用或檢查除錯外掛程式：

cephuser@adm > ceph dashboard debug status
Debug: 'disabled'
cephuser@adm > ceph dashboard debug enable
Debug: 'enabled'
cephuser@adm > dashboard debug disable
Debug: 'disabled'

錯外掛程式預設處於停用狀態。這是適用於生產部署的建議設定。如果需要，可以啟用除錯模式，而無需重新啟動。

您可以使用 ceph status 或 ceph -s 瞭解叢集的即時狀態：

cephuser@adm > ceph -s
cluster:
    id:     b4b30c6e-9681-11ea-ac39-525400d7702d
    health: HEALTH_OK

  services:
    mon: 5 daemons, quorum ses-min1,ses-master,ses-min2,ses-min4,ses-min3 (age 2m)
    mgr: ses-min1.gpijpm(active, since 3d), standbys: ses-min2.oopvyh
    mds: my_cephfs:1 {0=my_cephfs.ses-min1.oterul=up:active}
    osd: 3 osds: 3 up (since 3d), 3 in (since 11d)
    rgw: 2 daemons active (myrealm.myzone.ses-min1.kwwazo, myrealm.myzone.ses-min2.jngabw)

  task status:
    scrub status:
        mds.my_cephfs.ses-min1.oterul: idle

  data:
    pools:   7 pools, 169 pgs
    objects: 250 objects, 10 KiB
    usage:   3.1 GiB used, 27 GiB / 30 GiB avail
    pgs:     169 active+clean

輸出內容提供了以下資訊：

提示：Ceph 計算資料使用率的方式

used 值反映實際使用的原始儲存量。xxx GB / xxx GB 值表示叢集可用容量 (兩者中的較小數值)，以及叢集的整體儲存容量。理論數量反映在複製所儲存資料或建立其快照前這些資料的大小。因此，實際儲存的資料量一般會超出理論上的儲存量，因為 Ceph 會建立資料的複本，可能還會將儲存容量用於複製和建立快照。

顯示即時狀態資訊的其他指令如下：

若要即時更新資訊，請在 watch 指令中以引數的方式使用以上任意指令 (包括 ceph -s)：

root # watch -n 10 'ceph -s'

如果您看累了，請按 Ctrl–C。

在啟動叢集後到開始讀取和/或寫入資料期間，檢查叢集的狀態：

cephuser@adm > ceph health
HEALTH_WARN 10 pgs degraded; 100 pgs stuck unclean; 1 mons down, quorum 0,2 \
node-1,node-2,node-3

提示

如果之前為您的組態或金鑰圈指定了非預設位置，則此時可以指定它們的位置：

cephuser@adm > ceph -c /path/to/conf -k /path/to/keyring health

Ceph 叢集會傳回下列狀態代碼之一：

提示

如果之前為您的組態或金鑰圈指定了非預設位置，則此時可以指定它們的位置：

root # ceph -c /path/to/conf -k /path/to/keyring health

若要檢視叢集的資料使用率以及資料在多個池之間的分佈，請使用 ceph df 指令。若要獲取更多詳細資料，請使用 ceph df detail。

cephuser@adm > ceph df
--- RAW STORAGE ---
CLASS  SIZE    AVAIL   USED     RAW USED  %RAW USED
hdd    30 GiB  27 GiB  121 MiB   3.1 GiB      10.40
TOTAL  30 GiB  27 GiB  121 MiB   3.1 GiB      10.40

--- POOLS ---
POOL                   ID  STORED   OBJECTS  USED     %USED  MAX AVAIL
device_health_metrics   1      0 B        0      0 B      0    8.5 GiB
cephfs.my_cephfs.meta   2  1.0 MiB       22  4.5 MiB   0.02    8.5 GiB
cephfs.my_cephfs.data   3      0 B        0      0 B      0    8.5 GiB
.rgw.root               4  1.9 KiB       13  2.2 MiB      0    8.5 GiB
myzone.rgw.log          5  3.4 KiB      207    6 MiB   0.02    8.5 GiB
myzone.rgw.control      6      0 B        8      0 B      0    8.5 GiB
myzone.rgw.meta         7      0 B        0      0 B      0    8.5 GiB

輸出中的 RAW STORAGE 區段提供叢集用於資料的儲存空間容量綜覽。

輸出內容的 POOLS 區段提供了池清單和每個池的理論使用量。此區段的輸出不反映複本、複製品或快照。例如，如果您儲存含 1MB 資料的物件，理論使用量將是 1MB，但是根據複本、複製品或快照數量，實際使用量可能是 2MB 或更多。

注意

POOLS 區段中的數字是理論上的。它們不包括複本、快照或複製品數量。因此，USED 與 %USED 數量之和不會加總到輸出內容 RAW STORAGE 區段中的 RAW USED 和 %RAW USED 數量中。

您可透過執行以下指令來檢查 OSD，以確定它們已啟動且正在執行：

cephuser@adm > ceph osd stat

或

cephuser@adm > ceph osd dump

您也可以根據 OSD 在 CRUSH 地圖中的位置檢視 OSD。

ceph osd tree 將列印 CRUSH 樹及主機、它的 OSD、OSD 是否已啟動及其權數：

   cephuser@adm > ceph osd tree
ID  CLASS  WEIGHT   TYPE NAME              STATUS  REWEIGHT  PRI-AFF
-1      3  0.02939  root default
-3      3  0.00980    rack mainrack
-2      3  0.00980            host osd-host
0       1  0.00980                    osd.0   up   1.00000   1.00000
1       1  0.00980                    osd.1   up   1.00000   1.00000
2       1  0.00980                    osd.2   up   1.00000   1.00000

Ceph 可阻止您向填滿的 OSD 寫入資料，以防遺失資料。在正常運作的叢集中，當叢集接近其填滿比率時，您會收到警告。mon osd full ratio 預設設為容量的 0.95 (95%)，達到該比率後，叢集會阻止用戶端寫入資料。mon osd nearfull ratio 預設設為容量的 0.85 (85%)，達到該比率時，叢集會產生狀態警告。

可透過 ceph health 指令報告填滿的 OSD 節點：

cephuser@adm > ceph health
  HEALTH_WARN 1 nearfull osds
  osd.2 is near full at 85%

或

cephuser@adm > ceph health
  HEALTH_ERR 1 nearfull osds, 1 full osds
  osd.2 is near full at 85%
  osd.3 is full at 97%

處理填滿的叢集的最佳方法是新增新的 OSD 主機/磁碟，以便讓叢集將資料重新分佈到新的可用儲存空間。

提示：防止 OSD 填滿

OSD 變滿 (即用完 100% 的磁碟空間) 之後，往往會迅速當機而不發出警告。管理 OSD 節點時需記住下面幾點提示。

• 每個 OSD 的磁碟空間 (通常掛接於 /var/lib/ceph/osd/osd-{1,2..} 下) 需放置在專屬的基礎磁碟或分割區上。

• 檢查 Ceph 組態檔案，確定 Ceph 不會將其記錄檔案儲存在專供 OSD 使用的磁碟/分割區上。

• 確定沒有其他程序寫入專供 OSD 使用的磁碟/分割區。

啟動叢集後，請在第一次讀取和/或寫入資料之前檢查 Ceph 監控程式的仲裁狀態。如果叢集已在處理要求，請定期檢查 Ceph 監控程式的狀態，以確定其正在執行。

若要顯示監控程式地圖，請執行以下指令：

cephuser@adm > ceph mon stat

或

cephuser@adm > ceph mon dump

若要檢查監控程式叢集的仲裁狀態，請執行以下指令：

cephuser@adm > ceph quorum_status

Ceph 將傳回仲裁狀態。例如，由三個監控程式組成的 Ceph 叢集可能傳回以下內容：

{ "election_epoch": 10,
  "quorum": [
        0,
        1,
        2],
  "monmap": { "epoch": 1,
      "fsid": "444b489c-4f16-4b75-83f0-cb8097468898",
      "modified": "2011-12-12 13:28:27.505520",
      "created": "2011-12-12 13:28:27.505520",
      "mons": [
            { "rank": 0,
              "name": "a",
              "addr": "192.168.1.10:6789\/0"},
            { "rank": 1,
              "name": "b",
              "addr": "192.168.1.11:6789\/0"},
            { "rank": 2,
              "name": "c",
              "addr": "192.168.1.12:6789\/0"}
           ]
    }
}

放置群組會將物件對應到 OSD。監控放置群組時，您希望它們處於 active 和 clean 狀態。如需詳細內容，請參閱第 12.9 節 「監控 OSD 和放置群組」。

做為防止資料遺失的安全措施，當 Ceph 儲存叢集接近其容量上限時，Ceph 將阻止您向 Ceph OSD 寫入或從中讀取資料。因此，讓生產叢集接近其填滿比率不是一種好的做法，因為這樣會犧牲高可用性。預設的填滿比率設定為 0.95，即容量的 95%。對於所含 OSD 數量較少的測試叢集而言，如此設定是非常激進的。

提示：增加儲存容量

在監控叢集時，請注意與 nearfull 比率相關的警示。出現該警示表示，如果一或多個 OSD 發生故障，某些 OSD 的故障可能會導致服務暫時中斷。請考慮新增更多 OSD 以增加儲存容量。

測試叢集的一種常見情境是，系統管理員從 Ceph 儲存叢集中移除 Ceph OSD，等待叢集重新達到平衡。然後再移除另一個 Ceph OSD，依此類推，直至叢集最終達到填滿比率並鎖死。我們建議即使使用測試叢集時也進行一定的容量規劃。透過規劃，您可以預估維持高可用性所需的備用容量。從理論上講，您需要規劃能夠應對一系列 Ceph OSD 發生故障的情況的方案，使叢集無需立即取代這些 Ceph OSD 也可復原到 active + clean 狀態。您可以執行 active + degraded 狀態的叢集，但這不適合正常運作狀態。

下圖展示了一個包含 33 個 Ceph 節點的簡化 Ceph 儲存叢集，其中每個主機有一個 Ceph OSD，每個 Ceph OSD 從 3 TB 磁碟機讀取以及向其中寫入資料。此範例叢集實際的容量上限為 99 TB。mon osd full ratio 選項設定為 0.95。如果叢集的剩餘容量降至 5 TB，叢集將不允許用戶端讀取和寫入資料。因此，儲存叢集的運作容量為 95 TB，而不是 99 TB。

圖 12.1︰ Ceph 叢集 #

 

在這樣的叢集中，有一或兩個 OSD 發生故障屬於正常現象。一種不常發生但合乎常理的情況是機架的路由器或電源發生故障，導致多個 OSD (例如 OSD 7-12) 同時停機。在這種情況下，您仍然應該設法使叢集保持正常執行並達到 active + clean 狀態，即使這表示需要立即新增一些主機及額外的 OSD。如果容量使用率過高，您可能不會遺失資料。但是，如果叢集的容量使用率超過填滿比率，您雖然解決了故障網域內發生的中斷問題，卻可能會損失資料可用性。因此，我們建議至少進行大致的容量規劃。

針對您的叢集確定以下兩個數值：

如果您將叢集的總容量除以叢集中的 OSD 數量，將得到叢集內單個 OSD 的平均容量。將該數值與您預期正常運作期間將同時發生故障的 OSD 數量 (一個相對較小的數值) 相乘。最後，將叢集容量與填滿比率相乘得到運作容量上限。然後，減去您預期將發生故障的 OSD 中的資料量，即可得到一個合理的填滿比率。使用更高的 OSD 故障數 (整個機架的 OSD) 重複上述過程，即可得到一個合理的接近填滿比率數值。

以下設定僅在建立叢集時適用，隨後會儲存在 OSD 地圖中：

[global]
 mon osd full ratio = .80
 mon osd backfillfull ratio = .75
 mon osd nearfull ratio = .70

提示

這些設定僅在建立叢集時適用。此後，需要使用 ceph osd set-nearfull-ratio 和 ceph osd set-full-ratio 指令在 OSD 地圖中變更這些設定。

提示：檢查 OSD 權數

如果某些 OSD 將滿，但其他 OSD 的容量充足，則表示將滿 OSD 的 CRUSH 權數可能有問題。

高可用性和高可靠性要求採用容錯方法來管理硬體和軟體問題。Ceph 沒有單一故障點，並且可以在「已降級」模式下處理資料要求。Ceph 的資料放置引入了一個間接層，以確定資料不會直接結合至特定 OSD 位址。這表示追蹤系統故障原因需要找到屬於問題根源的放置群組和基礎 OSD。

提示：發生故障時的存取

如果叢集的某個組件發生故障，叢集可能會阻止您存取某個特定物件，但這並不表示您無法存取其他物件。遇到故障時，請執行相關步驟來監控 OSD 和放置群組。然後開始進行疑難排解。

Ceph 一般情況下會進行自我修復。但如果問題仍然存在，監控 OSD 和放置群組將有助於您找到問題所在。

12.9.1 監控 OSD #

 

OSD 可能處於在叢集內 (「in」) 狀態，也可能處於在叢集外 (「out」) 狀態。同時，它也可能處於啟用並執行中 (「up」) 或 停機且未執行 (「down」) 狀態。如果某個 OSD 處於「up」狀態，則它可能在叢集內 (您可以讀取和寫入資料)，也可能在叢集外。如果該 OSD 之前在叢集內，最近已移出叢集，則 Ceph 會將放置群組移轉至其他 OSD。如果某個 OSD 在叢集外，CRUSH 將不會為其指定放置群組。如果某個 OSD 處於「down」狀態，則它應該也處於「out」狀態。

注意：狀況不良狀態

如果某個 OSD 處於「down」和「in」狀態，則表示存在問題，並且叢集將處於狀況不良狀態。

如果您執行 ceph health、ceph -s 或 ceph -w 等指令，可能會注意到叢集並非永遠回應 HEALTH OK。對於 OSD，您應當預期叢集在以下情況下不會回應 HEALTH OK：

• 您尚未啟動叢集 (它不會回應)。

• 您已啟動或重新啟動叢集，但它尚未準備就緒，因為系統正在建立放置群組，並且 OSD 正在互聯。

• 您已新增或移除某個 OSD。

• 您已修改叢集地圖。

監控 OSD 的一個重要目的是確定當叢集已啟用且在執行時，叢集中的所有 OSD 也已啟用且在執行。若要確定是否所有 OSD 都在執行，請執行以下指令：

root # ceph osd stat
x osds: y up, z in; epoch: eNNNN

結果應顯示 OSD 總數 (x)、處於「up」狀態的 OSD 數量 (y)、處於「in」狀態的 OSD 數量 (z)，以及地圖版本編號 (eNNNN)。如果在叢集內 (「in」) 的 OSD 數量大於處於「up」狀態的 OSD 數量，請執行以下指令來確定未在執行的 ceph-osd 精靈：

root # ceph osd tree
#ID CLASS WEIGHT  TYPE NAME             STATUS REWEIGHT PRI-AFF
-1       2.00000 pool openstack
-3       2.00000 rack dell-2950-rack-A
-2       2.00000 host dell-2950-A1
0   ssd 1.00000      osd.0                up  1.00000 1.00000
1   ssd 1.00000      osd.1              down  1.00000 1.00000

例如，如果 ID 為 1 的 OSD 處於停機狀態，請將其啟動：

cephuser@osd > sudo systemctl start ceph-CLUSTER_ID@osd.0.service

對於與已停止或不會重新啟動的 OSD 相關的問題，請參閱Book “Troubleshooting Guide”, Chapter 4 “Troubleshooting OSDs”, Section 4.3 “OSDs not running”。

12.9.2 指定放置群組集 #

 

CRUSH 向 OSD 指定放置群組時，會查看池的複本數量，然後再為 OSD 指定放置群組，以便將每個放置群組複本都指定給不同的 OSD。例如，如果池需要三個放置群組複本，CRUSH 可能會將這三個複本分別指定給 osd.1、osd.2 和 osd.3。CRUSH 實際上會尋找一種虛擬隨機放置方法，這種方法會將您在 CRUSH 地圖中設定的故障網域納入考量，因此在大型叢集中，您很少會看到放置群組指定給最鄰近的 OSD 的情況。我們將應包含特定放置群組的複本的 OSD 集稱為在任集。在某些情況下，在任集中的 OSD 會處於停機狀態，或者無法處理要存取放置群組中的物件的要求。當以下其中一種情況發生時，可能會出現這些情況：

• 您新增或移除了某個 OSD。CRUSH 隨後會將放置群組重新指定給其他 OSD，因而變更了在任集的組成部分，導致系統透過「回填」程序移轉資料。

• 某個 OSD 之前處於「down」狀態、之前進行了重新啟動，而現在正在復原。

• 在任集中的某個 OSD 處於「down」狀態，或者無法處理要求，並且另一個 OSD 已暫代其職。

  Ceph 使用啟用集來處理用戶端要求，啟用集是實際處理要求的 OSD 集。在大多數情況下，啟用集和在任集幾乎完全相同。當兩者不同時，可能表示 Ceph 正在移轉資料、某個 OSD 正在復原，或者叢集存在問題 (例如，在此類情況下，Ceph 通常會回應 HEALTH WARN 狀態及「stuck stale」訊息)。

若要擷取放置群組清單，請執行以下指令：

cephuser@adm > ceph pg dump

若要檢視哪些 OSD 在給定放置群組的在任集或啟用集內，請執行以下指令：

cephuser@adm > ceph pg map PG_NUM
osdmap eNNN pg RAW_PG_NUM (PG_NUM) -> up [0,1,2] acting [0,1,2]

結果應該會顯示 OSD 地圖版本編號 (eNNN)、放置群組數量 (PG_NUM)、啟用集 (「up」) 中的 OSD，以及在任集 (「acting」) 中的 OSD：

提示：叢集問題指示器

如果啟用集與在任集不相符，則可能表示叢集正在自行重新平衡，或者叢集可能存在問題。

12.9.3 建立互聯 #

 

放置群組必須處於 active 及 clean 狀態，您才能將資料寫入其中。為了讓 Ceph 確定某個放置群組的目前狀態，該放置群組的主 OSD (在任集中的第一個 OSD) 會與第二個和第三個 OSD 建立互聯，以便就放置群組的目前狀態達成一致 (假設池中包含三個放置群組複本)。

圖 12.2︰ 互聯綱要 #

 

12.9.4 監控放置群組狀態 #

 

如果您執行 ceph health、ceph -s 或 ceph -w 等指令，可能會注意到叢集並非永遠回應 HEALTH OK 訊息。檢查 OSD 是否正在執行之後，還應檢查放置群組狀態。

在一些與放置群組互聯相關的情況下，叢集預期將不會回應 HEALTH OK：

• 您已建立池，並且放置群組尚未互聯。

• 放置群組正在復原。

• 您已向叢集新增了 OSD，或已從叢集中移除了 OSD。

• 您已修改 CRUSH 地圖，並且您的放置群組正在移轉。

• 在不同的放置群組複本中存在資料不一致的情況。

• Ceph 正在整理放置群組的複本。

• Ceph 的儲存容量不足，無法完成回填操作。

如果上述其中一種情況導致 Ceph 回應 HEALTH WARN，請不要驚慌。叢集在許多情況下都會自行復原。在有些情況下，您可能需要採取措施。監控放置群組的一個重要目的是要確定當叢集已啟用且在執行時，所有放置群組都處於「active」狀態，並且最好處於「clean」狀態。若要查看所有放置群組的狀態，請執行以下指令：

cephuser@adm > ceph pg stat
x pgs: y active+clean; z bytes data, aa MB used, bb GB / cc GB avail

結果應該會顯示放置群組總數 (x)、處於特定狀態 (例如「active+clean」) 的放置群組數量 (y)，以及儲存的資料量 (z)。

除了放置群組狀態之外，Ceph 還會回應使用的儲存容量 (aa)、剩餘的儲存容量 (bb)，以及放置群組的總儲存容量。在以下情況下，這些數值可能非常重要：

• 已達到 near full ratio 或 full ratio。

• 由於您的 CRUSH 組態中存在錯誤，您的資料未在叢集中分佈。

提示：放置群組 ID

放置群組 ID 由池編號 (並非池名稱) 加一個句點 (.)和放置群組 ID (一個十六進位數) 組成。您可以在 ceph osd lspools 的輸出中檢視池編號及其名稱。例如，預設池 rbd 與池編號 0 對應。完全合格的放置群組 ID 的格式如下：

POOL_NUM.PG_ID

通常顯示如下：

0.1f

若要擷取放置群組清單，請執行以下指令：

cephuser@adm > ceph pg dump

您還可以將輸出內容設定為 JSON 格式，並將其儲存到檔案中：

cephuser@adm > ceph pg dump -o FILE_NAME --format=json

若要查詢特定的放置群組，請執行以下指令：

cephuser@adm > ceph pg POOL_NUM.PG_ID query

以下清單詳細說明了常見的放置群組狀態。

CREATING (建立中)

當您建立池時，Ceph 會建立您指定數量的放置群組。Ceph 會在建立一或多個放置群組時回應「creating」。建立放置群組之後，屬於放置群組在任集的各 OSD 將會互聯。完成互聯程序時，放置群組狀態應該為「active+clean」，這表示 Ceph 用戶端可以開始向放置群組寫入資料。

圖 12.3︰ 放置群組狀態 #

 

PEERING (正在互聯)

當 Ceph 在對放置群組執行互聯操作時，會在儲存放置群組複本的各 OSD 之間就該放置群組中物件和中繼資料的狀態達成一致。當 Ceph 完成互聯程序時，便表示儲存放置群組的各 OSD 之間就放置群組的目前狀態達成一致。不過，完成互聯程序並不表示每個複本都有最新的內容。

注意：權威歷程

在在任集的所有 OSD 都持續進行寫入操作之前，Ceph 將不會向用戶端確認寫入操作。這樣做可確保在上次成功互聯之後，至少有一個在任集成員將擁有每個確認的寫入操作的記錄。

透過準確記錄每個確認的寫入操作，Ceph 可以建構並擴充一個新的權威放置群組歷程，即一個完整且完全有序的操作集，如果執行該操作集，會將 OSD 的放置群組複本更新至最新狀態。

ACTIVE (使用中)

當 Ceph 完成互聯程序時，放置群組可能會變為 active 狀態。active 狀態表示一般可在主放置群組和複本中使用放置群組中的資料來進行讀取和寫入操作。

CLEAN (正常)

如果放置群組處於 clean 狀態，則表示主 OSD 和複本 OSD 已成功互聯，並且該放置群組沒有流浪複本。Ceph 已將放置群組中的所有物件複製正確的次數。

DEGRADED (已降級)

當用戶端將物件寫入主 OSD 時，該主 OSD 負責將複本寫入複本 OSD。主 OSD 將物件寫入儲存空間之後，放置群組將保持「degraded」狀態，直至主 OSD 收到了複本 OSD 傳送的 Ceph 已成功建立複本物件的確認訊息。

放置群組有可能處於「active+degraded」狀態，這是因為即使 OSD 尚未儲存所有物件，它也可能處於「active」狀態。如果某個 OSD 變成停機狀態，Ceph 會將指定給該 OSD 的每個放置群組都標示為「degraded」。當該 OSD 恢復啟用狀態後，各 OSD 必須再次互聯。不過，如果某個已降級放置群組處於「active」狀態，用戶端仍然可以將新物件寫入該放置群組。

如果某個 OSD 處於「down」狀態，並且持續保持「degraded」狀況，Ceph 可能會將該停機的 OSD 標示為「out」(表示移出叢集)，並將停機 (「down」) 的 OSD 的資料重新對應至另一個 OSD。透過 mon osd down out interval 選項來控制從將 OSD 標示為「down」到將其標示為「out」相隔的時間，該選項預設設定為 600 秒。

放置群組也可能處於「degraded」狀態，當 Ceph 找不到應在放置群組中的一或多個物件時，便會發生此情況。雖然您無法讀取未找到的物件或向其寫入資料，卻仍然可以存取「degraded」狀態的放置群組中的所有其他物件。

RECOVERING (正在復原)

Ceph 設計用於在發生硬體和軟體問題時進行大規模容錯。當 OSD 變成「down」狀態時，其內容可能落後於放置群組中其他複本的目前狀態。當 OSD 恢復「up」狀態時，必須更新放置群組的內容，以反映最新狀態。在此期間，OSD 可能會顯現出「recovering」狀態。

復原並非永遠都是無足輕重的，因為硬體故障可能會導致多個 OSD 發生串聯故障。例如，一個機架或機櫃的網路交換器可能會發生故障，這可能會導致一些主機的 OSD 落後於叢集的目前狀態。解決故障之後，必須復原每個 OSD。

Ceph 提供了一些設定，用來平衡新服務要求與復原資料物件並將放置群組還原到最新狀態的需求之間的資源爭用。osd recovery delay start 設定允許 OSD 在啟動復原程序之前重新啟動、重新互聯，甚至處理一些重播要求。osd recovery thread timeout 用於設定線串逾時，因為有可能會有多個 OSD 交錯發生故障、重新啟動以及重新互聯。osd recovery max active 設定用於限制 OSD 將同時處理的復原要求數，以防止 OSD 無法處理要求。osd recovery max chunk 設定用於限制復原的資料區塊大小，以避免出現網路阻塞。

BACK FILLING (正在回填)

當新 OSD 加入叢集時，CRUSH 會將叢集中 OSD 的放置群組重新指定給新增的 OSD。強制新 OSD 立即接受重新指定的放置群組可能會使新 OSD 過載。向 OSD 回填放置群組可讓此程序在背景中開始。完成回填後，新 OSD 將在準備就緒時開始處理要求。

在執行回填操作期間，系統可能會顯示以下其中一種狀態：「backfill_wait」表示回填操作待處理，但尚未進行；「backfill」表示正在進行回填操作；「backfill_too_full」表示已要求進行回填操作，但由於儲存容量不足而無法完成。如果無法回填某個放置群組，則可能會將其視為「incomplete」。

Ceph 提供了一些設定來管理與向某個 OSD (尤其是新 OSD) 重新指定放置群組有關的負載。osd max backfills 預設將向或從一個 OSD 同時進行的最大回填數設定為 10。backfill full ratio 允許 OSD 在接近其填滿比率 (預設為 90%) 時拒絕回填要求，並使用 ceph osd set-backfillfull-ratio 指令進行變更。如果某個 OSD 拒絕回填要求，osd backfill retry interval 可讓 OSD 重試要求 (預設在 10 秒後)。OSD 還可以設定 osd backfill scan min 和 osd backfill scan max，以管理掃描間隔 (預設值分別為 64 和 512)。

REMAPPED (已重新對應)

當用於處理放置群組的在任集發生變化時，資料會從舊在任集移轉至新在任集。新主 OSD 可能需要一段時間才能處理要求。因此，新主 OSD 可能會要求舊主 OSD 繼續處理要求，直至放置群組移轉完成。資料移轉完成時，對應將使用新在任集的主 OSD。

STALE (過時)

儘管 Ceph 使用活動訊號來確定主機和精靈正在執行，但 ceph-osd 精靈也可能會卡住，無法及時報告統計資料 (例如，當發生暫時的網路故障時)。依預設，OSD 精靈每半秒鐘 (0.5) 報告一次其放置群組、開機及故障統計資料，這個頻率高於活動訊號閾值。如果某個放置群組在任集的主 OSD 未能向監控程式報告，或者其他 OSD 已將該主 OSD 報告為「down」，則監控程式會將該放置群組標示為「stale」。

當您啟動叢集後，叢集常常會在互聯程序完成之前顯示為「stale」狀態。叢集執行一段時間之後，如果放置群組顯示為「stale」狀態，則表示這些放置群組的主 OSD 處於停機狀態，或者未向監控程式報告放置群組統計資料。

cephuser@adm > ceph osd map POOL_NAME OBJECT_NAME [NAMESPACE]

cephuser@adm > rados put test-object-1 testfile.txt --pool=data

cephuser@adm > rados -p data ls

cephuser@adm > ceph osd map data test-object-1
osdmap e537 pool 'data' (0) object 'test-object-1' -> pg 0.d1743484 \
(0.4) -> up ([1,0], p0) acting ([1,0], p0)

cephuser@adm > rados rm test-object-1 --pool=data

若要修改現有 Ceph 叢集的組態，請執行以下步驟：

若要向 Ceph 叢集新增新的節點，請執行以下步驟：

提示：移除 OSD

如果您要移除的節點執行有 OSD，請先從中移除 OSD，然後檢查該節點上是否未執行任何 OSD。如需移除 OSD 的更多詳細資料，請參閱第 13.4.4 節 「移除 OSD」。

若要從叢集移除節點，請執行以下操作：

重要

如果發生故障，並且您嘗試移除的 Minion 處於永久關閉電源狀態，則需要從 Salt Master 中移除節點：

root@master # salt-key -d minion_id

然後，手動從 pillar_root/ceph-salt.sls 中移除節點。它通常位於 /srv/pillar/ceph-salt.sls 中。

本節介紹如何在 Ceph 叢集中新增、去除或移除 OSD。

cephuser@adm > ceph orch device ls
HOST       PATH      TYPE SIZE  DEVICE  AVAIL REJECT REASONS
ses-master /dev/vda  hdd  42.0G         False locked
ses-min1   /dev/vda  hdd  42.0G         False locked
ses-min1   /dev/vdb  hdd  8192M  387836 False locked, LVM detected, Insufficient space (<5GB) on vgs
ses-min2   /dev/vdc  hdd  8192M  450575 True

13.4.2 去除磁碟裝置 #

 

若要重新使用磁碟裝置，需要先將其去除 (或清除)：

ceph orch device zap HOST_NAME DISK_DEVICE

例如：

cephuser@adm > ceph orch device zap ses-min2 /dev/vdc

注意

如果您先前在未設定 unmanaged 旗標的情況下使用 DriveGroups 或 --all-available-devices 選項部署了 OSD，cephadm 將在您去除這些 OSD 後再自動部署它們。

13.4.3 使用 DriveGroups 規格新增 OSD。 #

 

DriveGroups 用於指定 Ceph 叢集中 OSD 的配置。它們在單個 YAML 檔案中定義。在本節中，我們將使用 drive_groups.yml 做為範例。

管理員應手動指定一組相關的 OSD (部署在 HDD 和 SDD 組合上的混合 OSD)，或一組使用相同部署選項的 OSD (例如，物件儲存、加密選項相同的各獨立 OSD)。為了避免明確列出裝置，DriveGroups 會使用與 ceph-volume 庫存報告中的幾個所選欄位對應的過濾項目清單。cephadm 將提供一些代碼，用於將這些 DriveGroups 轉換為供使用者檢查的實際裝置清單。

將 OSD 規格套用於叢集的指令是：

cephuser@adm > ceph orch apply osd -i drive_groups.yml

若要查看動作預覽並測試您的應用程式，您可以將 --dry-run 選項與 ceph orch apply osd 指令結合使用。例如：

cephuser@adm > ceph orch apply osd -i drive_groups.yml --dry-run
...
+---------+------+------+----------+----+-----+
|SERVICE  |NAME  |HOST  |DATA      |DB  |WAL  |
+---------+------+------+----------+----+-----+
|osd      |test  |mgr0  |/dev/sda  |-   |-    |
|osd      |test  |mgr0  |/dev/sdb  |-   |-    |
+---------+------+------+----------+----+-----+

如果 --dry-run 輸出符合您的預期，則只需重新執行指令而無需使用 --dry-run 選項。

13.4.3.1 未受管理 OSD #

 

將符合 DriveGroups 規格的所有可用的乾淨磁碟裝置新增至叢集後，它們將自動做為 OSD 使用。此行為稱為受管理模式。

若要停用受管理模式，請將 unmanaged: true 行新增至相關規格，例如：

service_type: osd
service_id: example_drvgrp_name
placement:
 hosts:
 - ses-min2
 - ses-min3
encrypted: true
unmanaged: true

提示

若要將已部署的 OSD 從受管理模式變更為未受管理模式，請於執行第 13.1 節 「修改叢集組態」中所述的程序期間在適當位置新增 unmanaged: true 行。

13.4.3.2 DriveGroups 規格 #

 

下面是 DriveGroups 規格檔案的範例：

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  drive_spec: DEVICE_SPECIFICATION
db_devices:
  drive_spec: DEVICE_SPECIFICATION
wal_devices:
  drive_spec: DEVICE_SPECIFICATION
block_wal_size: '5G'  # (optional, unit suffixes permitted)
block_db_size: '5G'   # (optional, unit suffixes permitted)
encrypted: true       # 'True' or 'False' (defaults to 'False')

注意

先前在 DeepSea 中名為「加密」的選項已被重新命名為「已加密」。在 SUSE Enterprise Storage 7 中套用 DriveGroups 時，請確定在服務規格中使用此新術語，否則 ceph orch apply 操作將失敗。

13.4.3.3 相符磁碟裝置 #

 

您可以使用以下過濾器描述規格：

• 依磁碟型號：

  model: DISK_MODEL_STRING

• 依磁碟廠商：

  vendor: DISK_VENDOR_STRING

  

  提示

  永遠以小寫形式輸入 DISK_VENDOR_STRING。

  若要獲取有關磁碟型號和廠商的詳細資料，請檢查以下指令的輸出：

  cephuser@adm > ceph orch device ls
  HOST     PATH     TYPE  SIZE DEVICE_ID                  MODEL            VENDOR
  ses-min1 /dev/sdb ssd  29.8G SATA_SSD_AF34075704240015  SATA SSD         ATA
  ses-min2 /dev/sda ssd   223G Micron_5200_MTFDDAK240TDN  Micron_5200_MTFD ATA
  [...]

• 磁碟是否為旋轉式硬碟。SSD 和 NVMe 磁碟機不屬於旋轉式硬碟。

  rotational: 0

• 部署將全部可用磁碟機皆用於 OSD 的節點：

  data_devices:
    all: true

• 此外，還可透過限制相符磁碟的數量來過濾：

  limit: 10

13.4.3.4 依大小過濾裝置 #

 

您可以依磁碟裝置大小對其過濾，可以依確切大小也可以依大小範圍來過濾。size: 參數接受使用下列格式的引數：

• '10G' - 包括大小為該值的磁碟。

• '10G:40G' - 包括大小在該範圍內的磁碟。

• ':10G' - 包括大小小於或等於 10 GB 的磁碟。

• '40G:' - 包括大小等於或大於 40 GB 的磁碟。

範例 13.1︰ 依磁碟大小比對 #

 

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  size: '40TB:'
db_devices:
  size: ':2TB'

注意：需要引號

如果使用「:」分隔符，您需要使用引號括住大小，否則系統會將「:」符號解譯為新組態雜湊。

提示：單位捷徑

您可以指定以百萬位元組 (M) 或兆位元組 (T) 計的大小，而不能指定以十億位元組 (G) 計的大小。

13.4.3.5 DriveGroups 範例 #

 

本節包含其他 OSD 設定的範例。

範例 13.2︰ 簡單設定 #

 

下面的範例描述了使用相同設定的兩個節點：

• 20 個 HDD

  • 廠商：Intel

  • 型號：SSD-123-foo

  • 大小：4 TB

• 2 個 SSD

  • 廠商：Micron

  • 型號：MC-55-44-ZX

  • 大小：512 GB

對應的 drive_groups.yml 檔案如下所示：

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  model: SSD-123-foo
db_devices:
  model: MC-55-44-XZ

這樣的組態簡單有效。但問題是管理員將來可能要新增來自不同廠商的磁碟，而這樣的磁碟不在可新增範圍內。您可以透過減少針對磁碟機核心內容的過濾器來予以改進。

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  rotational: 1
db_devices:
  rotational: 0

在上面的範例中，我們強制將所有旋轉式裝置宣告為「data devices」，將所有非旋轉式裝置當成「shared devices」(wal、db) 使用。

如果您知道大小超過 2 TB 的磁碟機將一律做為較慢的資料裝置，則可以依大小過濾：

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  size: '2TB:'
db_devices:
  size: ':2TB'

範例 13.3︰ 進階設定 #

 

下面的範例描述了兩種不同的設定：20 個 HDD 將共用 2 個 SSD，而 10 個 SSD 將共用 2 個 NVMe。

• 20 個 HDD

  • 廠商：Intel

  • 型號：SSD-123-foo

  • 大小：4 TB

• 12 個 SSD

  • 廠商：Micron

  • 型號：MC-55-44-ZX

  • 大小：512 GB

• 2 個 NVMe

  • 廠商：Samsung

  • 型號：NVME-QQQQ-987

  • 大小：256 GB

這樣的設定可使用如下兩個配置定義：

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  rotational: 0
db_devices:
  model: MC-55-44-XZ

service_type: osd
service_id: example_drvgrp_name2
placement:
  host_pattern: '*'
data_devices:
  model: MC-55-44-XZ
db_devices:
  vendor: samsung
  size: 256GB

範例 13.4︰ 包含非統一節點的進階設定 #

 

上述範例假設所有節點的磁碟機都相同，但情況並非總是如此：

節點 1-5：

• 20 個 HDD

  • 廠商：Intel

  • 型號：SSD-123-foo

  • 大小：4 TB

• 2 個 SSD

  • 廠商：Micron

  • 型號：MC-55-44-ZX

  • 大小：512 GB

節點 6-10：

• 5 個 NVMe

  • 廠商：Intel

  • 型號：SSD-123-foo

  • 大小：4 TB

• 20 個 SSD

  • 廠商：Micron

  • 型號：MC-55-44-ZX

  • 大小：512 GB

您可以在配置中使用「target」鍵來定位特定節點。Salt 定位標記可讓事情變得簡單：

service_type: osd
service_id: example_drvgrp_one2five
placement:
  host_pattern: 'node[1-5]'
data_devices:
  rotational: 1
db_devices:
  rotational: 0

後接

service_type: osd
service_id: example_drvgrp_rest
placement:
  host_pattern: 'node[6-10]'
data_devices:
  model: MC-55-44-XZ
db_devices:
  model: SSD-123-foo

範例 13.5︰ 專家設定 #

 

上述所有案例都假設 WAL 和 DB 使用相同裝置，但也有可能會在專屬裝置上部署 WAL：

• 20 個 HDD

  • 廠商：Intel

  • 型號：SSD-123-foo

  • 大小：4 TB

• 2 個 SSD

  • 廠商：Micron

  • 型號：MC-55-44-ZX

  • 大小：512 GB

• 2 個 NVMe

  • 廠商：Samsung

  • 型號：NVME-QQQQ-987

  • 大小：256 GB

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  model: MC-55-44-XZ
db_devices:
  model: SSD-123-foo
wal_devices:
  model: NVME-QQQQ-987

範例 13.6︰ 複雜 (和不太可能的) 設定 #

 

在以下設定中，我們嘗試定義：

• 由 1 個 NVMe 支援 20 個 HDD

• 由 1 個 SSD (db) 和 1 個 NVMe (wal) 支援 2 個 HDD

• 由 1 個 NVMe 支援 8 個 SSD

• 2 個獨立 SSD (加密)

• 1 個 HDD 做為備用，不應部署

共使用如下數量的磁碟機：

• 23 個 HDD

  • 廠商：Intel

  • 型號：SSD-123-foo

  • 大小：4 TB

• 10 個 SSD

  • 廠商：Micron

  • 型號：MC-55-44-ZX

  • 大小：512 GB

• 1 個 NVMe

  • 廠商：Samsung

  • 型號：NVME-QQQQ-987

  • 大小：256 GB

DriveGroups 定義如下所示：

service_type: osd
service_id: example_drvgrp_hdd_nvme
placement:
  host_pattern: '*'
data_devices:
  rotational: 0
db_devices:
  model: NVME-QQQQ-987

service_type: osd
service_id: example_drvgrp_hdd_ssd_nvme
placement:
  host_pattern: '*'
data_devices:
  rotational: 0
db_devices:
  model: MC-55-44-XZ
wal_devices:
  model: NVME-QQQQ-987

service_type: osd
service_id: example_drvgrp_ssd_nvme
placement:
  host_pattern: '*'
data_devices:
  model: SSD-123-foo
db_devices:
  model: NVME-QQQQ-987

service_type: osd
service_id: example_drvgrp_standalone_encrypted
placement:
  host_pattern: '*'
data_devices:
  model: SSD-123-foo
encrypted: True

在檔案的整個剖析過程中，一直會保留一個 HDD。