23 叢集檔案系統 #

如果用戶端主機執行的是 SUSE Linux Enterprise 12 SP2 或更新版本，系統無需額外設定即可掛接 CephFS。

如果用戶端主機執行的是 SUSE Linux Enterprise 12 SP1，您需要套用所有最新的修補程式，才能掛接 CephFS。

無論是哪一種情況，SUSE Linux Enterprise 中都包含了掛接 CephFS 需要的所有項目。不需要 SUSE Enterprise Storage 7.1 產品。

若要支援完整的 mount 語法，在嘗試裝載 CephFS 之前，應該先安裝 ceph-common 套件 (隨附於 SUSE Linux Enterprise 中)。

重要

如果不安裝 ceph-common 套件 (因而也就未安裝 mount.ceph 輔助程式)，將需要使用監控程式的 IP 而非其名稱。因為核心用戶端將無法執行名稱解析。

基本掛接語法如下：

# mount -t ceph MON1_IP[:PORT],MON2_IP[:PORT],...:CEPHFS_MOUNT_TARGET \
MOUNT_POINT -o name=CEPHX_USER_NAME,secret=SECRET_STRING

Ceph 叢集執行時預設會開啟驗證功能。您應該建立一個可用於儲存您的機密金鑰 (不是金鑰圈自身) 的檔案。請執行以下操作，以獲取特定使用者的機密金鑰並建立該檔案：

可以使用 mount 指令掛接 CephFS。您需要指定監控程式的主機名稱或 IP 位址。由於 SUSE Enterprise Storage 中預設會啟用 cephx 驗證，因此，您還需要指定一個使用者名稱及其相關的機密：

# mount -t ceph ceph_mon1:6789:/ /mnt/cephfs \
 -o name=admin,secret=AQATSKdNGBnwLhAAnNDKnH65FmVKpXZJVasUeQ==

由於上一個指令會保留在外圍程序歷程中，因此更安全的做法是從檔案讀取機密：

# mount -t ceph ceph_mon1:6789:/ /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

請注意，機密檔案應該僅包含實際的金鑰圈機密。因此，在本範例中，該檔案僅包含下行：

AQATSKdNGBnwLhAAnNDKnH65FmVKpXZJVasUeQ==

提示：指定多個監控程式

最好能在 mount 指令行中指定多個監控程式並以逗號分隔，以避免某個監控程式在掛接時剛好發生停機的情況。每個監控程式的位址採用主機[:連接埠] 格式。如果未指定連接埠，預設會使用連接埠 6789。

在本地主機上建立掛接點：

# mkdir /mnt/cephfs

掛接 CephFS：

# mount -t ceph ceph_mon1:6789:/ /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

如果要掛接檔案系統的某個子集，可以指定子目錄 subdir：

# mount -t ceph ceph_mon1:6789:/subdir /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

可在 mount 指令中指定多個監控程式主機：

# mount -t ceph ceph_mon1,ceph_mon2,ceph_mon3:6789:/ /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

重要：對根目錄的讀取存取權

如果使用實施了路徑限制的用戶端，則 MDS 功能需要包含對根目錄的讀取存取權。例如，金鑰圈的格式可能如下所示：

client.bar
 key: supersecretkey
 caps: [mds] allow rw path=/barjail, allow r path=/
 caps: [mon] allow r
 caps: [osd] allow rwx

allow r path=/ 部分表示路徑受限的用戶端能夠查看根磁碟區，但無法寫入資料至其中。在要求完全隔離的使用情況下，這可能會造成問題。

如果依預設設定使用單個 MDS 時中繼資料效能出現瓶頸，可考慮使用多個使用中 MDS 精靈。

增加精靈數量並不會提高所有工作負載類型的效能。例如，增加 MDS 精靈的數量不會讓單個用戶端上執行的單個應用程式受益，除非該應用程式在同時執行大量中繼資料操作。

一般而言，能夠因大量使用中 MDS 精靈受益的工作負載是使用許多用戶端的工作負載，也許是在許多獨立目錄中運作的工作負載。

每個 CephFS 檔案系統都有一項 max_mds 設定，用於控制將要建立的階層數。僅當某個備用精靈可用於承擔新階層時，檔案系統中的實際階層數才會增加。例如，如果只有執行一個 MDS 精靈，而 max_mds 設定為兩個，則將不會建立另一個階層。

在下面的範例中，我們將 max_mds 選項設定為 2，以便在保留預設階層的情況下再建立一個新階層。若要查看變更，請在設定 max_mds 之前和之後執行 ceph status，然後觀察包含 fsmap 的行：

cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-1/1/1 up  {0=node2=up:active}, 1 up:standby
    [...]
cephuser@adm > ceph fs set cephfs max_mds 2
cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-2/2/2 up  {0=node2=up:active,1=node1=up:active}
    [...]

新建立的階層 (1) 會經歷「正在建立」狀態，然後進入「使用中」狀態。

重要：待命精靈

即使具有多個使用中 MDS 精靈，當任何在執行使用中精靈的伺服器發生故障時，高可用性系統也仍會要求待命精靈接管工作。

因此，高可用性系統的 max_mds 合理最大值比系統中的 MDS 伺服器總數小 1。若要在發生多次伺服器故障時保持可用性，可增加系統中待命精靈的數量，使之與不會導致失去可用性的伺服器故障數相符。

所有階層 (包括要移除的階層) 首先必須是使用中的。這表示至少需要有 max_mds 個 MDS 精靈可用。

首先，將 max_mds 設為一個較小的數字。例如，我們重新使用單個使用中 MDS：

cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-2/2/2 up  {0=node2=up:active,1=node1=up:active}
    [...]
cephuser@adm > ceph fs set cephfs max_mds 1
cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-1/1/1 up  {0=node2=up:active}, 1 up:standby
    [...]

在多個使用中中繼資料伺服器組態中，將會執行一個平衡器，用於在叢集中均衡分配中繼資料負載。這種模式通常足以符合大多數使用者的需求，但有時，使用者需要使用中繼資料到特定階層的明確對應來覆寫動態平衡器。這樣，管理員或使用者便可以在整個叢集上均衡地分攤應用程式負載，或限制使用者的中繼資料要求對整個叢集的影響。

針對此目的提供的機制稱為「輸出關聯」。它是目錄的延伸屬性。此延伸屬性名為 ceph.dir.pin。使用者可以使用標準指令來設定此屬性：

# setfattr -n ceph.dir.pin -v 2 /path/to/dir

延伸屬性的值 (-v) 是要將目錄子樹指定到的階層。預設值 -1 表示不關聯該目錄。

目錄輸出關聯從設定了輸出關聯的最近的父級繼承。因此，對某個目錄設定輸出關聯會影響該目錄的所有子項。但是，可以透過設定子目錄輸出關聯來覆寫父級的關聯。例如：

# mkdir -p a/b                      # "a" and "a/b" start with no export pin set.
setfattr -n ceph.dir.pin -v 1 a/  # "a" and "b" are now pinned to rank 1.
setfattr -n ceph.dir.pin -v 0 a/b # "a/b" is now pinned to rank 0
                                  # and "a/" and the rest of its children
                                  # are still pinned to rank 1.

可以設定每個 CephFS 檔案系統，以新增待命重播精靈。這些待命精靈會追蹤使用中 MDS 的中繼資料記錄，以減少使用中 MDS 變為無法使用時的容錯移轉時間。每個使用中 MDS 只能有一個追隨它的待命重播精靈。

您可以使用以下指令在檔案系統上設定待命重播：

cephuser@adm > ceph fs set FS-NAME allow_standby_replay BOOL

設定待命重播後，監控程式將會指定該檔案系統中可用於追隨使用中 MDS 的待命精靈。

當某個 MDS 進入待命重播狀態後，將只用做其所追隨階層的待命精靈。如果另一個階層發生故障，系統不會使用此待命重播精靈來取代前者，即使沒有其他可用的待命精靈也是如此。因此，如果使用了待命重播，則建議每個使用中 MDS 都應有一個待命重播精靈。

CephFS 的定額設定具有以下限制：

您可以使用虛擬延伸屬性來設定 CephFS 定額：

如果某個目錄 Inode 存在這些屬性，即表示對該位置設定了定額。如果不存在，則表示未對該目錄設定定額 (即使可能對父目錄設定了定額)。

若要設定 100 MB 的定額，請執行以下指令：

cephuser@mds > setfattr -n ceph.quota.max_bytes -v 100000000 /SOME/DIRECTORY

若要設定 10,000 個檔案的定額，請執行以下指令：

cephuser@mds > setfattr -n ceph.quota.max_files -v 10000 /SOME/DIRECTORY

若要檢視定額設定，請執行以下指令：

cephuser@mds > getfattr -n ceph.quota.max_bytes /SOME/DIRECTORY

cephuser@mds > getfattr -n ceph.quota.max_files /SOME/DIRECTORY

注意：未設定定額

如果延伸屬性的值為「0」，則表示未設定定額。

若要移除定額，請執行以下指令：

cephuser@mds > setfattr -n ceph.quota.max_bytes -v 0 /SOME/DIRECTORY
cephuser@mds > setfattr -n ceph.quota.max_files -v 0 /SOME/DIRECTORY

對於新檔案系統，系統預設會啟用 CephFS 快照功能。若要對現有檔案系統啟用該功能，請執行以下指令：

cephuser@adm > ceph fs set CEPHFS_NAME allow_new_snaps true

啟用快照後，CephFS 中的所有目錄都將包含一個特殊的 .snap 子目錄。

注意

這是個虛擬子目錄。它不會出現在父目錄的目錄清單中，但您不能使用 .snap 名稱做為檔案或目錄名稱。若要存取 .snap 目錄，需要採用明確存取方式，例如：

> ls -la /CEPHFS_MOUNT/.snap/

重要：核心用戶端限制

CephFS 核心用戶端有一個限制：一旦檔案系統中所含快照數量超過 400 個，它們將無法處理。快照的數量應永遠低於此上限，無論使用哪個用戶端均如此。如果使用較舊的 CephFS 用戶端 (例如 SLE12-SP3)，請記住，快照數量超過 400 個對運作十分有害，因為這會導致用戶端當機。

提示：自訂快照子目錄名稱

您可以透過進行 client snapdir 設定來為快照子目錄設定其他名稱。

若要建立快照，請以自訂名稱在 .snap 目錄下建立子目錄。例如，若要建立目錄 /CEPHFS_MOUNT/2/3/ 的快照，請執行以下指令：

> mkdir /CEPHFS_MOUNT/2/3/.snap/CUSTOM_SNAPSHOT_NAME

若要刪除某個快照，請在 .snap 目錄中刪除該快照的子目錄：

> rmdir /CEPHFS_MOUNT/2/3/.snap/CUSTOM_SNAPSHOT_NAME