23 群集式文件系统 #

如果客户端主机运行的是 SUSE Linux Enterprise 12 SP2 或更高版本，系统无需额外配置即可装入 CephFS。

如果客户端主机运行的是 SUSE Linux Enterprise 12 SP1，您需要应用所有最新的增补程序，之后才能装入 CephFS。

无论是哪一种情况，SUSE Linux Enterprise 中都包含了装入 CephFS 需要的所有项目。不需要 SUSE Enterprise Storage 7 产品。

为了支持完整的 mount 语法，在尝试装入 CephFS 之前，应该先安装 ceph-common 包（随附于 SUSE Linux Enterprise 中）。

重要

如果不安装 ceph-common 包（因而也就未安装 mount.ceph 助手），将需要使用 Monitor 的 IP 而非其名称。这是因为内核客户端将无法执行名称解析。

基本装入语法如下：

root # mount -t ceph MON1_IP[:PORT],MON2_IP[:PORT],...:CEPHFS_MOUNT_TARGET \
MOUNT_POINT -o name=CEPHX_USER_NAME,secret=SECRET_STRING

Ceph 集群默认是在启用身份验证的情况下运行的。应该创建一个文件用于存储您的秘密密钥（而不是密钥环本身）。要获取特定用户的秘密密钥，然后创建该文件，请执行以下操作：

可以使用 mount 命令装入 CephFS。需要指定 Monitor 的主机名或 IP 地址。由于 SUSE Enterprise Storage 中默认会启用 cephx 身份验证，因此，您还需要指定一个用户名及其相关的机密：

root # mount -t ceph ceph_mon1:6789:/ /mnt/cephfs \
 -o name=admin,secret=AQATSKdNGBnwLhAAnNDKnH65FmVKpXZJVasUeQ==

由于上一条命令会保留在外壳历史中，因此更安全的做法是从文件读取机密：

root # mount -t ceph ceph_mon1:6789:/ /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

请注意，机密文件应该只包含实际的密钥环机密。因此，在本示例中，该文件只包含下行：

AQATSKdNGBnwLhAAnNDKnH65FmVKpXZJVasUeQ==

提示：指定多个 Monitor

最好是在 mount 命令行中指定多个 Monitor 并以逗号分隔，以防在装入时某个 Monitor 恰好停机。每个 Monitor 的地址采用主机[:端口] 格式。如果未指定端口，默认会使用端口 6789。

在本地主机上创建装入点：

root # mkdir /mnt/cephfs

装入 CephFS：

root # mount -t ceph ceph_mon1:6789:/ /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

如果要装入文件系统的某个子集，可以指定子目录 subdir：

root # mount -t ceph ceph_mon1:6789:/subdir /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

可在 mount 命令中指定多个 Monitor 主机：

root # mount -t ceph ceph_mon1,ceph_mon2,ceph_mon3:6789:/ /mnt/cephfs \
 -o name=admin,secretfile=/etc/ceph/admin.secret

重要：对根目录的读取访问权限

如果使用了实施路径限制的客户端，则 MDS 功能需要包含对根目录的读取访问权限。例如，密钥环可能如下所示：

client.bar
 key: supersecretkey
 caps: [mds] allow rw path=/barjail, allow r path=/
 caps: [mon] allow r
 caps: [osd] allow rwx

allow r path=/ 部分表示路径受限的客户端能够查看根卷，但无法写入根卷。在要求完全隔离的用例中，这可能会造成问题。

如果按默认设置使用单个 MDS 时元数据性能出现瓶颈，可考虑使用多个工作的 MDS 守护进程。

增加守护进程并不会提高所有工作负载类型的性能。例如，增加 MDS 守护进程的数量不会让单个客户端上运行的单个应用受益，除非该应用在同时执行大量元数据操作。

通常能够因大量工作的 MDS 守护进程受益的工作负载是使用许多客户端的工作负载，也许是在许多独立目录中工作的工作负载。

每个 CephFS 文件系统都有一项 max_mds 设置，用于控制将要创建的级别数。仅当某个备用守护进程可供新的级别使用时，文件系统中的实际级别数才会增加。例如，如果只有一个 MDS 守护进程在运行，并且 max_mds 设置为 2，将不会创建另一个级别。

在下面的示例中，我们将 max_mds 选项设置为 2，以便在保留默认级别的情况下再创建一个新级别。要查看更改，请在设置 max_mds 之前和之后运行 ceph status，然后观察包含 fsmap 的行：

cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-1/1/1 up  {0=node2=up:active}, 1 up:standby
    [...]
cephuser@adm > ceph fs set cephfs max_mds 2
cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-2/2/2 up  {0=node2=up:active,1=node1=up:active}
    [...]

新建的级别 (1) 会经历“正在创建”状态，然后进入“工作”状态。

重要：待机守护进程

即使使用多个工作 MDS 守护进程，当任何在运行工作守护进程的服务器发生故障时，高可用性系统也仍会要求待机守护进程接管工作。

因此，高可用性系统的 max_mds 合理最大值比系统中的 MDS 服务器总数小 1。要在发生多次服务器故障时保持可用性，可增加系统中待机守护进程的数量，使之与不会导致失去可用性的服务器故障数一致。

所有级别（包括要删除的级别）首先必须是活跃的。这意味着，至少需要有 max_mds 个 MDS 守护进程可用。

首先，将 max_mds 设为一个较小的数字。例如，我们重新使用单个工作的 MDS：

cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-2/2/2 up  {0=node2=up:active,1=node1=up:active}
    [...]
cephuser@adm > ceph fs set cephfs max_mds 1
cephuser@adm > ceph status
  [...]
  services:
    [...]
    mds: cephfs-1/1/1 up  {0=node2=up:active}, 1 up:standby
    [...]

在多个工作元数据服务器配置中，将会运行一个平衡器，用于在集群中均衡分配元数据负载。这种模式通常足以满足大多数用户的需求，但有时，用户需要使用元数据到特定级别的显式映射来覆盖动态平衡器。这样，管理员或用户便可以在整个集群上均衡地分配应用负载，或限制用户的元数据请求对整个集群的影响。

针对此目的提供的机制称为“导出关联”。它是目录的扩展属性。此扩展属性名为 ceph.dir.pin。用户可以使用标准命令设置此属性：

root # setfattr -n ceph.dir.pin -v 2 /path/to/dir

扩展属性的值 (-v) 是要将目录子树指定到的级别。默认值 -1 表示不关联该目录。

目录导出关联继承自设置了导出关联的最近的父级。因此，对某个目录设置导出关联会影响该目录的所有子级。但是，可以通过设置子目录导出关联来覆盖父级的关联。例如：

root # mkdir -p a/b                      # "a" and "a/b" start with no export pin set.
setfattr -n ceph.dir.pin -v 1 a/  # "a" and "b" are now pinned to rank 1.
setfattr -n ceph.dir.pin -v 0 a/b # "a/b" is now pinned to rank 0
                                  # and "a/" and the rest of its children
                                  # are still pinned to rank 1.

可以配置每个 CephFS 文件系统以添加待机重放守护进程。这些待机守护进程会跟随活动 MDS 的元数据日志，以缩短当活动 MDS 变为不可用状态时的故障转移时间。每个活动 MDS 只能有一个跟随它的待机重放守护进程。

可以使用以下命令在文件系统上配置待机重放：

cephuser@adm > ceph fs set FS-NAME allow_standby_replay BOOL

设置待机重放后，Monitor 将会指定该文件系统中可用于跟随活动 MDS 的待机守护进程。

当某个 MDS 进入待机重放状态后，它只会用作所跟随级别的待机守护进程。如果另一个级别发生故障，此待机重放守护进程不会作为替代者，即使没有其他待机守护进程可用也是如此。因此，如果使用了待机重放，则建议每个活动 MDS 都应有一个待机重放守护进程。

CephFS 的配额设置具有以下限制：

您可以使用虚拟扩展属性来配置 CephFS 配额：

如果某个目录 Inode 存在这些属性，即表示该位置配置了配额。如果不存在，则表示未对该目录配置配额（即便可能对父目录配置了配额）。

要设置 100 MB 的配额，请运行以下命令：

cephuser@mds > setfattr -n ceph.quota.max_bytes -v 100000000 /SOME/DIRECTORY

要设置 10,000 个文件的配额，请运行以下命令：

cephuser@mds > setfattr -n ceph.quota.max_files -v 10000 /SOME/DIRECTORY

要查看配额设置，请运行以下命令：

cephuser@mds > getfattr -n ceph.quota.max_bytes /SOME/DIRECTORY

cephuser@mds > getfattr -n ceph.quota.max_files /SOME/DIRECTORY

注意：未设置配额

如果扩展属性的值为“0”，表示未设置配额。

要删除配额，请运行以下命令：

cephuser@mds > setfattr -n ceph.quota.max_bytes -v 0 /SOME/DIRECTORY
cephuser@mds > setfattr -n ceph.quota.max_files -v 0 /SOME/DIRECTORY

对于新文件系统，系统默认会启用 CephFS 快照特性。要对现有文件系统启用该特性，请运行以下命令：

cephuser@adm > ceph fs set CEPHFS_NAME allow_new_snaps true

启用快照后，CephFS 中的所有目录都将包含一个特殊的 .snap 子目录。

注意

这是个虚拟子目录。它不会出现在父目录的目录列表中，但您不能使用 .snap 名称作为文件或目录名称。要访问 .snap 目录，需要采用显式访问方式，例如：

tux > ls -la /CEPHFS_MOUNT/.snap/

重要：内核客户端限制

CephFS 内核客户端存在一个限制：一旦文件系统中所含快照数量超过 400 个，它们将无法处理。快照的数量应始终低于此上限，无论使用哪个客户端均如此。如果使用较旧的 CephFS 客户端（例如 SLE12-SP3），请记住，快照数量超过 400 个对运行十分有害，因为这会导致客户端崩溃。

提示：自定义快照子目录名称

您可以通过设置 client snapdir 设置来为快照子目录配置其他名称。

要创建快照，请以自定义名称在 .snap 目录下创建子目录。例如，要创建目录 /CEPHFS_MOUNT/2/3/ 的快照，请运行以下命令：

tux > mkdir /CEPHFS_MOUNT/2/3/.snap/CUSTOM_SNAPSHOT_NAME

要删除某个快照，请在 .snap 目录中删除该快照的子目录：

tux > rmdir /CEPHFS_MOUNT/2/3/.snap/CUSTOM_SNAPSHOT_NAME