17 存储的数据管理 #

Ceph 的优势之一是 CRUSH 索引能够灵活控制数据归置。这也是集群最难管理的环节之一。设备类型会自动对 CRUSH 索引执行最常见的更改，以前这些更改都需要由管理员手动完成。

17.1.1.1 CRUSH 管理问题 #

 

Ceph 集群常由多种存储设备构建而成：HDD、SSD、NVMe，甚至是以上这些类型的混合。我们将这些不同的存储设备类型称为设备类型，以避免与 CRUSH 桶的类型属性（例如 host、rack 和 row，请参见第 17.2 节 “存储桶”了解更多详细信息）产生混淆。受 SSD 支持的 Ceph OSD 比受旋转磁盘支持的 OSD 速度快得多，因此更适合特定工作负载。借助 Ceph，您可轻松为不同数据集或工作负载创建 RADOS 存储池，以及指定不同的 CRUSH 规则来控制这些存储池的数据归置。

图 17.1︰ 具有混合设备类型的 OSD #

 

不过，通过设置 CRUSH 规则将数据仅归置到特定类型的设备这个过程十分枯燥。规则是针对 CRUSH 层次结构运作的，但如果将某些设备混合到同一主机或机柜中（如上面的层次结构示例所示），则这些设备默认会混合在一起并显示在层次结构的同一子树中。要手动将它们分隔到单独的树中，需要针对先前版本的 SUSE Enterprise Storage 中的每个设备类型，为每个中间节点创建多个版本。

cephuser@adm > ceph osd tree
 ID CLASS WEIGHT   TYPE NAME      STATUS REWEIGHT PRI-AFF
 -1       83.17899 root default
 -4       23.86200     host cpach
 2   hdd  1.81898         osd.2      up  1.00000 1.00000
 3   hdd  1.81898         osd.3      up  1.00000 1.00000
 4   hdd  1.81898         osd.4      up  1.00000 1.00000
 5   hdd  1.81898         osd.5      up  1.00000 1.00000
 6   hdd  1.81898         osd.6      up  1.00000 1.00000
 7   hdd  1.81898         osd.7      up  1.00000 1.00000
 8   hdd  1.81898         osd.8      up  1.00000 1.00000
 15  hdd  1.81898         osd.15     up  1.00000 1.00000
 10  nvme 0.93100         osd.10     up  1.00000 1.00000
 0   ssd  0.93100         osd.0      up  1.00000 1.00000
 9   ssd  0.93100         osd.9      up  1.00000 1.00000

cephuser@adm > ceph osd crush rm-device-class osd.2 osd.3
done removing class of osd(s): 2,3
cephuser@adm > ceph osd crush set-device-class ssd osd.2 osd.3
set osd(s) 2,3 to class 'ssd'

cephuser@adm > ceph osd crush rule create-replicated RULE_NAME ROOT FAILURE_DOMAIN_TYPE DEVICE_CLASS

cephuser@adm > ceph osd crush rule create-replicated fast default host ssd

cephuser@adm > ceph osd pool create fast_pool 128 128 replicated fast

cephuser@adm > ceph osd erasure-code-profile set myprofile \
 k=4 m=2 crush-device-class=ssd crush-failure-domain=host
cephuser@adm > ceph osd pool create mypool 64 erasure myprofile

rule ecpool {
  id 2
  type erasure
  min_size 3
  max_size 6
  step set_chooseleaf_tries 5
  step set_choose_tries 100
  step take default class ssd
  step chooseleaf indep 0 type host
  step emit
}

cephuser@adm > ceph osd crush class ls
[
  "hdd",
  "ssd"
]

cephuser@adm > ceph osd crush rule ls
replicated_rule
fast

cephuser@adm > ceph osd crush rule dump fast
{
		"rule_id": 1,
		"rule_name": "fast",
		"ruleset": 1,
		"type": 1,
		"min_size": 1,
		"max_size": 10,
		"steps": [
						{
										"op": "take",
										"item": -21,
										"item_name": "default~ssd"
						},
						{
										"op": "chooseleaf_firstn",
										"num": 0,
										"type": "host"
						},
						{
										"op": "emit"
						}
		]
}

cephuser@adm > ceph osd crush class ls-osd ssd
0
1

可采用节点树的形式来查看使用存储桶定义的结构。在此树中，存储桶是节点，OSD 是叶。

CRUSH 索引中的规则定义如何从此树中选择 OSD。规则从某个节点开始，然后在树中向下迭代，以返回一组 OSD。无法定义需要选择哪个分支。CRUSH 算法可确保 OSD 集能够满足复制要求并均衡分布数据。

使用 step take bucket 时，节点树中的迭代从给定的存储桶（而不是存储桶类型）开始。如果要返回树中所有分支上的 OSD，该存储桶必须是根存储桶。否则，以下步骤只会在子树中迭代。

完成 step take 后，接下来会执行规则定义中的一个或多个 step choose 项。每个 step choose 项从前面选定的上层节点中选择定义数量的节点（或分支）。

最后，使用 step emit 返回选定的 OSD。

step chooseleaf 是一个便捷函数，可直接从给定存储桶的分支中选择 OSD。

图 17.2 “示例树”中提供了说明如何使用 step 在树中迭代的示例。在下面的规则定义中，橙色箭头和数字与 example1a 和 example1b 对应，蓝色箭头和数字与 example2 对应。

图 17.2︰ 示例树 #

 

# orange arrows
rule example1a {
        ruleset 0
        type replicated
        min_size 2
        max_size 10
        # orange (1)
        step take rack1
        # orange (2)
        step choose firstn 0 host
        # orange (3)
        step choose firstn 1 osd
        step emit
}

rule example1b {
        ruleset 0
        type replicated
        min_size 2
        max_size 10
        # orange (1)
        step take rack1
        # orange (2) + (3)
        step chooseleaf firstn 0 host
        step emit
}

# blue arrows
rule example2 {
        ruleset 0
        type replicated
        min_size 2
        max_size 10
        # blue (1)
        step take room1
        # blue (2)
        step chooseleaf firstn 0 rack
        step emit
}

CRUSH 规则定义有故障节点或 OSD 的替换项（请参见第 17.3 节 “规则集”）。关键字 step 要求使用 firstn 或 indep 参数。图 17.3 “节点替换方法”提供了示例。

firstn 将替换节点添加到工作节点列表的末尾。如果某个节点发生故障，其后的正常节点会移位到左侧，以填充有故障节点留下的空缺。这是副本存储池的默认方法，也是需要采取的方法，因为次要节点已包含所有数据，因此可立即接管主要节点的职责。

indep 为每个工作节点选择固定的替换节点。替换有故障节点不会更改剩余节点的顺序。这对于纠删码存储池而言是所需的行为。在纠删码存储池中，节点上存储的数据取决于在选择节点时它所在的位置。如果节点的顺序发生变化，受影响节点上的所有数据都需要重新放置。

图 17.3︰ 节点替换方法 #

 

归置组 (PG) 聚合了存储池内的对象。主要原因是基于每个对象来跟踪对象归置和元数据的计算成本较高。例如，包含数百万个对象的系统无法直接跟踪各个对象的归置。

图 17.4︰ 存储池中的归置组 #

 

Ceph 客户端负责计算对象将属于哪个归置组。它会对对象 ID 进行哈希处理，并根据所定义存储池中的 PG 数及存储池的 ID 来应用操作。

归置组内的对象内容存储在一组 OSD 中。例如，在大小为 2 的副本存储池中，每个归置组将对象存储到两个 OSD 中：

图 17.5︰ 归置组和 OSD #

 

如果 OSD 2 发生故障，则系统会将另一个 OSD 指定给归置组 1，并在该 OSD 中填充 OSD 1 内所有对象的副本。如果存储池大小从 2 变为 3，则系统会向归置组另外再分配一个 OSD，并在该 OSD 中填充归置组内所有对象的副本。

归置组并不拥有 OSD，它们与同一存储池甚至其他存储池内的其他归置组共享 OSD。如果 OSD 2 发生故障，归置组 2 也将需要使用 OSD 3 来恢复对象的副本。

当归置组的数量增加时，系统会向新归置组分配 OSD。CRUSH 函数的结果也会发生更改，而且系统会将之前的归置组的部分对象复制到新归置组并将它们从旧归置组删除。

注意

从 Ceph Nautilus (v14.x) 开始，您可以使用 Ceph Manager pg_autoscaler 模块根据需要自动扩展 PG。如果要启用此功能，请参考第 6.1.1.1 节 “Default PG and PGP counts”。

创建新存储池时，您仍可手动选择 PG_NUM 的值：

root # ceph osd pool create POOL_NAME PG_NUM

PG_NUM 无法自动计算得出。以下是一些常用的值，选择哪个值取决于集群中的 OSD 数量：

随着 OSD 数量的增加，选择正确的 PG_NUM 值也变得愈加重要。PG_NUM 对集群的行为以及 OSD 发生故障时的数据持久性具有很大影响。

total PGs = (OSDs * 100) / POOL_SIZE

          (200 * 100) / 3 = 6667

注意

从 Ceph Nautilus (v14.x) 开始，您可以使用 Ceph Manager pg_autoscaler 模块根据需要自动扩展 PG。如果要启用此功能，请参考第 6.1.1.1 节 “Default PG and PGP counts”。

如果您仍需手动指定存储池中的归置组数量，则需要在创建存储池时指定（请参见第 18.1 节 “创建存储池”）。为存储池设置归置组后，您可以运行以下命令来增加归置组的数量：

root # ceph osd pool set POOL_NAME pg_num PG_NUM

增加归置组数量后，您还需要增加要归置的归置组数量 (PGP_NUM)，以便您的集群重新达到平衡。PGP_NUM 是考虑要通过 CRUSH 算法归置的归置组数。增加 PG_NUM 会分割归置组，但在增加 PGP_NUM 之前数据不会迁移到较新的归置组。PGP_NUM 应等于 PG_NUM。要增加应归置的归置组数量，请运行以下命令：

root # ceph osd pool set POOL_NAME pgp_num PGP_NUM

要获取存储池中的归置组数量，请运行以下 get 命令：

root # ceph osd pool get POOL_NAME pg_num

要获取集群内归置组的统计数据，请运行以下命令：

root # ceph pg dump [--format FORMAT]

有效格式为“plain”（默认值）和“json”。

要获取所有卡在指定状态的归置组的统计数据，请运行以下命令：

root # ceph pg dump_stuck STATE \
 [--format FORMAT] [--threshold THRESHOLD]

可能的状态有：“inactive”（PG 由于在等待拥有最新数据的 OSD 恢复启用状态而无法处理读取或写入）、“unclean”（PG 包含未复制所需次数的对象）、“stale”（PG 处于未知状态，即托管 PG 的 OSD 未在 mon_osd_report_timeout 选项所指定的时间间隔内向 Monitor 集群报告相关信息）、“undersized”或“degraded”。

有效格式为“plain”（默认值）和“json”。

该阈值定义归置组至少卡住多少秒（默认为 300 秒）后系统会将其包含到返回的统计数据中。

要搜索特定归置组的索引，请运行以下命令：

root # ceph pg map PG_ID

Ceph 将返回归置组索引、归置组和 OSD 状态：

root # ceph pg map 1.6c
osdmap e13 pg 1.6c (1.6c) -> up [1,0] acting [1,0]

要检索特定归置组的统计数据，请运行以下命令：

root # ceph pg PG_ID query

要洗刷（第 17.6 节 “洗刷归置组”）归置组，请运行以下命令：

root # ceph pg scrub PG_ID

Ceph 会检查主节点和副本节点、生成归置组内所有对象的编目，并对它们进行比较，以确保没有缺少或不匹配的对象且对象的内容均一致。假设所有副本均匹配，最后的语义整理便可确保所有与快照相关的对象元数据均一致。错误通过日志来报告。

您可能会遇到数个归置组需要恢复和/或回填，而其中一些归置组存储的数据比其他归置组更为重要的情况。例如，这些 PG 可能存储着运行中计算机所使用的映像数据，其他 PG 则可能存储的是由非活跃计算机使用的数据或相关度较低的数据。在该情况下，您可能需要优先恢复这些归置组，以便更早地恢复存储在这些归置组中的数据的性能和可用性。要将特定归置组标记为在回填或恢复过程中优先处理，请运行以下命令：

root # ceph pg force-recovery PG_ID1 [PG_ID2 ... ]
root # ceph pg force-backfill PG_ID1 [PG_ID2 ... ]

这将导致 Ceph 先对指定归置组执行恢复或回填，然后再处理其他归置组。这并不会中断当前正在进行的回填或恢复，而是会使指定的 PG 尽快得到处理。如果您改变了主意或将错误的归置组设为优先处理，请使用以下命令取消优先顺序：

root # ceph pg cancel-force-recovery PG_ID1 [PG_ID2 ... ]
root # ceph pg cancel-force-backfill PG_ID1 [PG_ID2 ... ]

cancel-* 命令会删除 PG 的“force”标志，使其按默认顺序接受处理。同样，这并不会影响当前正在处理的归置组，只会影响仍在排队的归置组。完成归置组恢复或回填后，系统即会自动清除“force”标志。

如果集群丢失了一个或多个对象，而您已决定放弃搜索丢失的数据，则需要将未找到的对象标记为“lost”。

如果在查询过所有可能的位置后仍未找到这些对象，您可能需要放弃这些丢失的对象。这可能是由于几种故障同时发生（这种情况很少见）导致的，致使集群在写入本身恢复之前便得知写入已执行。

目前唯一支持的选项为“revert”，该选项会回滚到对象的先前版本，或在有新对象时完全忽略丢失的对象。要将“未找到”的对象标记为“lost”，请运行以下命令：

  cephuser@adm > ceph pg PG_ID mark_unfound_lost revert|delete

归置组 (PG) 是 Ceph 分布数据方式的详细内部实现。通过启用 PG 自动扩展功能，您可以允许集群根据集群的使用情况创建或自动调整 PG。

系统中的每个存储池都有一个 pg_autoscale_mode 属性，可将其设为 off、on 或 warn：

自动扩展器按存储池配置，可在以下三种模式下运行：

要为现有存储池设置自动扩展模式，请运行以下命令：

cephuser@adm > ceph osd pool set POOL_NAME pg_autoscale_mode mode

您也可以运行以下命令，以配置将应用于日后创建的所有存储池的默认 pg_autoscale_mode：

cephuser@adm > ceph config set global osd_pool_default_pg_autoscale_mode MODE

您可以运行以下命令来查看每个存储池、它的相关使用情况，以及对 PG 计数的任何更改建议：

cephuser@adm > ceph osd pool autoscale-status

要编辑现有的 CRUSH 索引，请执行以下操作：

提示：使用版本控制系统

请为导出并修改过的 CRUSH 索引文件使用 git 或 svn 这样的版本控制系统。这可以让可能发生的回滚变得简单。

提示：测试新 CRUSH 索引

请使用 crushtool --test 命令测试经过调整的新 CRUSH 索引，并与应用新 CRUSH 索引之前的状态进行比较。以下命令开关十分有用：--show-statistics、--show-mappings、--show-bad-mappings、--show-utilization、--show-utilization-all、--show-choose-tries

要在运行中集群的 CRUSH 索引中添加或移动 OSD，请执行以下命令：

cephuser@adm > ceph osd crush set id_or_name weight root=pool-name
bucket-type=bucket-name ...

下面的示例将 osd.0 添加到层次结构，或移动之前某个位置的 OSD。

cephuser@adm > ceph osd crush set osd.0 1.0 root=data datacenter=dc1 room=room1 \
row=foo rack=bar host=foo-bar-1

有两个相似的命令都可更改 Ceph OSD 的权重。它们的使用情境不同，可能会造成混淆。

17.5.3.1 ceph osd reweight #

 

用法：

cephuser@adm > ceph osd reweight OSD_NAME NEW_WEIGHT

ceph osd reweight 用于对 Ceph OSD 设置覆盖权重。此值介于 0 到 1 之间，会强制 CRUSH 重新放置将以其他方式存储于此驱动器上的数据。该命令不会更改为 OSD 上方的存储桶指定的权重，它是一种在正常 CRUSH 分布出现问题时的纠正措施。例如，如果您的其中一个 OSD 处于 90%，而其他 OSD 处于 40%，则您可缩小此权重，以尝试对其进行补偿。

注意：OSD 权重是暂时的

请注意，ceph osd reweight 并非永久性设置。当某个 OSD 被标记为“out”时，它的权重会被设置为 0，当它一旦重新被标记为“in”，其权重又会更改为 1。

cephuser@adm > ceph osd crush reweight OSD_NAME NEW_WEIGHT

要从运行中集群的 CRUSH 索引中删除 OSD，请执行以下命令：

cephuser@adm > ceph osd crush remove OSD_NAME

要向运行中集群的 CRUSH 索引添加某个存储桶，请执行 ceph osd crush add-bucket 命令：

cephuser@adm > ceph osd crush add-bucket BUCKET_NAME BUCKET_TYPE

要将某个存储桶移到 CRUSH 索引层次结构中的不同位置，请执行以下命令：

cephuser@adm > ceph osd crush move BUCKET_NAME BUCKET_TYPE=BUCKET_NAME [...]

例如：

cephuser@adm > ceph osd crush move bucket1 datacenter=dc1 room=room1 row=foo rack=bar host=foo-bar-1

要从 CRUSH 索引层次结构中删除某个存储桶，请执行以下命令：

cephuser@adm > ceph osd crush remove BUCKET_NAME

注意：仅限空存储桶

从 CRUSH 层次结构中只能删除空存储桶。