为集群添加新节点的过程与第 4 章 “使用 DeepSea/Salt 部署”中所述的初始集群节点部署过程几乎完全相同。

您可通过 DeepSea 部署所有受支持的角色类型。有关受支持角色类型的更多信息以及匹配示例，请参见第 4.5.1.2 节 “角色指定”。

提示：必需的与可选的角色和阶段

一般而言，在将新角色添加到集群节点时，建议您运行全部部署阶段 0 到 5。为了节省一些时间，可根据要部署的角色类型，跳过阶段 3 或 4。OSD 和 MON 角色包含核心服务，是 Ceph 的必要组成部分，而其他角色（例如对象网关）则是可选项。DeepSea 部署阶段是分层的：阶段 3 部署核心服务，而阶段 4 则部署可选服务。

因此，部署核心角色（例如在现有 OSD 节点上部署 MON）时需要运行阶段 3，可以跳过阶段 4。

同样，部署可选服务（例如对象网关）时可以跳过阶段 3，但需要运行阶段 4。

要将新服务添加到现有节点，请执行下列步骤：

提示

将 OSD 添加到现有集群时请注意，集群将在此后的一段时间内进行重新平衡。为了尽可能缩短重新平衡的时间，建议您同时添加所有要添加的 OSD。

要从集群中删除角色，请编辑 /srv/pillar/ceph/proposals/policy.cfg 并删除相应的行。然后按第 4.3 节 “集群部署”中所述运行阶段 2 和 5。

注意：从集群中删除 OSD

如果您需要从集群中删除特定 OSD 节点，请确保集群的可用磁盘空间多于要删除的磁盘空间。切记，删除 OSD 会导致整个集群进行重新平衡。

从 Minion 中删除角色时，其目的是撤销与该角色相关的所有更改。对于大部分角色，要实现该任务都很简单，但可能会存在包依赖项问题。如果包被卸装，其依赖项并不会被卸装。

删除的 OSD 会显示为空白驱动器。相关任务除了会擦除分区表外，还会覆盖文件系统的开头并删除备份分区。

注意：保留通过其他方法创建的分区

先前通过其他方法（例如 ceph-deploy）配置的磁盘驱动器可能仍然包含分区。DeepSea 不会自动销毁这些分区。管理员必须回收这些驱动器。

[...]
# Hardware Profile
profile-default/cluster/data*.sls
profile-default/stack/default/ceph/minions/data*.yml
[...]

[...]
# Hardware Profile
profile-default/cluster/data[1,3-6]*.sls
profile-default/stack/default/ceph/minions/data[1,3-6]*.yml
[...]

root@master # salt-run state.orch ceph.stage.2
root@master # salt-run state.orch ceph.stage.5

# Hardware Profile
profile-default/cluster/data[1-7]*.sls
profile-default/stack/default/ceph/minions/data[1-7]*.sls

# Roles
role-rgw/cluster/data8*.sls

# Hardware Profile
profile-default/cluster/data[1-8]*.sls
profile-default/stack/default/ceph/minions/data[1-8]*.sls

# Roles
role-rgw/cluster/rgw1*.sls

一个或多个监视器节点发生故障且不响应时，您需要将发生故障的监视器从集群中删除，然后再添加回集群（如有需要）。

重要：至少须有三个监视器节点

监视器节点的数量不能少于 3。如果某个监视器节点发生故障，导致您的集群中只有一个或两个监视器节点，您需要临时将监视器角色指定给其他集群节点，然后再重新部署发生故障的监视器节点。重新部署发生故障的监视器节点后，便可以卸装临时监视器角色。

有关向 Ceph 集群添加新节点/角色的详细信息，请参见第 1.1 节 “添加新的集群节点”和第 1.2 节 “为节点添加新的角色”。

有关删除集群节点的详细信息，请参见第 1.3 节 “删除和重新安装集群节点”。

Ceph 节点故障分为以下两种基本程度：

要向现有 OSD 节点添加磁盘，请校验是否已删除并擦除磁盘上的所有分区。有关详细信息，请参见第 4.3 节 “集群部署”中的步骤 13。磁盘变为空磁盘后，将磁盘添加到节点的 YAML 文件。该文件的路径是 /srv/pillar/ceph/proposals/profile-default/stack/default/ceph/minions/node_name.yml。保存文件后，运行 DeepSea 阶段 2 和 3：

root@master # deepsea stage run ceph.stage.2
root@master # deepsea stage run ceph.stage.3

提示：自动更新的配置

您无需手动编辑 YAML 文件，DeepSea 可创建新的配置。要让 DeepSea 创建新的配置，需要移走现有的配置：

root@master # old /srv/pillar/ceph/proposals/profile-default/
root@master # deepsea stage run ceph.stage.1
root@master # deepsea stage run ceph.stage.2
root@master # deepsea stage run ceph.stage.3

您可以通过运行以下命令从集群中删除 Ceph OSD：

root@master # salt-run disengage.safety
root@master # salt-run remove.osd OSD_ID

OSD_ID 需为 OSD 的编号，不含 osd 一词。例如，对于 osd.3，仅使用数字 3。

提示：删除多个 OSD

使用 salt-run remove.osd 命令无法同时删除多个 OSD。要自动删除多个 OSD，您可以使用以下循环（5、21、33、19 是要删除的 OSD 的 ID 号）：

for i in 5 21 33 19
do
 echo $i
 salt-run disengage.safety
 salt-run remove.osd $i
done

root@master # target osd.remove OSD_ID force=True

如果您的某个 OSD 节点上的操作系统损坏且无法恢复，请执行以下步骤恢复该节点，并在集群数据保持不变的情况下重新部署该节点的 OSD 角色：

通过使用 Salt 反应器可让安装自动进行。对于虚拟环境或一致的硬件环境，此配置将允许创建具有指定行为的 Ceph 集群。

警告

Salt 无法根据反应器事件执行依赖项检查。存在可能使 Salt Master 过载而无法响应的风险。

自动安装需要：

默认反应器配置只会运行阶段 0 和 1。如此不必等待后续阶段完成即可测试反应器。

第一个 salt-minion 启动时，阶段 0 即会开始。使用锁定可阻止多个实例。所有 Minion 都完成阶段 0 后，阶段 1 将会开始。

如果该操作正确执行，请将 /etc/salt/master.d/reactor.conf 中的最后一行：

- /srv/salt/ceph/reactor/discovery.sls

更改为

- /srv/salt/ceph/reactor/all_stages.sls

最好定期对您的集群节点应用滚动更新。要应用更新，请运行阶段 0：

root@master # salt-run state.orch ceph.stage.0

如果 DeepSea 检测到正在运行的 Ceph 集群，它会按顺序应用更新并重启动节点。DeepSea 会遵照 Ceph 的官方建议，先更新监视器，然后更新 OSD，最后更新其他服务，例如 MDS、对象网关、iSCSI 网关或 NFS Ganesha。如果 DeepSea 检测到集群中存在问题，会停止更新过程。触发问题的因素可能是：

如此安排可确保即使更新损坏或失败，Ceph 集群仍可以运作。

DeepSea 阶段 0 通过 zypper update 更新系统，并重引导系统（如果更新了内核）。如果您想避免发生将所有可能的节点强制重引导的情况，请在启动 DeepSea 阶段 0 之前，确保最新的内核已安装且正在运行。

提示：zypper patch

如果您更想使用 zypper patch 命令来更新系统，请编辑 /srv/pillar/ceph/stack/global.yml，添加下面一行：

update_method_init: zypper-patch

您可以通过将下面几行添加到 /srv/pillar/ceph/stack/global.yml，更改 DeepSea 阶段 0 的默认重引导行为：

stage_prep_master: default-update-no-reboot
stage_prep_minion: default-update-no-reboot

stage_prep_master 用于设置 Salt Master 的阶段 0 行为，stage_prep_minion 用于设置所有 Minion 的行为。所有可用的参数如下：

在某些情况下，可能需要停止或重引导整个集群。建议您仔细检查运行中服务的依赖项。下列步骤概要说明如何停止和启动集群：

如果您需要将自定义设置放入 ceph.conf 文件中，可通过修改 /srv/salt/ceph/configuration/files/ceph.conf.d 目录中的配置文件来实现：

注意：唯一的 rgw.conf

与 ceph.conf 的其他段落相比，对象网关具有很强的灵活性，并且是唯一的。所有其他 Ceph 组件都包含静态标题，例如 [mon] 或 [osd]。对象网关的标题是唯一的，例如 [client.rgw.rgw1]。也就是说，rgw.conf 文件需要有标题项。请参见 /srv/salt/ceph/configuration/files/rgw.conf 查看示例。

重要：运行阶段 3

对上述配置文件进行自定义更改之后，运行阶段 3 以将这些更改应用到集群节点：

root@master # salt-run state.orch ceph.stage.3

这些文件通过 /srv/salt/ceph/configuration/files/ceph.conf.j2 模板文件加入，与 Ceph 配置文件接受的不同段落相对应。将配置片段放入正确的文件，可让 DeepSea 将其放入正确的段落。您不需要添加任何段落标题。

提示

要将任何配置选项仅应用于守护进程的特定实例，请添加标题，例如 [osd.1]。以下配置选项将只应用于 ID 为 1 的 OSD 守护进程。

auth cluster required = none
auth service required = none
auth client required = none

1.11.2 包括配置文件 #

如果您需要应用许多自定义配置，请在自定义配置文件中使用以下 include 语句来让文件管理更轻松。下面是 osd.conf 文件的示例：

[osd.1]
{% include "ceph/configuration/files/ceph.conf.d/osd1.conf" ignore missing %}
[osd.2]
{% include "ceph/configuration/files/ceph.conf.d/osd2.conf" ignore missing %}
[osd.3]
{% include "ceph/configuration/files/ceph.conf.d/osd3.conf" ignore missing %}
[osd.4]
{% include "ceph/configuration/files/ceph.conf.d/osd4.conf" ignore missing %}

在前面的示例中，osd1.conf、osd2.conf、osd3.conf 和 osd4.conf 文件包含特定于相关 OSD 的配置选项。

提示：运行时配置

对 Ceph 配置文件所做的更改将在相关 Ceph 守护进程重启动之后生效。有关更改 Ceph 运行时配置的详细信息，请参见第 1.12 节 “运行时 Ceph 配置”。

第 1.11 节 “自定义 ceph.conf 文件”介绍如何更改 Ceph 配置文件 ceph.conf。但是，实际的集群行为并不是由 ceph.conf 文件的当前状态决定，而是由正在运行的 Ceph 守护进程的配置（存储在内存中）决定。

要查询单个 Ceph 守护进程以了解特定的配置设置，您可以在运行守护进程的节点上使用 admin socket。例如，以下命令可从名为 osd.0 的守护进程获取 osd_max_write_size 配置参数的值：

root # ceph --admin-daemon /var/run/ceph/ceph-osd.0.asok \
config get osd_max_write_size
{
  "osd_max_write_size": "90"
}

您还可以在运行时更改守护进程的设置。请注意，此更改是暂时的，守护进程下次重启动时，更改将会丢失。例如，以下命令可针对集群中的所有 OSD 将 osd_max_write_size 参数更改为“50”：

root # ceph tell osd.* injectargs --osd_max_write_size 50

警告：injectargs 并非百分百可靠

有时，使用 injectargs 命令可能无法成功更改集群设置。如果您需要确保启用更改的参数，请在配置文件中进行更改并重启动集群中的所有守护进程。