在新节点上安装 SUSE Linux Enterprise Server 15 SP1，并配置其网络设置，使它能够正确解析 Salt Master 主机名。确认其正确连接到公共网络和集群网络，并且为其正确配置了时间同步。然后安装 salt-minion 包：

root@minion > zypper in salt-minion

如果 Salt Master 的主机名不是 salt，请编辑 /etc/salt/minion 并添加下面一行：

master: DNS_name_of_your_salt_master

如果您对上面提到的配置文件进行了任何更改，请重启动 salt.minion 服务：

root@minion > systemctl restart salt-minion.service

在 Salt Master 上接受新节点的 Salt 密钥：

root@master # salt-key --accept NEW_NODE_KEY

确认 /srv/pillar/ceph/deepsea_minions.sls 针对的是新 Salt Minion，以及/或者设置了正确的 DeepSea 粒度。有关更多详细信息，请参见第 5.2.2.1 节 “匹配 Minion 名称”或过程 5.1 “运行部署阶段”。

运行准备阶段。该阶段会同步扩展模块和粒度，以使新 Minion 可以提供 DeepSea 所需的所有信息。

root@master # salt-run state.orch ceph.stage.0

重要：可能需要重启动 DeepSea 阶段 0

如果 Salt Master 在其内核更新之后进行了重引导，则您需要重启动 DeepSea 阶段 0。

运行发现阶段。该阶段将在 /srv/pillar/ceph/proposals 目录中写入新的文件项，您可在其中编辑相关的 .yml 文件：

root@master # salt-run state.orch ceph.stage.1

（可选）如果新添加的主机与现有命名模式不匹配，请更改 /srv/pillar/ceph/proposals/policy.cfg。有关详细信息，请参见第 5.5.1 节 “policy.cfg 文件”。

运行配置阶段。该阶段会读取 /srv/pillar/ceph 下的所有内容，并相应地更新 Pillar：

root@master # salt-run state.orch ceph.stage.2

Pillar 用于存储可以使用以下命令访问的数据：

root@master # salt target pillar.items

提示：修改 OSD 的布局

如果您要修改默认的 OSD 布局并更改 DriveGroups 配置，请执行第 5.5.2 节 “DriveGroups”中所述的过程。

配置和部署阶段包含新添加的节点：

root@master # salt-run state.orch ceph.stage.3
root@master # salt-run state.orch ceph.stage.4

修改 /srv/pillar/ceph/proposals/policy.cfg，以使现有主机与新角色匹配。有关详细信息，请参见第 5.5.1 节 “policy.cfg 文件”。例如，如果您需要在 MON 节点上运行对象网关，命令行类似下方所示：

role-rgw/xx/x/example.mon-1.sls

运行阶段 2 以更新 Pillar：

root@master # salt-run state.orch ceph.stage.2

运行阶段 3 以部署核心服务，或者运行阶段 4 以部署可选服务。同时运行这两个阶段也没有问题。

编辑 Salt Master 上的 /srv/pillar/ceph/proposals/policy.cfg，删除或更新发生故障的 Monitor 节点对应的行，使它们现在指向正常工作的 Monitor 节点。例如：

[...]
# MON
#role-mon/cluster/ses-example-failed1.sls
#role-mon/cluster/ses-example-failed2.sls
role-mon/cluster/ses-example-new1.sls
role-mon/cluster/ses-example-new2.sls
[...]

运行 DeepSea 阶段 2 到 5 以应用这些更改：

root@master # deepsea stage run ceph.stage.2
root@master # deepsea stage run ceph.stage.3
root@master # deepsea stage run ceph.stage.4
root@master # deepsea stage run ceph.stage.5

例如，假设其磁盘需要更换的 OSD 的 ID 为“5”。以下命令会在 CRUSH 索引中将其标记为 destroyed，但会保留其原始 ID：

root@master # salt-run osd.replace 5

提示：osd.replace 和 osd.remove

Salt 的 osd.replace 和 osd.remove（请参见第 2.6 节 “删除 OSD”）命令作用相同，只不过 osd.replace 会在 CRUSH 索引中将 OSD 保留为“destroyed”状态，而 osd.remove 会从 CRUSH 索引中删除所有痕迹。

手动更换发生故障/升级的 OSD 驱动器。

如果您要修改默认的 OSD 布局并更改 DriveGroups 配置，请执行第 5.5.2 节 “DriveGroups”中所述的过程。

运行部署阶段 3，以部署更换的 OSD 磁盘：

root@master # salt-run state.orch ceph.stage.3

在其 OS 已损坏的节点上重新安装基本 SUSE Linux Enterprise 操作系统。在 OSD 节点上安装 salt-minion 包，删除 Salt Master 上的旧 Salt Minion 密钥，并在 Salt Master 中注册新 Salt Minion 的密钥。有关初始部署的详细信息，请参见第 5.3 节 “集群部署”。

不要运行整个阶段 0，而是运行以下部分：

root@master # salt 'osd_node' state.apply ceph.sync
root@master # salt 'osd_node' state.apply ceph.packages.common
root@master # salt 'osd_node' state.apply ceph.mines
root@master # salt 'osd_node' state.apply ceph.updates

运行 DeepSea 阶段 1 到 5：

root@master # salt-run state.orch ceph.stage.1
root@master # salt-run state.orch ceph.stage.2
root@master # salt-run state.orch ceph.stage.3
root@master # salt-run state.orch ceph.stage.4
root@master # salt-run state.orch ceph.stage.5

运行 DeepSea 阶段 0：

root@master # salt-run state.orch ceph.stage.0

重引导相关的 OSD 节点。系统将重新发现并重新使用所有 OSD 磁盘。

安装/运行 Prometheus 的节点导出程序：

root@master # salt 'RECOVERED_MINION' \
 state.apply ceph.monitoring.prometheus.exporters.node_exporter

更新 Salt 粒度：

root@master # salt 'RECOVERED_MINION' osd.retain

停止旧管理节点上的 salt-master 和 salt-minion 服务：

root@master # systemctl stop salt-master.service
root@master # systemctl stop salt-minion.service

在新管理节点上配置 Salt，以使 Salt Master 与 Salt Minions 可以通讯。有关详细信息，请参见第 5.3 节 “集群部署”。

提示：转换 Salt Minion

为便于将 Salt Minion 转换到新管理节点，请从每个 Salt Minion 中删除原来的 Salt Master 的公共密钥：

root@minion > rm /etc/salt/pki/minion/minion_master.pub
root@minion > systemctl restart salt-minion.service

确认是否已安装 deepsea 包，如果没有，则予以安装。

root@master # zypper install deepsea

更改 role-master 一行以自定义 policy.cfg 文件。有关详细信息，请参见第 5.5.1 节 “policy.cfg 文件”。

将旧管理节点上的 /srv/pillar 和 /srv/salt 目录同步到新管理节点。

提示：rsync 试运行和符号链接

如果可能，请先通过试运行试验文件同步，以确定将传输的是哪些文件（rsync 的选项 -n）。此外，请包含符号链接（rsync 的选项 -a）。使用 rsync 的同步命令将如下所示：

root@master # rsync -avn /srv/pillar/ NEW-ADMIN-HOSTNAME:/srv/pillar

如果您对 /srv/pillar 和 /srv/salt 外部的文件（例如 /etc/salt/master 或 /etc/salt/master.d）进行过自定义更改，请一并同步这些文件。

现在，您便可从新管理节点上运行 DeepSea 阶段。有关其详细说明，请参见第 5.2 节 “DeepSea 简介”。

告知 Ceph 集群不要将 OSD 标记为 out：

cephadm@adm > ceph osd set noout

按下面的顺序停止守护进程和节点：

根据需要执行维护任务。

以与关闭过程相反的顺序启动节点和服务器：

删除 noout 标志：

cephadm@adm > ceph osd unset noout