在集群的每个节点上安装并注册 SUSE Linux Enterprise Server 12 SP3 以及 SUSE Enterprise Storage 扩展。

列出现有的软件储存库，确认是否已安装并注册正确的产品。该列表与以下输出类似：

 root@minion > zypper lr -E
#  | Alias   | Name                              | Enabled | GPG Check | Refresh
---+---------+-----------------------------------+---------+-----------+--------
 4 | [...]   | SUSE-Enterprise-Storage-5-Pool    | Yes     | (r ) Yes  | No
 6 | [...]   | SUSE-Enterprise-Storage-5-Updates | Yes     | (r ) Yes  | Yes
 9 | [...]   | SLES12-SP3-Pool                   | Yes     | (r ) Yes  | No
11 | [...]   | SLES12-SP3-Updates                | Yes     | (r ) Yes  | Yes

在每个节点上配置网络设置，包括正确的 DNS 名称解析。Salt Master 和所有 Salt Minion 需要根据各自的主机名相互解析。有关配置网络的详细信息，请参见 https://www.suse.com/documentation/sles-12/book_sle_admin/data/sec_basicnet_yast.html。有关配置 DNS 服务器的详细信息，请参见 https://www.suse.com/documentation/sles-12/book_sle_admin/data/cha_dns.html。

配置、启用并启动 NTP 时间同步服务器：

root@master # systemctl enable ntpd.service
root@master # systemctl start ntpd.service

在 https://www.suse.com/documentation/sles-12/book_sle_admin/data/sec_netz_xntp_yast.html 中可以找到有关设置 NTP 的详细信息。

检查 AppArmor 服务是否正在运行，并在每个集群节点上禁用该服务。启动 YaST AppArmor 模块，选择设置，然后取消选择启用 Apparmor 复选框。点击完成进行确认。

请注意，在启用 AppArmor 的情况下，SUSE Enterprise Storage 将无法正常工作。

在 Salt Master 节点上安装 salt-master 和 salt-minion 包：

root@master # zypper in salt-master salt-minion

检查 salt-master 服务是否已启用并启动，并根据需要将它启用并启动：

root@master # systemctl enable salt-master.service
root@master # systemctl start salt-master.service

如果要使用防火墙，请确认 Salt Master 节点是否为所有 Salt Minion 节点打开了端口 4505 和 4506。如果这些端口处于关闭状态，可以使用 yast2 firewall 命令并通过允许 SaltStack 服务来打开这些端口。

警告：使用防火墙时 DeepSea 阶段失败

当防火墙处于活动状态（甚至只是配置了防火墙）时，DeepSea 部署阶段会失败。要正确通过该阶段，需要运行以下命令关闭防火墙

root@master # systemctl stop SuSEfirewall2.service

或在 /srv/pillar/ceph/stack/global.yml 中将 FAIL_ON_WARNING 选项设为“False”：

FAIL_ON_WARNING: False

在所有 Minion 节点上安装 salt-minion 包。

root@minion > zypper in salt-minion

请确保所有其他节点都可将每个节点的完全限定的域名解析为公共网络 IP 地址。

将所有 Minion（包括 Master Minion）配置为连接到 Master。如果无法通过主机名 salt 访问 Salt Master，请编辑文件 /etc/salt/minion，或创建包含以下内容的新文件 /etc/salt/minion.d/master.conf：

master: host_name_of_salt_master

如果对上述配置文件执行了任何更改，请在所有 Salt Minion 上重启动 Salt 服务：

root@minion > systemctl restart salt-minion.service

检查所有节点上是否已启用并启动 salt-minion 服务。根据需要启用并启动该服务：

root@minion > systemctl enable salt-minion.service
root@minion > systemctl start salt-minion.service

校验每个 Salt Minion 的指纹，如果指纹匹配，则接受 Salt Master 上的所有 Salt 密钥。

查看每个 Minion 的指纹：

root@minion > salt-call --local key.finger
local:
3f:a3:2f:3f:b4:d3:d9:24:49:ca:6b:2c:e1:6c:3f:c3:83:37:f0:aa:87:42:e8:ff...

收集到所有 Salt Minion 的指纹后，将列出 Salt Master 上所有未接受 Minion 密钥的指纹：

root@master # salt-key -F
[...]
Unaccepted Keys:
minion1:
3f:a3:2f:3f:b4:d3:d9:24:49:ca:6b:2c:e1:6c:3f:c3:83:37:f0:aa:87:42:e8:ff...

如果 Minion 的指纹匹配，则接受这些密钥：

root@master # salt-key --accept-all

校验是否已接受密钥：

root@master # salt-key --list-all

在部署 SUSE Enterprise Storage 之前，请确保以前的集群用作 OSD 的所有磁盘均为空且不包含分区。为确保这一点，您需要手动擦除所有磁盘。请记得将“X”替换为正确的盘符：

1. 停止使用特定磁盘的所有进程。

2. 确认磁盘上是否装入任何分区，并视需要进行卸载。

3. 如果磁盘由 LVM 管理，请停用整个 LVM 基础架构并将其删除。有关更多详细信息，请参见https://www.suse.com/documentation/sles-12/stor_admin/data/cha_lvm.html。

4. 如果磁盘是 MD RAID 的一部分，请停用 RAID。有关更多详细信息，请参见https://www.suse.com/documentation/sles-12/stor_admin/data/part_software_raid.html。

5. 

   提示：重引导服务器

   如果您在执行以下步骤时收到诸如“分区正在使用”或“无法使用新的分区表更新内核”之类的错误讯息，请重引导服务器。

   擦除每个分区的开头部分：

   for partition in /dev/sdX[0-9]*
   do
     dd if=/dev/zero of=$partition bs=4096 count=1 oflag=direct
   done

6. 擦除分区表：

   sgdisk -Z --clear -g /dev/sdX

7. 擦除备份分区表：

   size=`blockdev --getsz /dev/sdX`
   position=$((size/4096 - 33))
   dd if=/dev/zero of=/dev/sdX bs=4M count=33 seek=$position oflag=direct

在 Salt Master 节点上安装 DeepSea：

root@master # zypper in deepsea

检查 Salt Master 上的文件 /srv/pillar/ceph/master_minion.sls 是否指向您的 Salt Master。如果可以通过其他主机名访问您的 Salt Master，请使用存储集群适用的主机名。如果在 ses 域中使用了 Salt Master 的默认主机名 salt，则该文件如下所示：

master_minion: salt.ses

包含属于当前正在部署的 Ceph 集群的 Salt Minion。有关定位 Minion 的详细信息，请参见第 4.2.2.1 节 “匹配 Minion 名称”。

准备集群。有关更多详细信息，请参见DeepSea 阶段说明。

root@master # salt-run state.orch ceph.stage.0

或者

root@master # salt-run state.orch ceph.stage.prep

注意：使用 DeepSea CLI 运行或监视阶段

使用 DeepSea CLI，可通过在监视模式下运行 DeepSea CLI，或者直接通过 DeepSea CLI 运行阶段，来实时跟踪阶段执行进度。有关详细信息，请参见第 4.4 节 “DeepSea CLI”。

可选：为 /var/lib/ceph/ 创建 Btrfs 子卷。只能在执行 DeepSea 的后续阶段之前执行此步骤。要迁移现有目录或了解更多详细信息，请参见第 18.5 节 “/var/lib/ceph 的 Btrfs 子卷”。

root@master # salt-run state.orch ceph.migrate.subvolume

发现阶段会从所有 Minion 收集数据并创建配置分段，这些分段存储在 /srv/pillar/ceph/proposals 目录中。数据以 YAML 格式存储在 *.sls 或 *.yml 文件中。

root@master # salt-run state.orch ceph.stage.1

或者

root@master # salt-run state.orch ceph.stage.discovery

成功完成上述命令后，请在 /srv/pillar/ceph/proposals 中创建 policy.cfg 文件。有关详细信息，请参见第 4.5.1 节 “policy.cfg 文件”。

提示

如果需要更改集群的网络设置，请编辑 /srv/pillar/ceph/stack/ceph/cluster.yml，调整以 cluster_network: 和 public_network: 开头的行。

配置阶段将会分析 policy.cfg 文件，并将包含的文件合并成其最终形式。集群和角色相关的内容放置在 /srv/pillar/ceph/cluster 中，而 Ceph 特定的内容放置在 /srv/pillar/ceph/stack/default 中。

运行以下命令以触发配置阶段：

root@master # salt-run state.orch ceph.stage.2

或者

root@master # salt-run state.orch ceph.stage.configure

配置步骤可能需要花几秒时间。命令完成后，您可以通过运行以下命令，查看指定 Minion（例如，名为 ceph_minion1、ceph_minion2 等的 Minion）的pillar 数据：

root@master # salt 'ceph_minion*' pillar.items

注意：重写默认值

一旦命令完成，您便可查看默认配置并根据需要进行更改。有关详细信息，请参见第 7 章 “自定义默认配置”。

现在运行部署阶段。在此阶段，将会验证 pillar，并在存储节点上启动监视器和 OSD 守护进程。运行以下命令以启动该阶段：

root@master # salt-run state.orch ceph.stage.3

或者

root@master # salt-run state.orch ceph.stage.deploy

该命令可能需要花几分钟时间。如果该命令失败，则您需要解决问题，然后再次运行前面的阶段。该命令成功后，请运行以下命令来检查状态：

root@master # ceph -s

Ceph 集群部署过程的最后一个步骤是服务阶段。在此阶段，您要实例化当前支持的所有服务：iSCSI 网关、CephFS、对象网关、openATTIC 和 NFS Ganesha。此阶段将创建所需的存储池、授权密钥环和启动服务。要启动该阶段，请运行以下命令：

root@master # salt-run state.orch ceph.stage.4

或者

root@master # salt-run state.orch ceph.stage.services

根据具体的设置，该命令可能会运行几分钟时间。