要登录 Ceph Dashboard，请将浏览器指向其 URL，包括端口号。运行以下命令可查找地址：

cephuser@adm > ceph mgr services | grep dashboard
"dashboard": "https://host:port/",

该命令将返回 Ceph Dashboard 所在的 URL。如果您有与此命令相关的问题，请参见Book “Troubleshooting Guide”, Chapter 10 “Troubleshooting the Ceph Dashboard”, Section 10.1 “Locating the Ceph Dashboard”。

图 2.1︰ Ceph Dashboard 登录屏幕 #

 

使用您在集群部署期间创建的身份凭证登录（参见Book “部署指南”, Chapter 7 “使用 ceph-salt 部署引导集群”, Section 7.2.9 “配置 Ceph Dashboard 登录身份凭证”）。

提示：自定义用户帐户

如果您不想使用默认的 admin 帐户访问 Ceph Dashboard，请创建拥有管理员权限的自定义用户帐户。有关更多详细信息，请参见第 11 章 “在命令行上管理用户和角色”。

重要

一旦可以升级到新的 Ceph 主要版本（代码名称：Pacific），Ceph Dashboard 就会在顶部通知区域显示相关消息。要执行升级，请按照Book “部署指南”, Chapter 11 “从 SUSE Enterprise Storage 7 升级到版本 7.1”中的说明操作。

图 2.2︰ 关于新 SUSE Enterprise Storage 版本的通知 #

 

仪表盘用户界面以图形方式分为几个区块：屏幕右上方的实用程序菜单，左侧的主菜单以及主要的内容窗格。

图 2.3︰ Ceph Dashboard 首页 #

 

实用程序菜单位于屏幕右上方。该菜单包含与仪表盘更为相关（相较于 Ceph 集群）的常规任务。点击相应选项可以访问以下主题：

仪表盘的主菜单位于屏幕左侧。它涵盖下列主题：

内容窗格占据仪表盘屏幕的主要部分。仪表盘首页上显示了很多有用的控件，为您提供集群当前状态、容量及性能的概要信息。

在 Ceph Dashboard 中，您经常会用到列表 — 例如，存储池列表、OSD 节点列表或 RBD 设备列表。所有列表默认每五秒会自动刷新一次。下列常用控件可帮助您管理或调整这些列表：

点击 可手动触发列表的刷新。

点击 可显示或隐藏表格的相应列。

点击 并输入（或选择）要在一页上显示的行数。

在 中点击并键入要搜索的字符串可过滤行。

使用 可在列表跨多页显示时更改当前显示的页。

每个仪表盘控件显示与运行中 Ceph 集群特定方面相关的特定状态信息。有些控件是活跃链接，点击它们会将您重定向到其所代表主题的相关详细页面。

提示：鼠标悬停时显示更多详细信息

有些图形控件会在您将鼠标移到其上时显示更多详细信息。

2.6.1 状态控件 #

 

状态控件为您提供有关集群当前状态的简要概览。

图 2.4︰ 状态控件 #

 

集群状态

显示有关集群健康状况的基本信息。

主机

显示集群节点的总数。

Monitor

显示运行中 Monitor 数量及其仲裁。

OSD

显示 OSD 的总数及处于 up 和 in 状态的 OSD 数量。

Manager

显示处于活跃和待机状态的 Ceph Manager 守护进程的数量。

对象网关

显示运行中对象网关的数量。

元数据服务器

显示元数据服务器的数量。

iSCSI 网关

显示配置的 iSCSI 网关的数量。

2.6.2 容量控件 #

 

容量控件显示有关存储容量的简要信息。

图 2.5︰ 容量控件 #

 

基本容量

显示已用与可用基本存储容量的比例。

对象

显示集群中存储的数据对象数量。

PG 状态

显示按照状态分组的归置组图表。

存储池

显示集群中存储池的数量。

每个 OSD 的 PG 数

显示每个 OSD 的平均归置组数量。

2.6.3 性能控件 #

 

性能控件提供 Ceph 客户端的基本性能数据。

图 2.6︰ 性能控件 #

 

客户端读/写

每秒客户端读写操作次数。

客户端吞吐量

每秒与 Ceph 客户端之间传输的数据量（以字节为单位）。

恢复吞吐量

每秒恢复的数据吞吐量。

洗刷

显示洗刷（参见第 17.4.9 节 “洗刷归置组”）状态。其状态可以是非活跃、已启用或活跃。

点击实用程序菜单中的 ，然后选择用户管理。

该列表包含每个用户的用户名、全名、电子邮件、已指定角色的列表、角色是否启用以及密码超期日期。

图 3.1︰ 用户管理 #

 

点击表标题左上方的创建可添加新用户。输入其用户名、密码、全名（可选）和电子邮件。

图 3.2︰ 添加用户 #

 

点击铅笔小图标可为用户指定预定义角色。点击创建用户进行确认。

点击表中某个用户对应的行以高亮显示选择。选择编辑，即可编辑该用户的详细信息。点击编辑用户进行确认。

点击表中某个用户对应的行以高亮显示选择。选择编辑旁的下拉框，然后从列表中选择删除，即可删除用户帐户。激活是的，我确定复选框，然后点击删除用户进行确认。

点击实用程序菜单中的 ，然后选择用户管理。然后点击角色选项卡。

该列表包含每个角色的名称、描述及其是否属于系统角色。

图 3.3︰ 用户角色 #

 

点击表标题左上方的创建可添加新的自定义角色。输入名称和描述，然后在权限旁选择适当的权限。

提示：清除自定义角色

如果您创建了自定义用户角色，并打算以后使用 ceph-salt purge 命令删除 Ceph 集群，则需要先清除自定义角色。有关详细信息，请参见第 13.9 节 “删除整个 Ceph 集群”。

图 3.4︰ 添加角色 #

 

提示：多项目激活

通过激活主题名称前的复选框，您可以激活针对该主题的所有权限。通过激活全选复选框，您可以激活针对所有主题的所有权限。

点击创建角色进行确认。

点击表中某个自定义角色对应的行以高亮显示选择。选择表标题左上方的编辑，即可编辑自定义角色的描述和权限。点击编辑角色进行确认。

点击表中某个角色对应的行以高亮显示所选项。选择编辑旁的下拉按钮，然后从列表中选择删除可删除角色。激活是的，我确定复选框，然后点击删除角色进行确认。

点击集群 › 主机可查看集群节点列表。

图 4.1︰ 主机 #

 

点击主机名列中某个节点名称旁的下拉箭头可查看节点的性能详细信息。

服务列中会列出每个相关节点上正在运行的所有守护进程。点击守护进程名称可查看其详细配置。

点击集群 › 库存可查看设备列表。该列表包含设备路径、类型、可用性、供应商、型号、大小和 OSD。

点击以在主机名列中选择节点名称。选择后，点击标识以标识正在运行主机的设备。这会让相应设备上的 LED 闪烁。选择此操作的时长（介于 1、2、5、10 或 15 分钟之间）。点击执行。

图 4.2︰ 服务 #

 

点击集群 › Monitor 可查看具有正在运行的 Ceph Monitor 的集群节点列表。内容窗格分为两个视图：状态和仲裁成员或非仲裁成员。

状态表显示有关运行中 Ceph Monitor 的一般统计数据，包括以下项目：

仲裁成员和非仲裁成员窗格包含每个 Monitor 的名称、排位号、公用 IP 地址和活动会话数。

点击名称列中的节点名称可查看相关的 Ceph Monitor 配置。

图 4.3︰ Ceph Monitor #

 

点击集群 › 服务可查看每个可用服务的详细信息：crash、Ceph Manager 和 Ceph Monitor。该列表包含容器映像名称、容器映像 ID、正在运行项目的状态、大小以及上次刷新时间。

点击服务列中某个服务名称旁的下拉箭头可查看守护进程的详细信息。详细信息列表包含主机名、守护进程类型、守护进程 ID、容器 ID、容器映像名称、容器映像 ID、版本号、状态以及上次刷新时间。

图 4.4︰ 服务 #

 

点击集群 › OSD 可查看具有正在运行的 OSD 守护进程的节点列表。该列表包含每个节点的名称、ID、状态、设备类型、归置组数量、大小、使用率、不同时间的读/写图表和每秒读/写操作次数。

图 4.5︰ Ceph OSD #

 

从表标题中的集群范围的配置下拉菜单中选择标志，可打开一个弹出窗口。此窗口包含适用于整个集群的标志列表。您可以激活或停用单个标志，然后点击提交进行确认。

图 4.6︰ OSD 标志 #

 

从表标题中的集群范围的配置下拉菜单中选择恢复优先级，可打开一个弹出窗口。此窗口包含适用于整个集群的 OSD 恢复优先级列表。您可以激活首选的优先级配置，并对下面的各个值进行微调。点击提交进行确认。

图 4.7︰ OSD 恢复优先级 #

 

点击主机列中某个节点名称旁的下拉箭头可查看扩展表，其中包含有关设备设置和性能的详细信息。您可以在数个选项卡之间切换，查看属性、元数据、设备健康状况、性能计数器各列表、读写操作次数的图形直方图，以及性能详细信息。

图 4.8︰ OSD 详细信息 #

 

提示：在 OSD 上执行特定任务

点击某个 OSD 节点名称后，将高亮显示表中的对应行。这意味着现在您可以在该节点上执行任务。您可以选择执行以下任何操作：编辑、创建、洗刷、深层洗刷、重设权重、标记为除名、标记为加入、标记为停用、标记为丢失、清除、销毁或删除。

点击表标题左上方创建按钮旁的向下箭头，然后选择要执行的任务。

点击集群 › 配置可查看 Ceph 集群配置选项的完整列表。该列表包含选项的名称、其简短描述、当前值和默认值以及选项是否可编辑。

图 4.14︰ 集群配置 #

 

点击名称列中某个配置选项旁的下拉箭头可查看扩展表，其中包含有关该选项的详细信息，例如其值类型、允许的最小值和最大值、是否可以在运行时更新等。

高亮显示特定选项后，您可以通过点击表标题左上方的编辑按钮来编辑它的值。点击保存确认更改。

点击集群 › CRUSH 索引可查看集群的 CRUSH 索引。有关 CRUSH 索引的更多一般信息，请参见第 17.5 节 “CRUSH 索引操作”。

点击根、节点或单个 OSD 可查看更多详细信息，例如 CRUSH 权重、索引树的深度、OSD 的设备类型等等。

图 4.15︰ CRUSH 索引 #

 

点击集群 › Manager 扩展模块可查看可用 Ceph Manager 扩展模块的列表。每行包含扩展模块名称以及该扩展模块当前启用与否的信息。

图 4.16︰ Manager 模块 #

 

点击名称列中某个模块旁的下拉箭头，可在下面的详细信息表中查看包含详细设置的扩展表。点击表标题左上方的编辑按钮可进行编辑。点击更新确认更改。

点击表标题左上方编辑按钮旁的下拉箭头可启用或禁用模块。

点击集群 › 日志可查看集群最近日志项的列表。每行包含一个时戳、日志项的类型及自身所记录的消息。

点击审计日志选项卡可查看审计子系统的日志项。有关启用或禁用审计的命令，请参见第 11.5 节 “审计 API 请求”。

图 4.17︰ 日志 #

 

点击集群 › 监控可管理和查看有关 Prometheus 告警的详细信息。

如果您启用了 Prometheus，则在此内容窗格中，您可以查看有关活动告警、所有告警或静默的详细信息。

注意

如果您未部署 Prometheus，则会显示一个信息标题以及转到相关文档的链接。

要添加新存储池，请点击存储池表左上方的创建。在存储池表单中，您可以输入存储池的名称、类型、其应用、压缩模式和配额（包括字节数上限和对象数量上限）。存储池表单会自行预先计算最适合此特定存储池的归置组数量。计算以集群中的 OSD 数量和选定存储池类型及其特定设置为依据。如果手动设置了归置组数量，计算出的数量会替换设置的数量。点击创建存储池进行确认。

图 5.2︰ 添加新存储池 #

 

要删除存储池，请选择并高亮显示表中该存储池对应的行。点击创建按钮旁的下拉箭头，然后点击删除。

要编辑存储池选项，请选择表中该存储池对应的行，然后点击存储池表左上方的编辑。

您可以更改存储池的名称、增加归置组的数量、更改存储池的应用列表和压缩设置。点击编辑存储池进行确认。

要查看某个设备的更多详细信息，请点击表中对应的行：

图 6.2︰ RBD 详细信息 #

 

要查看某个设备的详细配置，请点击表中对应的行，然后点击下方表中的配置选项卡：

图 6.3︰ RBD 配置 #

 

要添加新设备，请点击表标题左上方的创建，然后在创建 RBD 屏幕上执行以下操作：

图 6.4︰ 添加新的 RBD #

 

要删除设备，请选择表中该设备对应的行。点击创建按钮旁的下拉箭头，然后点击删除。点击删除 RBD 确认删除。

提示：将 RBD 移至回收站

删除 RBD 的操作无法撤消。如果您选择将设备移至回收站，那么稍后还可以将其恢复，只需在主表的回收站选项卡上选择该设备，然后点击表标题左上方的恢复。

要创建 RADOS 块设备快照，请选择表中该设备对应的行，将会显示详细的配置内容窗格。选择快照选项卡，然后点击表标题左上方的创建。输入快照的名称，然后点击创建 RBD 快照进行确认。

选择快照后，您可以在设备上执行其他操作，例如重命名、保护、克隆、复制或删除。回滚可根据当前快照恢复设备的状态。

图 6.5︰ RBD 快照 #

 

RADOS 块设备映像可以在两个 Ceph 集群之间异步镜像。您可以使用 Ceph Dashboard 在两个或更多集群之间配置 RBD 映像复制。此功能有两种模式：

镜像是基于对等集群中的每个存储池进行配置的，可以对存储池中的特定映像子集进行配置，也可以配置为在仅使用基于日志的镜像时自动镜像存储池中的所有映像。

镜像是使用 rbd 命令配置的，SUSE Enterprise Storage 7.1 中默认会安装该工具。rbd-mirror 守护进程负责从 remote 对等集群提取映像更新，并将它们应用于 local 集群中的映像。有关启用 第 6.6.2 节 “启用 rbd-mirror 守护进程” 守护进程的详细信息，请参见rbd-mirror。

根据复制需求，RBD 块设备镜像可以配置为单向或双向复制：

重要

rbd-mirror 守护进程的每个实例都必须能够同时连接到本地和远程 Ceph 集群，例如所有 Monitor 和 OSD 主机。此外，网络必须在两个数据中心之间有足够的带宽来处理镜像工作负载。

提示：一般信息

有关 RADOS 块设备镜像的一般信息和命令行方法，请参见第 20.4 节 “RBD 映像镜像”。

6.6.1 配置主集群和次集群 #

 

主集群是用于创建包含映像的原始存储池的集群。次集群是用于从主集群复制存储池或映像的集群。

注意：相对命名

在复制上下文中，主与次这两个术语有可能是相对的，因为相较于集群来说，它们与单个存储池更为相关。例如，在双向复制中，可将一个存储池从主集群镜像到次集群，与此同时，也可以将另一个存储池从次集群镜像到主集群。

cephuser@adm > rbd mirror pool disable POOL_NAME

cephuser@adm > rbd mirror pool peer bootstrap create [--site-name local-site-name] pool-name

cephuser@adm > rbd --cluster primary mirror pool peer bootstrap create --site-name primary
  image-pool eyJmc2lkIjoiOWY1MjgyZGItYjg5OS00NTk2LTgwOTgtMzIwYzFmYzM5NmYzIiwiY2xpZW50X2lkIjoicmJkL \
  W1pcnJvci1wZWVyIiwia2V5IjoiQVFBUnczOWQwdkhvQmhBQVlMM1I4RmR5dHNJQU50bkFTZ0lOTVE9PSIsIm1vbl9ob3N0I \
  joiW3YyOjE5Mi4xNjguMS4zOjY4MjAsdjE6MTkyLjE2OC4xLjM6NjgyMV0ifQ==

cephuser@adm > rbd mirror pool peer bootstrap import [--site-name local-site-name] \
[--direction rx-only or rx-tx] pool-name token-path

cephuser@adm > cat >>EOF < token
eyJmc2lkIjoiOWY1MjgyZGItYjg5OS00NTk2LTgwOTgtMzIwYzFmYzM5NmYzIiwiY2xpZW50X2lkIjoicmJkLW1pcn \
Jvci1wZWVyIiwia2V5IjoiQVFBUnczOWQwdkhvQmhBQVlMM1I4RmR5dHNJQU50bkFTZ0lOTVE9PSIsIm1vbl9ob3N0I \
joiW3YyOjE5Mi4xNjguMS4zOjY4MjAsdjE6MTkyLjE2OC4xLjM6NjgyMV0ifQ==
EOF
cephuser@adm > rbd --cluster secondary mirror pool peer bootstrap import --site-name secondary image-pool token

cephuser@adm > rbd mirror pool peer remove pool-name peer-uuid

提示：iSCSI 网关的更多信息

有关 iSCSI 网关的更多一般信息，请参见第 22 章 “Ceph iSCSI 网关”。

要列出所有可用网关和映射的映像，请点击主菜单中的块设备 › iSCSI。概述选项卡即会打开，列出当前配置的 iSCSI 网关和映射的 RBD 映像。

网关表列出每个网关的状态、iSCSI 目标数量及会话数量。映像表列出每个映射的映像的名称、相关存储池名称、后备存储类型及其他统计数据详细信息。

目标选项卡列出当前配置的 iSCSI 目标。

图 6.14︰ iSCSI 目标列表 #

 

要查看有关目标的更多详细信息，请点击表中该目标对应行上的下拉箭头。一个树状结构纲要即会打开，列出磁盘、端口、发起程序和组。点击某一项可将其展开并查看详细内容，右侧的表中也可能会显示其相关配置。

图 6.15︰ iSCSI 目标详细信息 #

 

6.7.1 添加 iSCSI 目标 #

 

要添加新的 iSCSI 目标，请点击目标表左上方的创建，并输入所需信息。

图 6.16︰ 添加新目标 #

 

1. 输入新网关的目标地址。

2. 点击添加端口并从列表中选择一个或多个 iSCSI 门户。

3. 点击添加映像并为网关选择一个或多个 RBD 映像。

4. 如果您需要使用身份验证才能访问网关，请激活 ACL 身份验证复选框并输入身份凭证。选中相互身份验证和发现身份验证之后，您可看到更多高级身份验证选项。

5. 点击创建目标进行确认。

提示：详细信息

有关 RBD QoS 配置选项的更多一般信息和说明，请参见第 20.6 节 “QoS 设置”。

QoS 选项可在不同级别配置。

全局配置位于列表顶部，将用于所有新创建的 RBD 映像，以及不会覆盖存储池或 RBD 映像层级相应值的映像。全局指定的选项值可能会被基于每个存储池或映像设置的值覆盖。针对某个存储池指定的选项将应用到该存储池的所有 RBD 映像，除非被针对某个映像设置的配置选项所覆盖。对映像指定的选项将覆盖对存储池指定的选项以及全局指定的选项。

因此可以如此操作：全局定义默认值，对默认值进行调整以适合特定存储池的所有 RBD 映像，然后覆盖单个 RBD 映像的存储池配置。

6.8.2 针对新存储池配置选项 #

 

要创建新存储池并对其配置 RBD 配置选项，请点击存储池 › 创建。选择副本作为存储池类型。然后，您需要为存储池添加 rbd 应用标记，这样才能配置 RBD QoS 选项。

注意

对于纠删码存储池是无法配置 RBD QoS 配置选项的。要为纠删码存储池配置 RBD QoS 选项，您需要编辑 RBD 映像的副本元数据池。该配置随后将应用于该映像的纠删码数据池。

6.8.3 针对现有存储池配置选项 #

 

要对某个现有存储池配置 RBD QoS 选项，请点击存储池，然后点击表中该存储池对应的行，并选择表左上方的编辑。

对话框中应该就会显示 RBD 配置部分，下面是服务质量 (QoS) 部分。

注意

如果 RBD 配置和服务质量 (QoS) 部分均未显示，则可能是因为您正在编辑无法用于设置 RBD 配置选项的纠删码池，或该存储池未配置为供 RBD 映像使用。在下一个案例中，将为存储池指定 rbd 应用标记，相应的配置部分将会显示。

要添加新的 NFS 导出项，请点击导出项表格左上方的创建并输入所需的信息。

图 7.3︰ 添加新的 NFS 导出项 #

 

要删除导出项，请选择并高亮显示表中该导出项对应的行。点击编辑按钮旁的下拉箭头，然后选择删除。激活是的，我确定复选框，然后点击删除 NFS 导出项进行确认。

要编辑现有导出项，请选择并高亮显示表中该导出项对应的行，然后点击导出项表格左上方的编辑。

然后，您便可以调整 NFS 导出项的所有详细信息。

图 7.4︰ 编辑 NFS 导出项 #

 

在主菜单中点击文件系统可查看配置的文件系统的概览。主表会显示每个文件系统的名称、创建日期，以及文件系统是否启用。

点击表中某个文件系统对应的行，可查看其排位以及添加到其中的存储池的详细信息。

图 8.1︰ CephFS 详细信息 #

 

您可在屏幕底部查看实时收集的相关 MDS Inode 及客户端请求数量统计数字。

图 8.2︰ CephFS 详细信息 #

 

要查看配置的对象网关列表，请点击对象网关 › 守护进程。该列表包含网关的 ID、运行网关守护进程的集群节点的主机名以及网关的版本号。

点击网关名称旁的下拉箭头可查看有关该网关的详细信息。性能计数器选项卡显示有关读/写操作及缓存统计数据的详细信息。

图 9.1︰ 网关的详细信息 #

 

点击对象网关 › 用户可查看现有对象网关用户的列表。

点击用户名旁的下拉箭头可查看有关用户帐户的详细信息，例如状态信息或用户和存储桶配额详细信息。

图 9.2︰ 网关用户 #

 

9.2.1 添加新网关用户 #

 

要添加新网关用户，请点击表标题左上方的创建。填写其身份凭证、有关 S3 密钥及用户和存储桶配额的详细信息，然后点击创建用户进行确认。

图 9.3︰ 添加新网关用户 #

 

对象网关 (OGW) 存储桶实现了 OpenStack Swift 容器的功能。对象网关存储桶可充当存储数据对象的容器。

点击对象网关 › 存储桶可查看对象网关存储桶列表。

9.3.1 添加新的存储桶 #

 

要添加新的对象网关存储桶，请点击表标题左上方的创建。输入存储桶的名称，选择所有者，并设置归置目标。点击创建存储桶进行确认。

注意

您也可以在此阶段通过选择已启用来启用锁定；但此功能在存储桶创建之后亦可配置。有关更多信息，请参见第 9.3.3 节 “编辑存储桶”。

9.3.2 查看存储桶详细信息 #

 

要查看有关对象网关存储桶的详细信息，请点击存储桶名称旁的下拉箭头。

图 9.4︰ 网关存储桶详细信息 #

 

提示：存储桶配额

您可以在详细信息表下方查看有关存储桶配额和锁定设置的详细信息。

9.3.3 编辑存储桶 #

 

选择并高亮显示存储桶，然后点击表标题左上方的编辑。

您可以更新存储桶的所有者，或者启用版本控制、多重身份验证或锁定功能。点击编辑存储桶确认任何更改。

图 9.5︰ 编辑存储桶详细信息 #

 

所有连至仪表盘的 HTTP 连接默认都使用 TLS/SSL 来保障安全。安全连接需要 SSL 证书。您可以使用自我签名证书，也可以生成证书并让知名证书颁发机构 (CA) 对其签名。

提示：禁用 SSL

您可能会出于某种原因需要禁用 SSL 支持。例如，如果仪表盘是在不支持 SSL 的代理之后运行。

禁用 SSL 要慎重，因为禁用 SSL 后，用户名和密码将以未加密的形式发送到仪表盘。

要禁用 SSL，请运行以下命令：

cephuser@adm > ceph config set mgr mgr/dashboard/ssl false

提示：重启动 Ceph Manager 进程

更改 SSL 证书和密钥后，您需要手动重启动 Ceph Manager 进程。您可以通过运行以下命令

cephuser@adm > ceph mgr fail ACTIVE-MANAGER-NAME

或禁用后再重新启用仪表盘扩展模块的方式来执行此操作，如此还会触发 Manager 的自我重新生成：

cephuser@adm > ceph mgr module disable dashboard
cephuser@adm > ceph mgr module enable dashboard

10.1.1 创建自我签名证书 #

 

为了安全通讯而创建自我签名证书的过程非常简单。采用这种方式可迅速让仪表盘运行起来。

注意：Web 浏览器控诉

大多数 Web 浏览器都将对自我签名证书发起控诉，并需要在建立与仪表盘的安全连接前进行明确确认。

要生成并安装自我签名证书，请使用以下内置命令：

cephuser@adm > ceph dashboard create-self-signed-cert

10.1.2 使用 CA 签名的证书 #

 

为了正确保障连至仪表盘的连接安全，以及消除 Web 浏览器对自我签名证书的控诉，我们建议使用 CA 签名的证书。

您可以使用如下命令生成证书密钥对：

# openssl req -new -nodes -x509 \
  -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650 \
  -keyout dashboard.key -out dashboard.crt -extensions v3_ca

以上命令会输出 dashboard.key 和 dashboard.crt 文件。获得 CA 签名的 dashboard.crt 文件后，请运行以下命令为所有 Ceph Manager 实例启用该证书：

cephuser@adm > ceph dashboard set-ssl-certificate -i dashboard.crt
cephuser@adm > ceph dashboard set-ssl-certificate-key -i dashboard.key

提示：每个 Manager 实例使用不同的证书

如果您需要为每个 Ceph Manager 实例使用不同的证书，请按如下所示修改命令，在其中指定实例的名称。将 NAME 替换为 Ceph Manager 实例的名称（通常是相关的主机名）：

cephuser@adm > ceph dashboard set-ssl-certificate NAME -i dashboard.crt
cephuser@adm > ceph dashboard set-ssl-certificate-key NAME -i dashboard.key

Ceph Dashboard 与特定 TCP/IP 地址和 TCP 端口绑定。默认情况下，托管仪表盘的当前活跃 Ceph Manager 会与 TCP 端口 8443 绑定（如果禁用 SSL，则与 8080 端口绑定）。

注意

如果在运行 Ceph Manager（以及 Ceph Dashboard）的主机上启用了防火墙，则您可能需要更改配置以启用对这些端口的访问。有关 Ceph 防火墙设置的详细信息，请参见Book “Troubleshooting Guide”, Chapter 13 “Hints and tips”, Section 13.7 “Firewall settings for Ceph”。

Ceph Dashboard 默认与“::”绑定，该符号表示所有可用的 IPv4 和 IPv6 地址。您可以使用以下命令更改 Web 应用的 IP 地址和端口号，以使它们适用于所有 Ceph Manager 实例：

cephuser@adm > ceph config set mgr mgr/dashboard/server_addr IP_ADDRESS
cephuser@adm > ceph config set mgr mgr/dashboard/server_port PORT_NUMBER

提示：分别配置 Ceph Manager 实例

因为每个 ceph-mgr 守护进程都托管着各自的仪表盘实例，您可能需要分别配置每个 Ceph Manager 实例。使用以下命令（将 NAME 替换为 ceph-mgr 实例的 ID）更改特定 Manager 实例的 IP 地址和端口号：

cephuser@adm > ceph config set mgr mgr/dashboard/NAME/server_addr IP_ADDRESS
cephuser@adm > ceph config set mgr mgr/dashboard/NAME/server_port PORT_NUMBER

提示：列出配置的端点

ceph mgr services 命令会显示当前配置的所有端点。查找 dashboard 键可获取用于访问仪表盘的 URL。

如果您不想使用默认管理员帐户，可创建其他用户帐户并将其与至少一个角色相关联。我们提供了一组预定义的系统角色供您使用。有关详细信息，请参见第 11 章 “在命令行上管理用户和角色”。

要创建具有管理员权限的用户，请使用以下命令：

cephuser@adm > ceph dashboard ac-user-create USER_NAME PASSWORD administrator

要使用仪表盘的对象网关管理功能，您需要提供启用了 system 标志的用户的登录身份凭证：

注意

默认情况下，SUSE Linux Enterprise Server 15 SP3 中会启用防火墙。有关防火墙配置的详细信息，请参见Book “Troubleshooting Guide”, Chapter 13 “Hints and tips”, Section 13.7 “Firewall settings for Ceph”。

请注意以下几点事项：

Ceph Dashboard 使用 Ceph iSCSI 网关的 rbd-target-api 服务所提供的 REST API 管理 iSCSI 目标。确保已在 iSCSI 网关上安装并启用它。

注意

Ceph Dashboard 的 iSCSI 管理功能取决于 ceph-iscsi 项目的最新版本 3。请确保您的操作系统提供了正确的版本，否则 Ceph Dashboard 将无法启用管理功能。

如果 ceph-iscsi REST API 以 HTTPS 模式配置并使用自我签名证书，请配置仪表盘以避免在访问 ceph-iscsi API 时发生 SSL 证书验证。

禁用 API SSL 验证：

cephuser@adm > ceph dashboard set-iscsi-api-ssl-verification false

定义可用的 iSCSI 网关：

cephuser@adm > ceph dashboard iscsi-gateway-list
cephuser@adm > ceph dashboard iscsi-gateway-add scheme://username:password@host[:port]
cephuser@adm > ceph dashboard iscsi-gateway-rm gateway_name

单点登录 (SSO) 是一种允许用户以单个 ID 和密码同时登录多个应用的访问控制方法。

Ceph Dashboard 支持通过 SAML 2.0 协议对用户进行外部身份验证。由于授权仍由仪表盘执行，因此您需要先创建用户帐户并将其与所需角色相关联。不过，身份验证过程可由现有身份提供者 (IdP) 执行。

要配置单点登录，请使用以下命令：

cephuser@adm > ceph dashboard sso setup saml2 CEPH_DASHBOARD_BASE_URL \
 IDP_METADATA IDP_USERNAME_ATTRIBUTE \
 IDP_ENTITY_ID SP_X_509_CERT \
 SP_PRIVATE_KEY

参数：

注意：SAML 请求

SAML 请求的发出者值将采用以下格式：

CEPH_DASHBOARD_BASE_URL/auth/saml2/metadata

要显示当前 SAML 2.0 配置，请运行以下命令：

cephuser@adm > ceph dashboard sso show saml2

要禁用单点登录，请运行以下命令：

cephuser@adm > ceph dashboard sso disable

要检查是否启用了 SSO，请运行以下命令：

cephuser@adm > ceph dashboard sso status

要启用 SSO，请运行以下命令：

cephuser@adm > ceph dashboard sso enable saml2

默认情况下会启用密码策略功能，包括以下检查：

可以完全打开或关闭密码策略功能：

cephuser@adm > ceph dashboard set-pwd-policy-enabled true|false

可以打开或关闭以下各项检查：

cephuser@adm > ceph dashboard set-pwd-policy-check-length-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-oldpwd-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-username-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-exclusion-list-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-complexity-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-sequential-chars-enabled true|false
cephuser@adm > ceph dashboard set-pwd-policy-check-repetitive-chars-enabled true|false

此外，可使用以下选项配置密码策略行为。

Ceph Dashboard 支持管理多个用户帐户。每个用户帐户包含用户名、密码（使用 bcrypt 以加密形式存储）、可选名称和可选电子邮件地址。

用户帐户存储在 Ceph Monitor 的配置数据库中，并在所有 Ceph Manager 实例之间全局共享。

使用以下命令可管理用户帐户：

本节说明您可为用户角色指定的安全作用范围、如何管理用户角色，以及如何为用户帐户指定角色。

11.3.2 指定用户角色 #

 

角色指定了一个安全作用范围与一组权限之间的一组映射。权限分为四种类型：“read”、“create”、“update”和“delete”。

下面的示例指定了一个角色，具有该角色的用户拥有与存储池管理相关的特性的“read”和“create”权限，以及与 RBD 映像管理相关的特性的全部权限：

{
  'role': 'my_new_role',
  'description': 'My new role',
  'scopes_permissions': {
    'pool': ['read', 'create'],
    'rbd-image': ['read', 'create', 'update', 'delete']
  }
}

仪表盘提供了一组预定义角色，我们称之为系统角色。全新安装 Ceph Dashboard 后即可使用这些角色：

administrator

提供针对所有安全作用范围的全部权限。

read-only

提供针对仪表盘设置以外的其他所有安全作用范围的读取权限。

block-manager

提供针对“rbd-image”、“rbd-mirroring”和“iscsi”作用范围的全部权限。

rgw-manager

提供针对“rgw”作用范围的全部权限。

cluster-manager

提供针对“hosts”、“osd”、“monitor”、“manager”和“config-opt”作用范围的全部权限。

pool-manager

提供针对“pool”作用范围的全部权限。

cephfs-manager

提供针对“cephfs”作用范围的全部权限。

11.3.2.1 管理自定义角色 #

 

您可以使用以下命令创建新用户角色：

创建新角色：

cephuser@adm > ceph dashboard ac-role-create ROLENAME [DESCRIPTION]

删除角色:

cephuser@adm > ceph dashboard ac-role-delete ROLENAME

为角色添加作用范围权限：

cephuser@adm > ceph dashboard ac-role-add-scope-perms ROLENAME SCOPENAME PERMISSION [PERMISSION...]

从角色中删除作用范围权限：

cephuser@adm > ceph dashboard ac-role-del-perms ROLENAME SCOPENAME

11.3.2.2 为用户帐户指定角色 #

 

使用以下命令可为用户指定角色：

设置用户角色：

cephuser@adm > ceph dashboard ac-user-set-roles USERNAME ROLENAME [ROLENAME ...]

为用户添加其他角色：

cephuser@adm > ceph dashboard ac-user-add-roles USERNAME ROLENAME [ROLENAME ...]

删除用户的角色：

cephuser@adm > ceph dashboard ac-user-del-roles USERNAME ROLENAME [ROLENAME ...]

提示：清除自定义角色

如果您创建了自定义用户角色，并打算以后使用 ceph.purge 运行程序删除 Ceph 集群，则需要先清除自定义角色。有关详细信息，请参见第 13.9 节 “删除整个 Ceph 集群”。

11.3.2.3 示例：创建用户和自定义角色 #

 

本节说明创建具有以下权限的用户帐户的过程：可管理 RBD 映像、查看和创建 Ceph 存储池，并拥有针对任何其他安全作用范围的只读访问权限。

1. 创建名为 tux 的新用户：

    cephuser@adm > ceph dashboard ac-user-create tux PASSWORD

2. 创建角色并指定作用范围权限：

   cephuser@adm > ceph dashboard ac-role-create rbd/pool-manager
   cephuser@adm > ceph dashboard ac-role-add-scope-perms rbd/pool-manager \
    rbd-image read create update delete
   cephuser@adm > ceph dashboard ac-role-add-scope-perms rbd/pool-manager pool read create

3. 将角色与 tux 用户相关联：

   cephuser@adm > ceph dashboard ac-user-set-roles tux rbd/pool-manager read-only

如果您要建立固定 URL 以访问 Ceph Dashboard，或者不允许直接连接到 Manager 节点，可以设置一个代理将传入请求转发到当前活动的 ceph-mgr 实例。

  cephuser@adm > ceph config set mgr mgr/dashboard/url_prefix URL_PREFIX

cephuser@adm > ceph config set mgr mgr/dashboard/standby_behaviour "error"

cephuser@adm > ceph config set mgr mgr/dashboard/standby_behaviour "redirect"

cephuser@adm > ceph config set mgr mgr/dashboard/standby_error_status_code 503

11.4.4 HAProxy 示例配置 #

 

以下示例配置适用于使用 HAProxy 的 TLS/SSL 传递。

注意

该配置适用于以下情况：如果仪表盘发生故障转移，前端客户端可能会收到 HTTP 重定向 (303) 响应，并将重定向到无法解析的主机。

两次 HAProxy 健康状况检查期间发生故障转移时，会发生此情况。在这种情况下，之前处于活动状态的仪表盘节点现在将以 303 进行响应，从而指向新活动节点。为避免出现该情况，您应该考虑禁用待机节点上的重定向行为。

  defaults
    log global
    option log-health-checks
    timeout connect 5s
    timeout client 50s
    timeout server 450s

  frontend dashboard_front
    mode http
    bind *:80
    option httplog
    redirect scheme https code 301 if !{ ssl_fc }

  frontend dashboard_front_ssl
    mode tcp
    bind *:443
    option tcplog
    default_backend dashboard_back_ssl

  backend dashboard_back_ssl
    mode tcp
    option httpchk GET /
    http-check expect status 200
    server x HOST:PORT ssl check verify none
    server y HOST:PORT ssl check verify none
    server z HOST:PORT ssl check verify none

Ceph Dashboard 的 REST API 可在 Ceph 审计日志中记录 PUT、POST 和 DELETE 请求。记录功能默认处于禁用状态，但您可使用以下命令将其启用：

cephuser@adm > ceph dashboard set-audit-api-enabled true

如果记录功能处于启用状态，将会记录每个请求的以下参数：

示例日志项如下所示：

2019-02-06 10:33:01.302514 mgr.x [INF] [DASHBOARD] \
 from='https://[::ffff:127.0.0.1]:37022' path='/api/rgw/user/exu' method='PUT' \
 user='admin' params='{"max_buckets": "1000", "display_name": "Example User", "uid": "exu", "suspended": "0", "email": "user@example.com"}'

提示：禁用记录请求有效负载的功能

请求有效负载（参数及其值的列表）的记录功能默认处于启用状态。您可以按照如下方式禁用该功能：

cephuser@adm > ceph dashboard set-audit-api-log-payload false

Ceph Dashboard 可以管理使用 CephFS 或对象网关作为其后备存储的 NFS Ganesha 导出项。该仪表盘用于管理存储在 CephFS 集群上的 RADOS 对象中的 NFS Ganesha 配置文件。NFS Ganesha 必须将其部分配置存储在 Ceph 集群中。

运行以下命令以配置 NFS Ganesha 配置对象的位置：

cephuser@adm > ceph dashboard set-ganesha-clusters-rados-pool-namespace pool_name[/namespace]

现在您便可以使用 Ceph Dashboard 管理 NFS Ganesha 导出项。

cephuser@adm > ceph dashboard set-ganesha-clusters-rados-pool-namespace cluster_id:pool_name[/namespace](,cluster_id:pool_name[/namespace])*

Ceph Dashboard 插件扩展了仪表盘的功能。调试插件允许根据调试模式来自定义仪表盘的行为。可以使用以下命令启用、禁用或检查调试插件：

cephuser@adm > ceph dashboard debug status
Debug: 'disabled'
cephuser@adm > ceph dashboard debug enable
Debug: 'enabled'
cephuser@adm > dashboard debug disable
Debug: 'disabled'

默认情况下，它处于禁用状态。这是适用于生产部署的推荐设置。如果需要，可以启用调试模式，而无需重启动。

您可以使用 ceph status 或 ceph -s 了解集群的即时状态：

cephuser@adm > ceph -s
cluster:
    id:     b4b30c6e-9681-11ea-ac39-525400d7702d
    health: HEALTH_OK

  services:
    mon: 5 daemons, quorum ses-min1,ses-master,ses-min2,ses-min4,ses-min3 (age 2m)
    mgr: ses-min1.gpijpm(active, since 3d), standbys: ses-min2.oopvyh
    mds: my_cephfs:1 {0=my_cephfs.ses-min1.oterul=up:active}
    osd: 3 osds: 3 up (since 3d), 3 in (since 11d)
    rgw: 2 daemons active (myrealm.myzone.ses-min1.kwwazo, myrealm.myzone.ses-min2.jngabw)

  task status:
    scrub status:
        mds.my_cephfs.ses-min1.oterul: idle

  data:
    pools:   7 pools, 169 pgs
    objects: 250 objects, 10 KiB
    usage:   3.1 GiB used, 27 GiB / 30 GiB avail
    pgs:     169 active+clean

输出内容提供了以下信息：

提示：Ceph 计算数据使用率的方式

used 值反映实际使用的原始存储量。xxx GB / xxx GB 值表示集群的可用容量（两者中较小的数字），以及集群的整体存储容量。理论数量反映在复制、克隆所存储数据或创建其快照前这些数据的大小。因此，实际存储的数据量通常会超出理论上的存储量，因为 Ceph 会创建数据的副本，可能还会将存储容量用于克隆和创建快照。

显示即时状态信息的其他命令如下：

要实时更新信息，请在 watch 命令中以参数的方式使用以上任意命令（包括 ceph -s）：

# watch -n 10 'ceph -s'

如果您看累了，请按 Ctrl–C。

在启动集群后到开始读取和/或写入数据期间，检查集群的健康状况：

cephuser@adm > ceph health
HEALTH_WARN 10 pgs degraded; 100 pgs stuck unclean; 1 mons down, quorum 0,2 \
node-1,node-2,node-3

提示

如果之前为您的配置或密钥环指定了非默认位置，则此时可以指定它们的位置：

cephuser@adm > ceph -c /path/to/conf -k /path/to/keyring health

Ceph 集群会返回下列健康状况代码之一：

提示

如果之前为您的配置或密钥环指定了非默认位置，则此时可以指定它们的位置：

# ceph -c /path/to/conf -k /path/to/keyring health

要查看集群的数据使用率以及数据在多个存储池之间的分布，请使用 ceph df 命令。要获取更多详细信息，请使用 ceph df detail。

cephuser@adm > ceph df
--- RAW STORAGE ---
CLASS  SIZE    AVAIL   USED     RAW USED  %RAW USED
hdd    30 GiB  27 GiB  121 MiB   3.1 GiB      10.40
TOTAL  30 GiB  27 GiB  121 MiB   3.1 GiB      10.40

--- POOLS ---
POOL                   ID  STORED   OBJECTS  USED     %USED  MAX AVAIL
device_health_metrics   1      0 B        0      0 B      0    8.5 GiB
cephfs.my_cephfs.meta   2  1.0 MiB       22  4.5 MiB   0.02    8.5 GiB
cephfs.my_cephfs.data   3      0 B        0      0 B      0    8.5 GiB
.rgw.root               4  1.9 KiB       13  2.2 MiB      0    8.5 GiB
myzone.rgw.log          5  3.4 KiB      207    6 MiB   0.02    8.5 GiB
myzone.rgw.control      6      0 B        8      0 B      0    8.5 GiB
myzone.rgw.meta         7      0 B        0      0 B      0    8.5 GiB

输出中的 RAW STORAGE 段落提供集群用于数据的存储空间容量概览。

输出内容的 POOLS 段落提供了存储池列表和每个存储池的理论用量。此段落的输出不反映副本、克隆数据或快照。例如，如果您存储含 1MB 数据的对象，理论用量将是 1MB，但是根据副本、克隆数据或快照数量，实际用量可能是 2MB 或更多。

注意

POOLS 段落中的数字是理论上的。它们不包括副本、快照或克隆数量。因此，USED 与 %USED 数量之和不会加总到输出内容 RAW STORAGE 段落中的 RAW USED 和 %RAW USED 数量中。

可通过执行以下命令来检查 OSD，以确保它们已启动且正在运行：

cephuser@adm > ceph osd stat

或

cephuser@adm > ceph osd dump

还可以根据 OSD 在 CRUSH 索引中的位置查看 OSD。

ceph osd tree 将列显 CRUSH 树及主机、它的 OSD、OSD 是否已启动及其权重：

   cephuser@adm > ceph osd tree
ID  CLASS  WEIGHT   TYPE NAME              STATUS  REWEIGHT  PRI-AFF
-1      3  0.02939  root default
-3      3  0.00980    rack mainrack
-2      3  0.00980            host osd-host
0       1  0.00980                    osd.0   up   1.00000   1.00000
1       1  0.00980                    osd.1   up   1.00000   1.00000
2       1  0.00980                    osd.2   up   1.00000   1.00000

Ceph 可阻止您向填满的 OSD 写入数据，以防丢失数据。在正常运行的集群中，当集群接近其填满比例时，您会收到警告。mon osd full ratio 默认设为容量的 0.95 (95%)，达到该比例后，集群会阻止客户端写入数据。mon osd nearfull ratio 默认设为容量的 0.85 (85%)，达到该比例时，集群会生成健康状况警告。

可通过 ceph health 命令报告填满的 OSD 节点：

cephuser@adm > ceph health
  HEALTH_WARN 1 nearfull osds
  osd.2 is near full at 85%

或

cephuser@adm > ceph health
  HEALTH_ERR 1 nearfull osds, 1 full osds
  osd.2 is near full at 85%
  osd.3 is full at 97%

处理填满的集群的最佳方法是添加新的 OSD 主机/磁盘，以便让集群将数据重新分布到新的可用存储空间。

提示：防止 OSD 填满

OSD 变满（即用完 100% 的磁盘空间）之后，往往会迅速崩溃而不发出警告。管理 OSD 节点时需记住下面几点提示。

• 每个 OSD 的磁盘空间（通常挂载在 /var/lib/ceph/osd/osd-{1,2..} 下）需放置在专用的底层磁盘或分区上。

• 检查 Ceph 配置文件，确保 Ceph 不会将其日志文件存储在专供 OSD 使用的磁盘/分区上。

• 确保没有其他进程写入专供 OSD 使用的磁盘/分区。

启动集群后，请在第一次读取和/或写入数据之前检查 Ceph Monitor 的仲裁状态。如果集群已在处理请求，请定期检查 Ceph Monitor 的状态，确保其正在运行。

要显示 Monitor 索引，请执行以下命令：

cephuser@adm > ceph mon stat

或

cephuser@adm > ceph mon dump

要检查 Monitor 集群的仲裁状态，请执行以下命令：

cephuser@adm > ceph quorum_status

Ceph 将返回仲裁状态。例如，由三个 Monitor 组成的 Ceph 集群可能返回以下内容：

{ "election_epoch": 10,
  "quorum": [
        0,
        1,
        2],
  "monmap": { "epoch": 1,
      "fsid": "444b489c-4f16-4b75-83f0-cb8097468898",
      "modified": "2011-12-12 13:28:27.505520",
      "created": "2011-12-12 13:28:27.505520",
      "mons": [
            { "rank": 0,
              "name": "a",
              "addr": "192.168.1.10:6789\/0"},
            { "rank": 1,
              "name": "b",
              "addr": "192.168.1.11:6789\/0"},
            { "rank": 2,
              "name": "c",
              "addr": "192.168.1.12:6789\/0"}
           ]
    }
}

归置组会将对象映射到 OSD。监视归置组时，您希望它们处于 active 和 clean 状态。有关详细内容，请参见第 12.9 节 “监控 OSD 和归置组”。

作为防止数据丢失的安全措施，当 Ceph 存储集群接近其容量上限时，Ceph 将阻止您向 Ceph OSD 写入或从中读取数据。因此，让生产集群接近其填满比例不是一种好的做法，因为这样会牺牲高可用性。默认的填满比例设置为 0.95，即容量的 95%。对于所含 OSD 数量较少的测试集群而言，如此设置是非常激进的。

提示：增加存储容量

在监视集群时，请注意与 nearfull 比例有关的警告。出现该警告表示，如果一个或多个 OSD 发生故障，某些 OSD 的故障可能会导致服务暂时中断。请考虑添加更多 OSD 以增加存储容量。

测试集群的一种常见情境是系统管理员从 Ceph 存储集群中删除 Ceph OSD，等待集群重新达到平衡。然后再删除另一个 Ceph OSD，以此类推，直到集群最终达到填满比例并锁死。我们建议即使使用测试集群时也进行一定的容量规划。通过规划，您可以预估维持高可用性所需的备用容量。从理论上讲，您需要规划能够应对一系列 Ceph OSD 发生故障的情况的方案，使集群无需立即替换这些 Ceph OSD 也可恢复到 active + clean 状态。您可以运行 active + degraded 状态的集群，但这不适合正常运行状况。

下图展示了一个包含 33 个 Ceph 节点的简化 Ceph 存储集群，其中每个主机有一个 Ceph OSD，每个 Ceph OSD 从 3 TB 驱动器读取以及向其中写入数据。此示例集群实际的容量上限为 99 TB。mon osd full ratio 选项设置为 0.95。如果集群的剩余容量降至 5 TB，集群将不允许客户端读取和写入数据。因此，存储集群的运行容量为 95 TB，而不是 99 TB。

图 12.1︰ Ceph 集群 #

 

在这样的集群中，有一个或两个 OSD 发生故障属于正常现象。一种不常发生但合乎常理的情况是机柜的路由器或电源发生故障，导致多个 OSD（例如 OSD 7-12）同时停用。在这种情况下，您仍然应该设法使集群保持正常运行并达到 active + clean 状态，即使这意味着需要立即添加一些主机及额外的 OSD。如果容量使用率过高，您可能不会丢失数据。但是，如果集群的容量使用率超过填满比例，您虽然解决了故障域内发生的中断问题，却可能会损失数据可用性。因此，我们建议至少进行大致的容量规划。

针对您的集群确定以下两个数值：

如果您将集群的总容量除以集群中的 OSD 数量，将得到集群内单个 OSD 的平均容量。将该数值与您预期正常运行期间将同时发生故障的 OSD 数量（一个相对较小的数值）相乘。最后，将集群容量与填满比例相乘得到运行容量上限。然后，减去您预期将发生故障的 OSD 中的数据量，即可得到一个合理的填满比例。使用更高的 OSD 故障数（一整个机柜的 OSD）重复上述过程，即可得到一个合理的接近填满比例数值。

以下设置仅在创建集群时才会应用，随后会存储在 OSD 索引中：

[global]
 mon osd full ratio = .80
 mon osd backfillfull ratio = .75
 mon osd nearfull ratio = .70

提示

仅在创建集群时才会应用这些设置。此后，需要使用 ceph osd set-nearfull-ratio 和 ceph osd set-full-ratio 命令在 OSD 索引中更改这些设置。

提示：检查 OSD 权重

如果某些 OSD 将满，但其他 OSD 的容量充足，则表示将满 OSD 的 CRUSH 权重可能有问题。

高可用性和高可靠性要求采用容错方法来管理硬件和软件问题。Ceph 没有单一故障点，可以在“已降级”模式下处理数据请求。Ceph 的数据归置引入了一个间接层，以确保数据不会与特定 OSD 地址直接绑定。这表示跟踪系统故障原因需要找到属于问题根源的归置组和底层 OSD。

提示：发生故障时的访问

如果集群的某个部分发生故障，集群可能会阻止您访问特定对象，但这并不意味着您无法访问其他对象。遇到故障时，请执行相关步骤来监视 OSD 和归置组。然后开始进行查错。

Ceph 一般情况下会进行自我修复。但如果问题仍然存在，监视 OSD 和归置组将有助于您找到问题所在。

12.9.1 监视 OSD #

 

OSD 可能处于在集群内（“in”）状态，也可能处于在集群外（“out”）状态。同时，它也可能处于启用并运行（“up”）或停用且未运行（“down”）状态。如果某个 OSD 处于“up”状态，则它可能在集群内（您可以读取和写入数据），也可能在集群外。如果该 OSD 之前在集群内，最近已移出集群，则 Ceph 会将归置组迁移到其他 OSD。如果某个 OSD 在集群外，CRUSH 将不会为其指定归置组。如果某个 OSD 处于“down”状态，则它应该也处于“out”状态。

注意：不健康状态

如果某个 OSD 处于“down”和“in”状态，则表示存在问题，并且集群将处于不健康状态。

如果您执行 ceph health、ceph -s 或 ceph -w 等命令，可能会注意到集群并非始终回显 HEALTH OK。对于 OSD，您应当预期集群在以下情况下不会回显 HEALTH OK：

• 您尚未启动集群（它不会响应）。

• 您已启动或重启动集群，但它尚未准备就绪，因为系统正在创建归置组，并且 OSD 正在互联。

• 您已添加或删除某个 OSD。

• 您已修改集群索引。

监视 OSD 的一个重要目的是确保当集群已启用且在运行时，集群中的所有 OSD 也已启用且在运行。要确定是否所有 OSD 都在运行，请执行以下命令：

# ceph osd stat
x osds: y up, z in; epoch: eNNNN

结果应显示 OSD 总数 (x)、处于“up”状态的 OSD 数量 (y)、处于“in”状态的 OSD 数量 (z)，以及索引版本号 (eNNNN)。如果在集群内（“in”）的 OSD数量大于处于“up”状态的 OSD 数量，请执行以下命令确定未在运行的 ceph-osd 守护进程：

# ceph osd tree
#ID CLASS WEIGHT  TYPE NAME             STATUS REWEIGHT PRI-AFF
-1       2.00000 pool openstack
-3       2.00000 rack dell-2950-rack-A
-2       2.00000 host dell-2950-A1
0   ssd 1.00000      osd.0                up  1.00000 1.00000
1   ssd 1.00000      osd.1              down  1.00000 1.00000

例如，如果 ID 为 1 的 OSD 处于停用状态，请将其启动：

cephuser@osd > sudo systemctl start ceph-CLUSTER_ID@osd.0.service

有关与已停止或不会重启动的 OSD 相关的问题，请参见Book “Troubleshooting Guide”, Chapter 4 “Troubleshooting OSDs”, Section 4.3 “OSDs not running”。

12.9.2 指定归置组集 #

 

CRUSH 向 OSD 指定归置组时，会查看存储池的副本数量，然后再为 OSD 指定归置组，以便将每个归置组副本都指定给不同的 OSD。例如，如果存储池需要三个归置组副本，CRUSH 可能会将这三个副本分别指定给 osd.1、osd.2 和 osd.3。CRUSH 实际上会寻找一种伪随机归置方法，这种方法会将您在 CRUSH 索引中设置的故障域纳入考量，因此在大型集群中，您很少会看到归置组被指定给最邻近的 OSD 的情况。我们将应包含特定归置组的副本的 OSD 集称为在任集。在某些情况下，在任集中的 OSD 会处于停用状态，或者无法处理要访问归置组中对象的请求。当以下其中一种情况发生时，可能会出现这些情况：

• 您添加或删除了某个 OSD。CRUSH 随后会将归置组重新指定给其他 OSD，因而更改了在任集的组成部分，导致系统通过“回填”过程迁移数据。

• 某个 OSD 之前处于“down”状态、之前进行了重启动，而现在正在恢复。

• 在任集中的某个 OSD 处于“down”状态，或者无法处理请求，并且另一个 OSD 已暂代其职。

  Ceph 使用启用集来处理客户端请求，启用集是实际处理请求的 OSD 集。在大多数情况下，启用集和在任集几乎完全相同。当两者不同时，可能表示 Ceph 正在迁移数据、某个 OSD 正在恢复，或者集群存在问题（例如，在此类情况下，Ceph 通常会回显 HEALTH WARN 状态及“stuck stale”消息）。

要检索归置组列表，请运行以下命令：

cephuser@adm > ceph pg dump

要查看哪些 OSD 在给定归置组的在任集或启用集内，请运行以下命令：

cephuser@adm > ceph pg map PG_NUM
osdmap eNNN pg RAW_PG_NUM (PG_NUM) -> up [0,1,2] acting [0,1,2]

结果应该会显示 OSD 索引版本号 (eNNN)、归置组数量 (PG_NUM)、启用集（“up”）中的 OSD，以及在任集（“acting”）中的 OSD：

提示：集群问题指示符

如果启用集与在任集不一致，则可能表示集群正在自我重新平衡，或者集群可能存在问题。

12.9.3 正在互联 #

 

归置组必须处于 active 及 clean 状态，您才能将数据写入其中。为了让 Ceph 确定某个归置组的当前状态，该归置组的主 OSD（在任集中的第一个 OSD）会与第二个和第三个 OSD 建立互联，以便就归置组的当前状态达成一致（假设存储池包含三个归置组副本）。

图 12.2︰ 互联纲要 #

 

12.9.4 监控归置组状态 #

 

如果您执行 ceph health、ceph -s 或 ceph -w 等命令，可能会注意到集群并非始终回显 HEALTH OK 消息。检查 OSD 是否正在运行之后，还应检查归置组状态。

在一些与归置组互联相关的情况下，集群预期将不会回显 HEALTH OK：

• 您已创建存储池，并且归置组尚未互联。

• 归置组正在恢复。

• 您已向集群添加了 OSD，或已从集群中删除了 OSD。

• 您已修改 CRUSH 索引，并且您的归置组正在迁移。

• 在不同的归置组副本中存在数据不一致的情况。

• Ceph 正在洗刷归置组的副本。

• Ceph 的存储容量不足，无法完成回填操作。

如果上述其中一种情况导致 Ceph 回显 HEALTH WARN，请不要惊慌。集群在许多情况下都会自行恢复。在有些情况下，您可能需要采取措施。监视归置组的一个重要目的是确保当集群已启用并运行时，所有归置组都处于“active”状态并且最好处于“clean”状态。要查看所有归置组的状态，请运行以下命令：

cephuser@adm > ceph pg stat
x pgs: y active+clean; z bytes data, aa MB used, bb GB / cc GB avail

结果应该会显示归置组总数 (x)、处于特定状态（例如“active+clean”）的归置组数量 (y)，以及存储的数据量 (z)。

除了归置组状态以外，Ceph 还会回显使用的存储容量 (aa)、剩余的存储容量 (bb)，以及归置组的总存储容量。在以下情况下，这些数值可能非常重要：

• 已达到 near full ratio 或 full ratio。

• 由于您的 CRUSH 配置中存在错误，您的数据未在集群中分布。

提示：归置组 ID

归置组 ID 由存储池编号（并非存储池名称）加一个句点 (.)和归置组 ID（一个十六进制数）组成。您可以在 ceph osd lspools 的输出中查看存储池编号及其名称。例如，默认存储池 rbd 与存储池编号 0 对应。完全限定的归置组 ID 的格式如下：

POOL_NUM.PG_ID

通常显示如下：

0.1f

要检索归置组列表，请运行以下命令：

cephuser@adm > ceph pg dump

您还可以将输出内容设置为 JSON 格式，并将其保存到文件中：

cephuser@adm > ceph pg dump -o FILE_NAME --format=json

要查询特定归置组，请运行以下命令：

cephuser@adm > ceph pg POOL_NUM.PG_ID query

以下列表详细说明了常见的归置组状态。

CREATING（正在创建）

当您创建存储池时，Ceph 会创建您指定数量的归置组。Ceph 会在创建一个或多个归置组时回显“creating”。创建归置组之后，属于归置组在任集的各 OSD 将会互联。完成互联过程时，归置组状态应该为“active+clean”，这表示 Ceph 客户端可以开始向归置组写入数据。

图 12.3︰ 归置组状态 #

 

PEERING（正在互联）

当 Ceph 在对归置组执行互联操作时，会在存储归置组副本的各 OSD 之间就该归置组中的对象和元数据的状态达成一致。当 Ceph 完成互联过程时，便表示存储归置组的各 OSD 之间就归置组的当前状态达成一致。不过，完成互联过程并不表示每个副本都有最新的内容。

注意：权威历史

在在任集的所有 OSD 都持续进行写入操作之前，Ceph 将不会向客户端确认写入操作。这样做可确保在上次成功完成互联操作之后，至少有一个在任集成员将拥有每个确认的写入操作的记录。

通过准确记录每个确认的写入操作，Ceph 可以构建并扩展一个新的权威归置组历史，即一个完整且完全有序的在任集，如果执行该在任集，会将 OSD 的归置组副本更新到最新状态。

ACTIVE（活动）

当 Ceph 完成互联过程时，归置组可能会变为 active 状态。active 状态表示通常可在主归置组和副本中使用归置组中的数据进行读取和写入操作。

CLEAN（正常）

如果归置组处于 clean 状态，则表示主 OSD 和副本 OSD 已成功互联，并且该归置组没有流浪副本。Ceph 已将归置组中的所有对象复制正确的次数。

DEGRADED（已降级）

当客户端将对象写入主 OSD 时，该主 OSD 负责将副本写入副本 OSD。主 OSD 将对象写入存储空间之后，归置组将保持“degraded”状态，直到主 OSD 收到了副本 OSD 发送的 Ceph 已成功创建副本对象的确认消息。

归置组有可能处于“active+degraded”状态，这是因为即使 OSD 尚未存储所有对象，它也可能处于“active”状态。如果某个 OSD 变成停用状态，Ceph 会将指定给该 OSD 的每个归置组都标记为“degraded”。当该 OSD 恢复启用状态后，各 OSD 必须再次互联。不过，如果某个已降级归置组处于“active”状态，客户端仍然可以将新对象写入该归置组。

如果某个 OSD 处于“down”状态，并且持续保持“degraded”状况，Ceph 可能会将该停用的 OSD 标记为“out”（表示移出集群），并将停用（“down”）的 OSD 的数据重新映射到另一个 OSD。从将 OSD 标记为“down”到将其标记为“out”相隔的时间通过 mon osd down out interval 选项控制，该选项默认设置为 600 秒。

归置组也可能处于“degraded”状态，当 Ceph 找不到应在归置组中的一个或多个对象时便会发生此情况。虽然您无法读取未找到的对象或向其写入数据，却仍然可以访问“degraded”状态的归置组中的所有其他对象。

RECOVERING（正在恢复）

Ceph 设计用于在发生硬件和软件问题时进行大规模容错。当 OSD 变成“down”状态时，其内容可能落后于归置组中其他副本的当前状态。当 OSD 恢复“up”状态时，必须更新归置组的内容以反映最新状态。在此期间，OSD 可能会显现出“recovering”状态。

恢复并非总是无足轻重的，因为硬件故障可能会导致多个 OSD 发生级联故障。例如，一个机架或机柜的网络交换机可能会发生故障，这可能会导致一些主机的 OSD 落后于集群的当前状态。解决故障之后，必须恢复每个 OSD。

Ceph 提供了一些设置，用来平衡新服务请求与恢复数据对象并将归置组恢复到最新状态的需求之间的资源争用。osd recovery delay start 设置允许 OSD 在启动恢复过程之前重启动、重新互联，甚至处理一些重放请求。osd recovery thread timeout 用于设置线程超时，因为有可能会有多个 OSD 交错发生故障、重启动以及重新互联。osd recovery max active 设置用于限制 OSD 将同时处理的恢复请求数，以防止 OSD 无法处理请求。osd recovery max chunk 设置用于限制恢复的数据块大小，以防出现网络拥塞。

BACK FILLING（正在回填）

当新 OSD 加入集群时，CRUSH 会将集群中 OSD 的归置组重新指定给新添加的 OSD。强制新 OSD 立即接受重新指定的归置组可能会使新 OSD 过载。向 OSD 回填归置组可让此过程在后台开始。回填完成后，新 OSD 将在准备就绪时开始处理请求。

在执行回填操作期间，系统可能会显示以下其中一种状态：“backfill_wait”表示回填操作待处理，但尚未执行；“backfill”表示正在进行回填操作；“backfill_too_full”表示已请求进行回填操作，但由于存储容量不足而无法完成。如果某个归置组无法回填，则可能会被视为“incomplete”。

Ceph 提供了一些设置来管理与向某个 OSD（尤其是新 OSD）重新指定归置组有关的负载。默认情况下，osd max backfills 将向或从一个 OSD 同时进行的最大回填数设置为 10。backfill full ratio 允许 OSD 在接近其填满比例（默认为 90%）时拒绝回填请求，并使用 ceph osd set-backfillfull-ratio 命令进行更改。如果某个 OSD 拒绝回填请求，osd backfill retry interval 可让 OSD 重试请求（默认在 10 秒后）。OSD 还可以设置 osd backfill scan min 和 osd backfill scan max，以管理扫描间隔（默认值分别为 64 和 512）。

REMAPPED（已重新映射）

当用于处理归置组的在任集发生变化时，数据会从旧在任集迁移到新在任集。新主 OSD 可能需要一段时间才能处理请求。因此，新主 OSD 可能会要求旧主 OSD 继续处理请求，直到归置组迁移完成。数据迁移完成时，映射将使用新在任集的主 OSD。

STALE（过时）

尽管 Ceph 使用检测信号来确保主机和守护进程正在运行，但 ceph-osd 守护进程也可能会卡住，无法及时报告统计数据（例如，当发生暂时的网络故障时）。默认情况下，OSD 守护进程每半秒钟 (0.5) 报告一次其归置组、引导及故障统计数据，这个频率高于检测信号阈值。如果某个归置组在任集的主 OSD 未能向 Monitor 报告，或者其他 OSD 已将该主 OSD 报告为“down”，则 Monitor 会将该归置组标记为“stale”。

当您启动集群后，集群常常会在互联过程完成之前显示为“stale”状态。集群运行一段时间之后，如果归置组显示为“stale”状态，则表示这些归置组的主 OSD 处于停用状态，或者未向 Monitor 报告归置组统计数据。

cephuser@adm > ceph osd map POOL_NAME OBJECT_NAME [NAMESPACE]

cephuser@adm > rados put test-object-1 testfile.txt --pool=data

cephuser@adm > rados -p data ls

cephuser@adm > ceph osd map data test-object-1
osdmap e537 pool 'data' (0) object 'test-object-1' -> pg 0.d1743484 \
(0.4) -> up ([1,0], p0) acting ([1,0], p0)

cephuser@adm > rados rm test-object-1 --pool=data

要修改现有 Ceph 集群的配置，请执行以下步骤：

要向 Ceph 集群添加新节点，请执行以下步骤：

提示：删除 OSD

如果您要删除的节点运行有 OSD，请先从中删除 OSD，然后检查该节点上是否未运行任何 OSD。有关删除 OSD 的更多详细信息，请参见第 13.4.4 节 “删除 OSD”。

要从集群中删除节点，请执行以下操作：

重要

如果发生故障，并且您尝试删除的受控端处于永久断电状态，则需要从 Salt 主控端中删除节点：

root@master # salt-key -d minion_id

然后，手动将节点从 pillar_root/ceph-salt.sls 中删除。它通常位于 /srv/pillar/ceph-salt.sls 中。

本节介绍如何在 Ceph 集群中添加、擦除或删除 OSD。

cephuser@adm > ceph orch device ls
HOST       PATH      TYPE SIZE  DEVICE  AVAIL REJECT REASONS
ses-master /dev/vda  hdd  42.0G         False locked
ses-min1   /dev/vda  hdd  42.0G         False locked
ses-min1   /dev/vdb  hdd  8192M  387836 False locked, LVM detected, Insufficient space (<5GB) on vgs
ses-min2   /dev/vdc  hdd  8192M  450575 True

13.4.2 擦除磁盘设备 #

 

要重新使用磁盘设备，需要先将其擦除（或清除）：

ceph orch device zap HOST_NAME DISK_DEVICE

例如：

cephuser@adm > ceph orch device zap ses-min2 /dev/vdc

注意

如果您之前在未设置 unmanaged 标志的情况下使用 DriveGroups 或 --all-available-devices 选项部署 OSD，cephadm 将在您擦除这些 OSD 后再自动部署它们。

13.4.3 使用 DriveGroups 规范添加 OSD。 #

 

DriveGroups 用于指定 Ceph 集群中 OSD 的布局。它们在单个 YAML 文件中定义。在本节中，我们将使用 drive_groups.yml 作为示例。

管理员应手动指定一组相关的 OSD（部署在 HDD 和 SDD 组合上的混合 OSD）或一组使用相同部署选项的 OSD（例如，对象存储、加密选项相同的各独立 OSD）。为了避免明确列出设备，DriveGroups 会使用与 ceph-volume 库存报告中的几个所选字段对应的过滤项列表。cephadm 将提供一些代码，用于将这些 DriveGroups 转换为供用户检查的实际设备列表。

将 OSD 规范应用于集群的命令是：

cephuser@adm > ceph orch apply osd -i drive_groups.yml

要查看操作预览并测试您的应用，可以将 --dry-run 选项与 ceph orch apply osd 命令一起使用。例如：

cephuser@adm > ceph orch apply osd -i drive_groups.yml --dry-run
...
+---------+------+------+----------+----+-----+
|SERVICE  |NAME  |HOST  |DATA      |DB  |WAL  |
+---------+------+------+----------+----+-----+
|osd      |test  |mgr0  |/dev/sda  |-   |-    |
|osd      |test  |mgr0  |/dev/sdb  |-   |-    |
+---------+------+------+----------+----+-----+

如果 --dry-run 输出符合您的预期，则只需重新运行命令而无需使用 --dry-run 选项。

13.4.3.1 非受管 OSD #

 

将符合 DriveGroups 规范的所有可用正常磁盘设备添加到集群后，它们将自动用作 OSD。此行为称为受管模式。

要禁用受管模式，请将 unmanaged: true 行添加到相关规范，例如：

service_type: osd
service_id: example_drvgrp_name
placement:
 hosts:
 - ses-min2
 - ses-min3
encrypted: true
unmanaged: true

提示

要将已部署的 OSD 从受管模式更改为非受管模式，请于第 13.1 节 “修改集群配置”中所述的过程期间在适当位置添加 unmanaged: true 行。

13.4.3.2 DriveGroups 规范 #

 

下面是 DriveGroups 规范文件的示例：

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  drive_spec: DEVICE_SPECIFICATION
db_devices:
  drive_spec: DEVICE_SPECIFICATION
wal_devices:
  drive_spec: DEVICE_SPECIFICATION
block_wal_size: '5G'  # (optional, unit suffixes permitted)
block_db_size: '5G'   # (optional, unit suffixes permitted)
encrypted: true       # 'True' or 'False' (defaults to 'False')

注意

之前在 DeepSea 中名为“加密”的选项已被重命名为“已加密”。在 SUSE Enterprise Storage 7 中应用 DriveGroups 时，请确保在服务规范中使用此新术语，否则 ceph orch apply 操作将失败。

13.4.3.3 匹配磁盘设备 #

 

您可以使用以下过滤器描述规格：

• 按磁盘型号：

  model: DISK_MODEL_STRING

• 按磁盘供应商：

  vendor: DISK_VENDOR_STRING

  

  提示

  始终以小写形式输入 DISK_VENDOR_STRING。

  要获取有关磁盘型号和供应商的详细信息，请检查以下命令的输出：

  cephuser@adm > ceph orch device ls
  HOST     PATH     TYPE  SIZE DEVICE_ID                  MODEL            VENDOR
  ses-min1 /dev/sdb ssd  29.8G SATA_SSD_AF34075704240015  SATA SSD         ATA
  ses-min2 /dev/sda ssd   223G Micron_5200_MTFDDAK240TDN  Micron_5200_MTFD ATA
  [...]

• 磁盘是否为旋转硬盘。SSD 和 NVMe 驱动器不属于旋转硬盘。

  rotational: 0

• 部署将所有可用驱动器都用于 OSD 的节点：

  data_devices:
    all: true

• 还可通过限制匹配磁盘的数量来过滤：

  limit: 10

13.4.3.4 按大小过滤设备 #

 

您可以按磁盘设备大小对其过滤，可以按确切大小也可以按大小范围来过滤。size: 参数接受使用下列格式的参数：

• '10G' - 包括大小为该值的磁盘。

• '10G:40G' - 包括大小在该范围内的磁盘。

• ':10G' - 包括大小小于或等于 10 GB 的磁盘。

• '40G:' - 包括大小等于或大于 40 GB 的磁盘。

例 13.1︰ 按磁盘大小匹配 #

 

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  size: '40TB:'
db_devices:
  size: ':2TB'

注意：需要引号

如果使用“:”分隔符，您需要用引号括住大小，否则“:”符号将被解释为新的配置哈希。

提示：单位缩写

您可以指定以兆字节 (M) 或太字节 (T) 为单位的大小，而不能指定以千兆字节 (G) 为单位的大小。

13.4.3.5 DriveGroups 示例 #

 

本节包含其他 OSD 设置的示例。

例 13.2︰ 简单设置 #

 

下面的示例说明了使用相同设置的两个节点：

• 20 个 HDD

  • 供应商：Intel

  • 型号：SSD-123-foo

  • 大小：4 TB

• 2 个 SSD

  • 供应商：Micron

  • 型号：MC-55-44-ZX

  • 大小：512 GB

对应的 drive_groups.yml 文件如下所示：

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  model: SSD-123-foo
db_devices:
  model: MC-55-44-XZ

这样的配置简单有效。但问题是管理员将来可能要添加来自不同供应商的磁盘，而这样的磁盘不在可添加范围内。您可以通过减少针对驱动器核心属性的过滤器来予以改进。

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  rotational: 1
db_devices:
  rotational: 0

在上面的示例中，我们强制将所有旋转设备声明为“data devices”，所有非旋转设备将被用作“shared devices”（wal、db）。

如果您知道大小超过 2 TB 的驱动器将始终充当较慢的数据设备，则可以按大小过滤：

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  size: '2TB:'
db_devices:
  size: ':2TB'

例 13.3︰ 高级设置 #

 

下面的示例说明了两种不同的设置：20 个 HDD 将共享 2 个 SSD，而 10 个 SSD 将共享 2 个 NVMe。

• 20 个 HDD

  • 供应商：Intel

  • 型号：SSD-123-foo

  • 大小：4 TB

• 12 个 SSD

  • 供应商：Micron

  • 型号：MC-55-44-ZX

  • 大小：512 GB

• 2 个 NVMe

  • 供应商：Samsung

  • 型号：NVME-QQQQ-987

  • 大小：256 GB

这样的设置可使用如下两个布局定义：

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  rotational: 0
db_devices:
  model: MC-55-44-XZ

service_type: osd
service_id: example_drvgrp_name2
placement:
  host_pattern: '*'
data_devices:
  model: MC-55-44-XZ
db_devices:
  vendor: samsung
  size: 256GB

例 13.4︰ 包含非一致节点的高级设置 #

 

上述示例假设所有节点的驱动器都相同，但情况并非总是如此：

节点 1-5：

• 20 个 HDD

  • 供应商：Intel

  • 型号：SSD-123-foo

  • 大小：4 TB

• 2 个 SSD

  • 供应商：Micron

  • 型号：MC-55-44-ZX

  • 大小：512 GB

节点 6-10：

• 5 个 NVMe

  • 供应商：Intel

  • 型号：SSD-123-foo

  • 大小：4 TB

• 20 个 SSD

  • 供应商：Micron

  • 型号：MC-55-44-ZX

  • 大小：512 GB

您可以在布局中使用“target”键来定位特定节点。Salt 定位标记可让事情变得简单：

service_type: osd
service_id: example_drvgrp_one2five
placement:
  host_pattern: 'node[1-5]'
data_devices:
  rotational: 1
db_devices:
  rotational: 0

后接

service_type: osd
service_id: example_drvgrp_rest
placement:
  host_pattern: 'node[6-10]'
data_devices:
  model: MC-55-44-XZ
db_devices:
  model: SSD-123-foo

例 13.5︰ 专家设置 #

 

上述所有案例都假设 WAL 和 DB 使用相同设备，但也有可能会在专用设备上部署 WAL：

• 20 个 HDD

  • 供应商：Intel

  • 型号：SSD-123-foo

  • 大小：4 TB

• 2 个 SSD

  • 供应商：Micron

  • 型号：MC-55-44-ZX

  • 大小：512 GB

• 2 个 NVMe

  • 供应商：Samsung

  • 型号：NVME-QQQQ-987

  • 大小：256 GB

service_type: osd
service_id: example_drvgrp_name
placement:
  host_pattern: '*'
data_devices:
  model: MC-55-44-XZ
db_devices:
  model: SSD-123-foo
wal_devices:
  model: NVME-QQQQ-987

例 13.6︰ 复杂（和不太可能的）设置 #

 

在以下设置中，我们尝试定义：

• 由 1 个 NVMe 支持 20 个 HDD

• 由 1 个 SSD (db) 和 1 个 NVMe (wal) 支持 2 个 HDD

• 由 1 个 NVMe 支持 8 个 SSD

• 2 个独立 SSD（加密）

• 1 个 HDD 作为备用，不应部署

共使用如下数量的驱动器：

• 23 个 HDD

  • 供应商：Intel

  • 型号：SSD-123-foo

  • 大小：4 TB

• 10 个 SSD

  • 供应商：Micron

  • 型号：MC-55-44-ZX

  • 大小：512 GB

• 1 个 NVMe

  • 供应商：Samsung

  • 型号：NVME-QQQQ-987

  • 大小：256 GB

DriveGroups 定义如下所示：

service_type: osd
service_id: example_drvgrp_hdd_nvme
placement:
  host_pattern: '*'
data_devices:
  rotational: 0
db_devices:
  model: NVME-QQQQ-987

service_type: osd
service_id: example_drvgrp_hdd_ssd_nvme
placement:
  host_pattern: '*'
data_devices:
  rotational: 0
db_devices:
  model: MC-55-44-XZ
wal_devices:
  model: NVME-QQQQ-987

service_type: osd
service_id: example_drvgrp_ssd_nvme
placement:
  host_pattern: '*'
data_devices:
  model: SSD-123-foo
db_devices:
  model: NVME-QQQQ-987

service_type: osd
service_id: example_drvgrp_standalone_encrypted
placement:
  host_pattern: '*'
data_devices:
  model: SSD-123-foo
encrypted: True

在文件的整个分析过程中，将始终保留一个 HDD。