17 NVMe over Fabric #

要使用 NVMe over Fabric，需要安装 nvme 命令行工具。请使用 zypper 安装该工具：

> sudo zypper in nvme-cli

使用 nvme --help 可列出所有可用的子命令。我们提供了 nvme 子命令的手册页。执行 man nvme-SUBCOMMAND 可查阅相关的手册页。例如，要查看 discover 子命令的手册页，请执行 man nvme-discover。

要列出 NVMe over Fabric 目标上的可用 NVMe 子系统，您需要有发现控制器地址和服务 ID。

> sudo nvme discover -t TRANSPORT -a DISCOVERY_CONTROLLER_ADDRESS -s SERVICE_ID

将 TRANSPORT 替换为底层传输媒体：loop、rdma、tcp 或 fc。将 DISCOVERY_CONTROLLER_ADDRESS 替换为发现控制器的地址。对于 RDMA 和 TCP，此地址应是 IPv4 地址。将 SERVICE_ID 替换为传输服务 ID。如果服务基于 IP（例如 RDMA 或 TCP），则服务 ID 指定端口号。对于光纤通道，不需要提供服务 ID。

NVMe 主机只会看到它们有权连接的子系统。

示例：

> sudo nvme discover -t tcp -a 10.0.0.3 -s 4420

对于 FC，其示例如下所示：

> sudo nvme discover --transport=fc \
                --traddr=nn-0x201700a09890f5bf:pn-0x201900a09890f5bf \
                --host-traddr=nn-0x200000109b579ef6:pn-0x100000109b579ef6

有关细节，请参见man nvme-discover。

识别 NVMe 子系统后，便可以使用 nvme connect 命令来连接它。

> sudo nvme connect -t transport -a DISCOVERY_CONTROLLER_ADDRESS -s SERVICE_ID -n SUBSYSTEM_NQN

将 TRANSPORT 替换为底层传输媒体：loop、rdma、tcp 或 fc。将 DISCOVERY_CONTROLLER_ADDRESS 替换为发现控制器的地址。对于 RDMA 和 TCP，此地址应是 IPv4 地址。将 SERVICE_ID 替换为传输服务 ID。如果服务基于 IP（例如 RDMA 或 TCP），则此 ID 指定端口号。将 SUBSYSTEM_NQN 替换为发现命令找到的所需子系统的 NVMe 限定名称。NQN 是 NVMe 限定名称 (NVMe Qualified Name) 的缩写。NQN 必须唯一。

示例：

> sudo nvme connect -t tcp -a 10.0.0.3 -s 4420 -n nqn.2014-08.com.example:nvme:nvm-subsystem-sn-d78432

对于 FC，其示例如下所示：

> sudo nvme connect --transport=fc \
             --traddr=nn-0x201700a09890f5bf:pn-0x201900a09890f5bf \
             --host-traddr=nn-0x200000109b579ef6:pn-0x100000109b579ef6 \
             --nqn=nqn.2014-08.org.nvmexpress:uuid:1a9e23dd-466e-45ca-9f43-a29aaf47cb21

或者，使用 nvme connect-all 连接到发现的所有名称空间。有关高级用法，请参见 man nvme-connect 和 man nvme-connect-all。

如果发生路径丢失，NVMe 子系统会尝试重新连接一段时间，该时间由 nvme connect 命令的 ctrl-loss-tmo 选项定义。在这段时间（默认值为 600s）过后，将去除该路径并通知块层（文件系统）的上层。默认情况下，随后会以只读模式挂载文件系统，这种行为通常不符合预期。因此，建议设置 ctrl-loss-tmo 选项，使 NVMe 子系统无限制地持续尝试重新连接。为此，请运行以下命令：

> sudo nvme connect --ctrl-loss-tmo=-1

要使 NVMe over Fabric 子系统在引导时可用，请在主机上创建一个 /etc/nvme/discovery.conf 文件，并在其中包含传递给 discover 命令的参数（请参见第 17.2.2 节 “发现 NVMe over Fabric 目标”）。例如，如果您按如下所示使用 discover 命令：

> sudo nvme discover -t tcp -a 10.0.0.3 -s 4420

请将 discover 命令的参数添加到 /etc/nvme/discovery.conf 文件中：

echo "-t tcp -a 10.0.0.3 -s 4420" | sudo tee -a /etc/nvme/discovery.conf

然后启用 nvmf-autoconnect 服务：

> sudo systemctl enable nvmf-autoconnect.service

NVMe 本机多路径默认处于启用状态。如果在控制器标识设置中设置了 CMIC 选项，则 NVMe 堆栈默认会将 NVMe 驱动器识别为多路径设备。

要管理多路径，您可以使用以下命令：

注意：在多路径设置中使用 iostat

iostat 命令可能不会显示 nvme list-subsys 列出的所有控制器。默认情况下，iostat 会过滤掉所有没有 I/O 的块设备。要使 iostat 显示所有设备，请使用：

iostat -p ALL

要配置 NVMe over Fabric 目标，需要安装 nvmetcli 命令行工具。请使用 zypper 安装该工具：

> sudo zypper in nvmetcli

nvmetcli 上提供了 http://git.infradead.org/users/hch/nvmetcli.git/blob_plain/HEAD:/Documentation/nvmetcli.txt 的最新文档。

下面的过程举例说明如何设置 NVMe over Fabric 目标。

配置存储在树型结构中。使用 cd 命令可导航。使用 ls 可列出对象。您可以使用 create 创建新对象。

可使用以下命令在 JSON 文件中保存目标配置：

> sudo nvmetcli
(nvmetcli)> saveconfig nvme-target-backup.json

要恢复配置，请使用：

(nvmetcli)> restore nvme-target-backup.json

您还可以擦除当前配置：

(nvmetcli)> clear

有些硬件需要特殊的配置才能正常工作。请浏览以下章节的标题，确定您是否使用了所提到的设备或供应商。

如果您在使用 Broadcom Emulex LightPulse Fibre Channel SCSI 驱动程序，请在 lpfc 模块的目标和主机中添加内核配置参数：

> sudo echo "options lpfc lpfc_enable_fc4_type=3" > /etc/modprobe.d/lpfc.conf

确保 Broadcom 适配器固件的版本至少为 11.4.204.33。另外确保已安装最新版本的 nvme-cli、nvmetcli 和内核。

要启用光纤通道端口作为 NVMe 目标，需要额外配置一个模块参数：lpfc_enable_nvmet= COMMA_SEPARATED_WWPNS。请输入带有前置 0x 的 WWPN，例如 lpfc_enable_nvmet=0x2000000055001122,0x2000000055003344。系统只会为目标模式配置列出的 WWPN。可将光纤通道端口配置为目标或发起端。

QLE269x 和 QLE27xx 适配器上都支持 FC-NVMe。Marvell® QLogic® QLA2xxx 光纤通道驱动程序中默认会启用 FC-NVMe 支持。

要确认 NVMe 是否已启用，请运行以下命令：

> cat /sys/module/qla2xxx/parameters/ql2xnvmeenable

如果显示 1，则表示 NVMe 已启用，显示 0 表示 NVMe 已禁用。

然后，检查以下命令的输出，确保 Marvell 适配器固件的版本不低于 8.08.204：

> cat /sys/class/scsi_host/host0/fw_version

最后，确保已安装适用于 SUSE Linux Enterprise Server 的最新版 nvme-cli、QConvergeConsoleCLI 和内核。例如，您可以运行

# zypper lu && zypper pchk

来检查更新和补丁。

有关安装的更多细节，请参考下列 Marvell 用户指南中的 FC-NVMe 部分：