24 通过 Samba 导出 Ceph 数据 #

请确保集群中已存在一个正常工作的 CephFS。

在 Ceph 管理节点上创建一个特定于 Samba 网关的密钥环，并将其复制到两个 Samba 网关节点：

cephuser@adm > ceph auth get-or-create client.samba.gw mon 'allow r' \
 osd 'allow *' mds 'allow *' -o ceph.client.samba.gw.keyring
cephuser@adm > scp ceph.client.samba.gw.keyring SAMBA_NODE:/etc/ceph/

将 SAMBA_NODE 替换为 Samba 网关节点的名称。

在 Samba 网关节点上执行以下步骤。将 Samba 连同 Ceph 集成包一起安装：

cephuser@smb > sudo zypper in samba samba-ceph

将 /etc/samba/smb.conf 文件的默认内容替换为以下内容：

[global]
  netbios name = SAMBA-GW
  clustering = no
  idmap config * : backend = tdb2
  passdb backend = tdbsam
  # disable print server
  load printers = no
  smbd: backgroundqueue = no

[SHARE_NAME]
  path = CEPHFS_MOUNT
  read only = no
  oplocks = no
  kernel share modes = no

在启动具有内核 CephFS 共享配置的 Samba 之前，必须先装入上面的 CEPHFS_MOUNT 路径。请参见第 23.3 节 “在 /etc/fstab 中装入 CephFS”。

上面的共享配置使用 Linux 内核 CephFS 客户端，这是出于性能原因建议使用的客户端。作为替代方案，也可以使用 Samba vfs_ceph 模块与 Ceph 集群通讯。以下说明仅适用于旧版，不建议用于新的 Samba 部署：

[SHARE_NAME]
  path = /
  vfs objects = ceph
  ceph: config_file = /etc/ceph/ceph.conf
  ceph: user_id = samba.gw
  read only = no
  oplocks = no
  kernel share modes = no

提示：Oplocks 和共享模式

oplocks（也称为 SMB2+ 租用）可通过加速客户端缓存来提升性能，不过如果将其他 CephFS 客户端（例如内核 mount.ceph、FUSE 或 NFS Ganesha）与 Samba 一起部署，该机制目前并不安全。

如果所有 CephFS 文件系统路径访问都专由 Samba 处理，则可安全启用 oplocks 参数。

目前，在使用 CephFS vfs 扩展模块运行的共享中，需要禁用 kernel share modes，文件处理工作才能正常进行。

重要：允许访问

Samba 可将 SMB 用户和组映射到本地帐户。可以通过以下命令为本地用户指定 Samba 共享访问的密码：

root # smbpasswd -a USERNAME

对于成功的 I/O，共享路径的访问控制列表 (ACL) 需要允许访问通过 Samba 连接的用户。您可以通过 CephFS 内核客户端暂时装入，并对共享路径使用 chmod、chown 或 setfacl 实用程序来修改 ACL。例如，要允许所有用户进行访问，请运行以下命令：

root # chmod 777 MOUNTED_SHARE_PATH

在管理节点上创建一个特定于 Samba 网关的密钥环，并将其复制到上述两个节点上：

cephuser@adm > ceph auth get-or-create client.samba.gw mon 'allow r' \
    osd 'allow *' mds 'allow *' -o ceph.client.samba.gw.keyring
cephuser@adm > scp ceph.client.samba.gw.keyring earth:/etc/ceph/
cephuser@adm > scp ceph.client.samba.gw.keyring mars:/etc/ceph/

SLE-HA 设置需要一个隔离设备，以避免在活动集群节点变为未同步时出现节点分裂情况。为此，您可以将 Ceph RBD 映像与 Stonith 块设备 (SBD) 搭配使用。有关更多详细信息，请参见 https://documentation.suse.com/sle-ha/15-SP2/html/SLE-HA-all/cha-ha-storage-protect.html#sec-ha-storage-protect-fencing-setup。

如果该映像尚不存在，则创建一个名为 rbd 的 RBD 存储池（参见第 18.1 节 “创建存储池”），并将其与 rbd 相关联（参见第 18.5.1 节 “将存储池与应用关联”）。然后创建一个名为 sbd01 的相关 RBD 映像：

cephuser@adm > ceph osd pool create rbd
cephuser@adm > ceph osd pool application enable rbd rbd
cephuser@adm > rbd -p rbd create sbd01 --size 64M --image-shared

准备好 earth 和 mars，以托管 Samba 服务：

1. 在继续下一步之前，请确保已安装以下包： ctdb、 tdb-tools和 samba。

   root # zypper in ctdb tdb-tools samba samba-ceph

2. 确保已停止并禁用 Samba 和 CTDB 服务：

   root # systemctl disable ctdb
   root # systemctl disable smb
   root # systemctl disable nmb
   root # systemctl disable winbind
   root # systemctl stop ctdb
   root # systemctl stop smb
   root # systemctl stop nmb
   root # systemctl stop winbind

3. 在所有节点上打开防火墙的端口 4379。这是为了使 CTDB 能够与其他集群节点通讯。

在 earth 上创建 Samba 的配置文件。这些文件稍后将自动同步到 mars。

1. 在 /etc/ctdb/nodes 文件中插入 Samba 网关节点的专用 IP 地址列表。有关更多详细信息，请参见 ctdb 手册页 (man 7 ctdb)。

   192.168.1.1
   192.168.1.2

2. 配置 Samba。在 /etc/samba/smb.conf 的 [global] 部分中添加以下行。使用所选的主机名取代 CTDB-SERVER（集群中的所有节点将显示为一个使用此名称的大节点，以方便操作）。另外，添加一个共享定义，以 SHARE_NAME 为例：

   [global]
     netbios name = SAMBA-HA-GW
     clustering = yes
     idmap config * : backend = tdb2
     passdb backend = tdbsam
     ctdbd socket = /var/lib/ctdb/ctdb.socket
     # disable print server
     load printers = no
     smbd: backgroundqueue = no
   
   [SHARE_NAME]
     path = /
     vfs objects = ceph
     ceph: config_file = /etc/ceph/ceph.conf
     ceph: user_id = samba.gw
     read only = no
     oplocks = no
     kernel share modes = no

   请注意，/etc/ctdb/nodes 和 /etc/samba/smb.conf 文件需要在所有 Samba 网关节点上都保持一致。

安装并引导 SUSE Linux Enterprise High Availability 集群。

1. 在 earth 和 mars 上注册 SUSE Linux Enterprise High Availability Extension：

   root@earth # SUSEConnect -r ACTIVATION_CODE -e E_MAIL

   root@mars # SUSEConnect -r ACTIVATION_CODE -e E_MAIL

2. 安装 ha-cluster-bootstrap ：

   root@earth # zypper in ha-cluster-bootstrap

   root@mars # zypper in ha-cluster-bootstrap

3. 通过 rbdmap.service 在两个 Samba 网关上映射 RBD 映像 sbd01。

   编辑 /etc/ceph/rbdmap 并添加 SBD 映像的条目：

   rbd/sbd01 id=samba.gw,keyring=/etc/ceph/ceph.client.samba.gw.keyring

   启用并启动 rbdmap.service：

   root@earth # systemctl enable rbdmap.service && systemctl start rbdmap.service
   root@mars # systemctl enable rbdmap.service && systemctl start rbdmap.service

   /dev/rbd/rbd/sbd01 设备应在两个 Samba 网关上都可用。

4. 初始化 earth 上的集群并让 mars 加入它。

   root@earth # ha-cluster-init

   root@mars # ha-cluster-join -c earth

   

   重要

   在初始化和加入集群的过程中，会以交互方式询问您是否使用 SBD。点击 y 进行确认，然后将 /dev/rbd/rbd/sbd01 指定为存储设备的路径。

检查集群的状态。您应该会看到两个节点都已添加到集群中：

root@earth # crm status
2 nodes configured
1 resource configured

Online: [ earth mars ]

Full list of resources:

 admin-ip       (ocf::heartbeat:IPaddr2):       Started earth

在 earth 上执行以下命令，以配置 CTDB 资源：

root@earth # crm configure
crm(live)configure# primitive ctdb ocf:heartbeat:CTDB params \
    ctdb_manages_winbind="false" \
    ctdb_manages_samba="false" \
    ctdb_recovery_lock="!/usr/lib64/ctdb/ctdb_mutex_ceph_rados_helper
        ceph client.samba.gw cephfs_metadata ctdb-mutex"
    ctdb_socket="/var/lib/ctdb/ctdb.socket" \
        op monitor interval="10" timeout="20" \
        op start interval="0" timeout="200" \
        op stop interval="0" timeout="100"
crm(live)configure# primitive smb systemd:smb \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# primitive nmb systemd:nmb \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# primitive winbind systemd:winbind \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# group g-ctdb ctdb winbind nmb smb
crm(live)configure# clone cl-ctdb g-ctdb meta interleave="true"
crm(live)configure# commit

提示：可选的 nmb 和 winbind 基元

如果不需要浏览网络共享，则无需添加 nmb 基元。

仅当配置为 Active Directory 域成员时才需要 winbind 基元。请参见第 24.2 节 “加入 Samba 网关和 Active Directory”。

配置选项 ctdb_recovery_lock 中的二进制文件 /usr/lib64/ctdb/ctdb_mutex_ceph_rados_helper 中按如下顺序包含以下参数：CLUSTER_NAME、CEPHX_USER、RADOS_POOL 和 RADOS_OBJECT。

可追加一个额外的锁定超时参数来覆盖所用的默认值（10 秒）。使用更高的值将会增加 CTDB 恢复主节点故障转移时间，然而使用更低的值可能会导致不正确地将恢复主节点检测为停用状态，以致触发摆动故障转移。

添加集群 IP 地址：

crm(live)configure# primitive ip ocf:heartbeat:IPaddr2
    params ip=192.168.2.1 \
    unique_clone_address="true" \
    op monitor interval="60" \
    meta resource-stickiness="0"
crm(live)configure# clone cl-ip ip \
    meta interleave="true" clone-node-max="2" globally-unique="true"
crm(live)configure# colocation col-with-ctdb 0: cl-ip cl-ctdb
crm(live)configure# order o-with-ctdb 0: cl-ip cl-ctdb
crm(live)configure# commit

如果 unique_clone_address 设置为 true，IPaddr2 资源代理将向指定的地址添加一个克隆 ID，从而导致出现三个不同的 IP 地址。这些地址通常是不需要的，但有助于实现负载平衡。有关此主题的更多信息，请参见 https://documentation.suse.com/sle-ha/15-SP2/html/SLE-HA-all/cha-ha-lb.html。

检查结果：

root@earth # crm status
Clone Set: base-clone [dlm]
     Started: [ factory-1 ]
     Stopped: [ factory-0 ]
 Clone Set: cl-ctdb [g-ctdb]
     Started: [ factory-1 ]
     Started: [ factory-0 ]
 Clone Set: cl-ip [ip] (unique)
     ip:0       (ocf:heartbeat:IPaddr2):       Started factory-0
     ip:1       (ocf:heartbeat:IPaddr2):       Started factory-1

从客户端计算机进行测试。在 Linux 客户端上运行以下命令，以检查能否从系统复制文件以及将文件复制到系统：

root # smbclient //192.168.2.1/myshare