24 Sambaを介したCephデータのエクスポート #

クラスタ内に動作中のCephFSがすでに存在することを確認します。

Ceph管理ノード上にSambaゲートウェイに固有のキーリングを作成して、両方のSambaゲートウェイノードにコピーします。

cephuser@adm > ceph auth get-or-create client.samba.gw mon 'allow r' \
 osd 'allow *' mds 'allow *' -o ceph.client.samba.gw.keyring
cephuser@adm > scp ceph.client.samba.gw.keyring SAMBA_NODE:/etc/ceph/

SAMBA_NODEは、Sambaゲートウェイノードの名前に置き換えます。

Sambaゲートウェイノードで次の手順を実行します。Ceph統合パッケージとともにSambaをインストールします。

cephuser@smb > sudo zypper in samba samba-ceph

/etc/samba/smb.confファイルのデフォルトの内容を以下に置き換えます。

[global]
  netbios name = SAMBA-GW
  clustering = no
  idmap config * : backend = tdb2
  passdb backend = tdbsam
  # disable print server
  load printers = no
  smbd: backgroundqueue = no

[SHARE_NAME]
  path = CEPHFS_MOUNT
  read only = no
  oplocks = no
  kernel share modes = no

先のCEPHFS_MOUNTパスは、カーネルCephFS共有設定でSambaを起動する前にマウントする必要があります。23.3項 「/etc/fstabでのCephFSのマウント」を参照してください。

この共有設定はLinuxカーネルのCephFSクライアントを使用しています。パフォーマンス上の理由から、この設定をお勧めします。もしくは、Samba vfs_cephモジュールをCephクラスタとの通信に使用することもできます。設定内容を以下に示します。この方法は旧来の用途向けであり、新しいSambaの展開にはお勧めしません。

[SHARE_NAME]
  path = /
  vfs objects = ceph
  ceph: config_file = /etc/ceph/ceph.conf
  ceph: user_id = samba.gw
  read only = no
  oplocks = no
  kernel share modes = no

ヒント: Oplocksと共有モード

oplocks (SMB2+ leasesとしても知られている)は、積極的なクライアントキャッシングによってパフォーマンスを向上させることができますが、現在のところ、Sambaが他のCephFSクライアント(カーネルmount.cephf、FUSE、NFS Ganeshaなど)とともに展開されている場合は安全ではありません。

すべてのCephFSファイルシステムパスアクセスをSambaで排他的に処理する場合は、oplocksパラメータを有効化しても安全です。

現在のところ、ファイルサービスを正しく動作させるには、CephFS vfsモジュールで実行されている共有では、kernel share modesを無効にする必要があります。

重要: アクセスの許可

SambaはSMBユーザとグループをローカルアカウントにマッピングします。次のコマンドにより、Samba共有アクセス用のパスワードをローカルユーザに割り当てることができます。

# smbpasswd -a USERNAME

I/Oを正常に実行するには、共有パスのアクセス制御リスト(ACL)を使用して、Samba経由で接続されているユーザへのアクセスを許可する必要があります。ACLを変更するには、CephFSカーネルクライアントを介して一時的にマウントし、共有パスに対してchmod、chown、またはsetfaclのユーティリティを使用します。たとえば、すべてのユーザに対してアクセスを許可するには、次のコマンドを実行します。

# chmod 777 MOUNTED_SHARE_PATH

管理ノード上にSambaゲートウェイに固有のキーリングを作成して、両方のノードにコピーします。

cephuser@adm > ceph auth get-or-create client.samba.gw mon 'allow r' \
    osd 'allow *' mds 'allow *' -o ceph.client.samba.gw.keyring
cephuser@adm > scp ceph.client.samba.gw.keyring earth:/etc/ceph/
cephuser@adm > scp ceph.client.samba.gw.keyring mars:/etc/ceph/

SLE-HAセットアップには、アクティブクラスタノードが非同期状態になった場合に「スプリットブレイン」状態に陥ることを避けるため、フェンシングデバイスが必要です。このため、SBD (Stonith Block Device)を使用したCeph RBDイメージを使用できます。詳細については、https://documentation.suse.com/sle-ha/15-SP1/single-html/SLE-HA-guide/#sec-ha-storage-protect-fencing-setupを参照してください。

RBDイメージが存在しない場合は、rbdという名前のRBDプールを作成し(18.1項 「プールの作成」を参照してください)、rbdを関連付けます(18.5.1項 「プールとアプリケーションの関連付け」を参照してください)。そして、sbd01という名前の関連するRBDイメージを作成します。

cephuser@adm > ceph osd pool create rbd
cephuser@adm > ceph osd pool application enable rbd rbd
cephuser@adm > rbd -p rbd create sbd01 --size 64M --image-shared

earthおよびmarsを、Sambaサービスをホストするように準備します。

1. 次のパッケージがインストールされていることを確認してから進んでください: ctdb、tdb-tools、samba。

   # zypper in ctdb tdb-tools samba samba-ceph

2. SambaサービスとCTDBサービスが停止され、無効化されていることを確認します。

   # systemctl disable ctdb
   # systemctl disable smb
   # systemctl disable nmb
   # systemctl disable winbind
   # systemctl stop ctdb
   # systemctl stop smb
   # systemctl stop nmb
   # systemctl stop winbind

3. すべてのノードのファイアウォールのポート4379を開きます。これは、CTDBが他のクラスタノードと通信するために必要です。

earth上にSambaの設定ファイルを作成します。これらは、後で自動的にmarsに同期します。

1. Sambaゲートウェイノード上のプライベートIPアドレスのリストを/etc/ctdb/nodesファイルに挿入します。詳細については、ctdbのマニュアルのページ(man 7 ctdb)を参照してください。

   192.168.1.1
   192.168.1.2

2. Sambaを設定します。/etc/samba/smb.confの[global]セクションに次の行を追加します。CTDB-SERVERの代わりに、任意のホスト名を使用します(クラスタ内のすべてのノードは、この名前を持つ1つの大きなノードとして表示されます)。共有の定義も追加します。一例として、SHARE_NAMEを検討してください。

   [global]
     netbios name = SAMBA-HA-GW
     clustering = yes
     idmap config * : backend = tdb2
     passdb backend = tdbsam
     ctdbd socket = /var/lib/ctdb/ctdb.socket
     # disable print server
     load printers = no
     smbd: backgroundqueue = no
   
   [SHARE_NAME]
     path = /
     vfs objects = ceph
     ceph: config_file = /etc/ceph/ceph.conf
     ceph: user_id = samba.gw
     read only = no
     oplocks = no
     kernel share modes = no

   すべてのSambaゲートウェイノードで/etc/ctdb/nodesのファイルと/etc/samba/smb.confのファイルが一致している必要があることに注意してください。

SUSE Linux Enterprise High Availabilityクラスタをインストールして起動します。

1. SUSE Linux Enterprise High Availability拡張機能をearthおよびmarsに登録します。

   root@earth # SUSEConnect -r ACTIVATION_CODE -e E_MAIL

   root@mars # SUSEConnect -r ACTIVATION_CODE -e E_MAIL

2. 両方のノードにha-cluster-bootstrapをインストールします。

   root@earth # zypper in ha-cluster-bootstrap

   root@mars # zypper in ha-cluster-bootstrap

3. RBDイメージsbd01を両方のSambaゲートウェイにrbdmap.serviceを介してマッピングします。

   /etc/ceph/rbdmapを編集して、SBDイメージのエントリを追加します。

   rbd/sbd01 id=samba.gw,keyring=/etc/ceph/ceph.client.samba.gw.keyring

   rbdmap.serviceを有効化し、起動します。

   root@earth # systemctl enable rbdmap.service && systemctl start rbdmap.service
   root@mars # systemctl enable rbdmap.service && systemctl start rbdmap.service

   /dev/rbd/rbd/sbd01のデバイスは両方のSambaゲートウェイで使用可能である必要があります。

4. earthのクラスタを初期化し、marsを参加させます。

   root@earth # ha-cluster-init

   root@mars # ha-cluster-join -c earth

   

   重要

   クラスタの初期化および参加の処理中に、SBDを使用するかどうかが対話形式で確認されます。yで確定し、ストレージデバイスのパスとして/dev/rbd/rbd/sbd01を指定してください。

クラスタの状態を確認します。クラスタに2つのノードが追加されたことがわかります。

root@earth # crm status
2 nodes configured
1 resource configured

Online: [ earth mars ]

Full list of resources:

 admin-ip       (ocf::heartbeat:IPaddr2):       Started earth

earthで次のコマンドを実行して、CTDBリソースを設定します。

root@earth # crm configure
crm(live)configure# primitive ctdb ocf:heartbeat:CTDB params \
    ctdb_manages_winbind="false" \
    ctdb_manages_samba="false" \
    ctdb_recovery_lock="!/usr/lib64/ctdb/ctdb_mutex_ceph_rados_helper
        ceph client.samba.gw cephfs_metadata ctdb-mutex"
    ctdb_socket="/var/lib/ctdb/ctdb.socket" \
        op monitor interval="10" timeout="20" \
        op start interval="0" timeout="200" \
        op stop interval="0" timeout="100"
crm(live)configure# primitive smb systemd:smb \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# primitive nmb systemd:nmb \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# primitive winbind systemd:winbind \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# group g-ctdb ctdb winbind nmb smb
crm(live)configure# clone cl-ctdb g-ctdb meta interleave="true"
crm(live)configure# commit

ヒント: オプションのnmbおよびwinbindプリミティブ

ネットワーク共有ブラウジングが不要な場合は、nmbプリミティブの追加は不要です。

winbindプリミティブは、Active Directoryドメインメンバーとして設定する場合にのみ必要です。24.2項 「SambaゲートウェイとActive Directoryの参加」を参照してください。

設定オプションctdb_recovery_lockのバイナリ/usr/lib64/ctdb/ctdb_mutex_rados_helperには、パラメータCLUSTER_NAME、CEPHX_USER、CEPH_POOL、およびRADOS_OBJECTがこの順序で指定されています。

追加のlock-timeoutパラメータを付加して、使用されているデフォルト値(10秒)を上書きできます。値を大きくすると、CTDB回復マスタのフェールオーバー時間が長くなり、値を小さくすると、回復マスタがダウンとして不正確に検出され、フラッピングフェールオーバーがトリガされる可能性があります。

クラスタ対応のIPアドレスを追加します。

crm(live)configure# primitive ip ocf:heartbeat:IPaddr2
    params ip=192.168.2.1 \
    unique_clone_address="true" \
    op monitor interval="60" \
    meta resource-stickiness="0"
crm(live)configure# clone cl-ip ip \
    meta interleave="true" clone-node-max="2" globally-unique="true"
crm(live)configure# colocation col-with-ctdb 0: cl-ip cl-ctdb
crm(live)configure# order o-with-ctdb 0: cl-ip cl-ctdb
crm(live)configure# commit

unique_clone_addressがtrueに設定されている場合、IPaddr2リソースエージェントはクローンIDを指定のアドレスに追加し、3つの異なるIPアドレスを設定します。これらは通常必要とされませんが、負荷分散に役立ちます。この項目の詳細については、https://documentation.suse.com/sle-ha/15-SP1/single-html/SLE-HA-guide/#cha-ha-lbを参照してください。

結果を確認します。

root@earth # crm status
Clone Set: base-clone [dlm]
     Started: [ factory-1 ]
     Stopped: [ factory-0 ]
 Clone Set: cl-ctdb [g-ctdb]
     Started: [ factory-1 ]
     Started: [ factory-0 ]
 Clone Set: cl-ip [ip] (unique)
     ip:0       (ocf:heartbeat:IPaddr2):       Started factory-0
     ip:1       (ocf:heartbeat:IPaddr2):       Started factory-1

クライアントコンピュータからテストを行います。次のコマンドをLinuxクライアントで実行して、システムからファイルをコピーしたり、システムにファイルをコピーできるかどうか確認します。

# smbclient //192.168.2.1/myshare