24 Exportation des données Ceph via Samba #

Assurez-vous qu'un CephFS actif existe déjà dans votre grappe.

Créez un trousseau de clés spécifique à la passerelle Samba sur le noeud Admin de Ceph et copiez-le sur les deux noeuds de la passerelle Samba :

cephuser@adm > ceph auth get-or-create client.samba.gw mon 'allow r' \
 osd 'allow *' mds 'allow *' -o ceph.client.samba.gw.keyring
cephuser@adm > scp ceph.client.samba.gw.keyring SAMBA_NODE:/etc/ceph/

Remplacez SAMBA_NODE par le nom du noeud de la passerelle Samba.

Les étapes suivantes sont exécutées sur le noeud de la passerelle Samba. Installez Samba avec le paquetage d'intégration de Ceph :

cephuser@smb > sudo zypper in samba samba-ceph

Remplacez le contenu par défaut du fichier /etc/samba/smb.conf par ce qui suit :

[global]
  netbios name = SAMBA-GW
  clustering = no
  idmap config * : backend = tdb2
  passdb backend = tdbsam
  # disable print server
  load printers = no
  smbd: backgroundqueue = no

[SHARE_NAME]
  path = CEPHFS_MOUNT
  read only = no
  oplocks = no
  kernel share modes = no

Le chemin CEPHFS_MOUNT ci-dessus doit être monté avant de démarrer Samba avec une configuration de partage CephFS du kernel. Reportez-vous à la Section 23.3, « Montage de CephFS dans /etc/fstab ».

La configuration de partage ci-dessus utilise le client CephFS du kernel Linux, recommandé pour des raisons de performances. Comme alternative, le module vfs_ceph de Samba peut également être utilisé pour communiquer avec la grappe Ceph. Les instructions sont indiquées ci-dessous pour des installation existantes, mais ne sont pas recommandées pour les nouveaux déploiements de Samba :

[SHARE_NAME]
  path = /
  vfs objects = ceph
  ceph: config_file = /etc/ceph/ceph.conf
  ceph: user_id = samba.gw
  read only = no
  oplocks = no
  kernel share modes = no

Astuce : modes oplocks et share

Les verrous optionnels (oplocks - également connus sous le terme de baux SMB2+) permettent d'améliorer les performances grâce à un caching client agressif, mais à l'heure actuelle, ils sont risqués lorsque Samba est déployé avec d'autres clients CephFS, tels que le kernel mount.ceph, FUSE ou NFS Ganesha.

Si tous les accès au chemin du système de fichiers CephFS sont exclusivement gérés par Samba, le paramètre oplocks peut être activé en toute sécurité.

Actuellement, pour que les fichiers soient desservis correctement, l'option kernel share modes doit être désactivée sur un partage en cours d'exécution avec le module CephFS vfs.

Important : autorisation d'accès

Samba assigne les utilisateurs et les groupes SMB à des comptes locaux. Les utilisateurs locaux peuvent se voir assigner un mot de passe pour l'accès au partage Samba via :

root # smbpasswd -a USERNAME

Pour que les entrées/sorties se déroulent correctement, la liste de contrôle d'accès (ACL) du chemin du partage doit autoriser l'accès à l'utilisateur connecté via Samba. Vous pouvez modifier l'ACL en effectuant un montage temporaire via le client de kernel CephFS et en employant les utilitaires chmod, chown ou setfacl par rapport au chemin du partage. Par exemple, pour permettre l'accès à tous les utilisateurs, exécutez la commande suivante :

root # chmod 777 MOUNTED_SHARE_PATH

Créez un trousseau de clés spécifique à la passerelle Samba sur le noeud Admin et copiez-le sur les deux noeuds :

cephuser@adm > ceph auth get-or-create client.samba.gw mon 'allow r' \
    osd 'allow *' mds 'allow *' -o ceph.client.samba.gw.keyring
cephuser@adm > scp ceph.client.samba.gw.keyring earth:/etc/ceph/
cephuser@adm > scp ceph.client.samba.gw.keyring mars:/etc/ceph/

La configuration de SLE-HA nécessite un périphérique d'isolation pour éviter une situation de split brain (cerveau divisé) lorsque les noeuds de grappe actifs ne sont plus synchronisés. Pour cela, vous pouvez utiliser une image Ceph RBD avec un périphérique de traitement par blocs Stonith (SBD). Pour plus d'informations, reportez-vous à la page https://documentation.suse.com/sle-ha/15-SP2/html/SLE-HA-all/cha-ha-storage-protect.html#sec-ha-storage-protect-fencing-setup.

Si elle n'existe pas encore, créez une réserve RBD appelée rbd (voir Section 18.1, « Création d'une réserve ») et associez-la à l'application rbd (voir Section 18.5.1, « Association de réserves à une application »). Créez ensuite une image RBD associée appelée sbd01 :

cephuser@adm > ceph osd pool create rbd
cephuser@adm > ceph osd pool application enable rbd rbd
cephuser@adm > rbd -p rbd create sbd01 --size 64M --image-shared

Préparez earth et mars pour héberger le service Samba :

1. Assurez-vous que les paquetages suivants sont installés avant de poursuivre : ctdb, tdb-tools et samba.

   root # zypper in ctdb tdb-tools samba samba-ceph

2. Assurez-vous que les services Samba et CTDB sont arrêtés et désactivés :

   root # systemctl disable ctdb
   root # systemctl disable smb
   root # systemctl disable nmb
   root # systemctl disable winbind
   root # systemctl stop ctdb
   root # systemctl stop smb
   root # systemctl stop nmb
   root # systemctl stop winbind

3. Ouvrez le port 4379 de votre pare-feu sur tous les noeuds. Cette ouverture est nécessaire pour que CTDB communique avec d'autres noeuds de la grappe.

Sur earth, créez les fichiers de configuration de Samba. Ils seront ensuite automatiquement synchronisés avec mars.

1. Insérez une liste d'adresses IP privées des noeuds de la passerelle Samba dans le fichier /etc/ctdb/nodes. Pour plus d'informations, reportez-vous à la page de manuel ctdb (man 7 ctdb).

   192.168.1.1
   192.168.1.2

2. Configurez Samba. Ajoutez les lignes suivantes à la section [global] de /etc/samba/smb.conf. Utilisez le nom d'hôte de votre choix à la place de CTDB-SERVER (tous les noeuds de la grappe apparaîtront sous la forme d'un gros noeud portant ce nom). Ajoutez également une définition de partage. Prenons SHARE_NAME (NOM_PARTAGE) comme exemple :

   [global]
     netbios name = SAMBA-HA-GW
     clustering = yes
     idmap config * : backend = tdb2
     passdb backend = tdbsam
     ctdbd socket = /var/lib/ctdb/ctdb.socket
     # disable print server
     load printers = no
     smbd: backgroundqueue = no
   
   [SHARE_NAME]
     path = /
     vfs objects = ceph
     ceph: config_file = /etc/ceph/ceph.conf
     ceph: user_id = samba.gw
     read only = no
     oplocks = no
     kernel share modes = no

   Notez que les fichiers /etc/ctdb/nodes et /etc/samba/smb.conf doivent correspondre sur tous les noeuds de passerelle Samba.

Installez et amorcez la grappe SUSE Linux Enterprise High Availability.

1. Enregistrez l'extension SUSE Linux Enterprise High Availability Extension sur earth et mars:

   root@earth # SUSEConnect -r ACTIVATION_CODE -e E_MAIL

   root@mars # SUSEConnect -r ACTIVATION_CODE -e E_MAIL

2. Installez ha-cluster-bootstrap sur les deux noeuds :

   root@earth # zypper in ha-cluster-bootstrap

   root@mars # zypper in ha-cluster-bootstrap

3. Assignez l'image RBD sbd01 sur les deux passerelles Samba via rbdmap.service.

   Modifiez /etc/ceph/rbdmap et ajoutez une entrée pour l'image SBD :

   rbd/sbd01 id=samba.gw,keyring=/etc/ceph/ceph.client.samba.gw.keyring

   Activez et démarrez rbdmap.service :

   root@earth # systemctl enable rbdmap.service && systemctl start rbdmap.service
   root@mars # systemctl enable rbdmap.service && systemctl start rbdmap.service

   Le périphérique /dev/rbd/rbd/sbd01 doit être disponible sur les deux passerelles Samba.

4. Initialisez la grappe sur earth et laissez mars la rejoindre.

   root@earth # ha-cluster-init

   root@mars # ha-cluster-join -c earth

   

   Important

   Au cours du processus d'initialisation et de jointure de la grappe, il vous sera demandé de manière interactive si vous souhaitez utiliser SBD. Confirmez avec y, puis spécifiez /dev/rbd/rbd/sbd01 comme chemin d'accès au périphérique de stockage.

Vérifiez l'état de la grappe. Vous devriez voir deux noeuds ajoutés à la grappe :

root@earth # crm status
2 nodes configured
1 resource configured

Online: [ earth mars ]

Full list of resources:

 admin-ip       (ocf::heartbeat:IPaddr2):       Started earth

Exécutez les commandes suivantes sur earth pour configurer la ressource CTDB :

root@earth # crm configure
crm(live)configure# primitive ctdb ocf:heartbeat:CTDB params \
    ctdb_manages_winbind="false" \
    ctdb_manages_samba="false" \
    ctdb_recovery_lock="!/usr/lib64/ctdb/ctdb_mutex_ceph_rados_helper
        ceph client.samba.gw cephfs_metadata ctdb-mutex"
    ctdb_socket="/var/lib/ctdb/ctdb.socket" \
        op monitor interval="10" timeout="20" \
        op start interval="0" timeout="200" \
        op stop interval="0" timeout="100"
crm(live)configure# primitive smb systemd:smb \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# primitive nmb systemd:nmb \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# primitive winbind systemd:winbind \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# group g-ctdb ctdb winbind nmb smb
crm(live)configure# clone cl-ctdb g-ctdb meta interleave="true"
crm(live)configure# commit

Astuce : primitives nmb et winbind facultatives

Si vous n'avez pas besoin de parcourir un partage réseau, il n'est pas nécessaire d'ajouter la primitive nmb.

La primitive winbind est uniquement requise en cas de configuration en tant que membre du domaine Active Directory. Reportez-vous à la Section 24.2, « Jointure de la passerelle Samba et d'Active Directory ».

Le fichier binaire /usr/lib64/ctdb/ctdb_mutex_ceph_rados_helper de l'option de configuration ctdb_recovery_lock possède les paramètres CLUSTER_NAME (NOM_GRAPPE), CEPHX_USER (UTILISATEUR_CEPHX), RADOS_POOL (RÉSERVE_RADOS) et RADOS_OBJECT (OBJET_RADOS), dans cet ordre.

Un paramètre de timeout de verrouillage supplémentaire peut être ajouté à la suite pour remplacer la valeur par défaut utilisée (10 secondes). Une valeur plus élevée augmente le délai de basculement du maître de récupération CTDB, tandis qu'une valeur plus faible peut entraîner une détection incorrecte de l'arrêt du maître de récupération, déclenchant des basculements bagottants.

Ajoutez une adresse IP en grappe :

crm(live)configure# primitive ip ocf:heartbeat:IPaddr2
    params ip=192.168.2.1 \
    unique_clone_address="true" \
    op monitor interval="60" \
    meta resource-stickiness="0"
crm(live)configure# clone cl-ip ip \
    meta interleave="true" clone-node-max="2" globally-unique="true"
crm(live)configure# colocation col-with-ctdb 0: cl-ip cl-ctdb
crm(live)configure# order o-with-ctdb 0: cl-ip cl-ctdb
crm(live)configure# commit

Si unique_clone_address est défini sur true, l'agent de ressource IPaddr2 ajoute un ID de clone à l'adresse spécifiée, ce qui permet d'obtenir trois adresses IP différentes. Elles ne sont généralement pas nécessaires, mais aident à l'équilibrage de la charge. Pour plus d'informations sur ce sujet, reportez-vous à l'adresse https://documentation.suse.com/sle-ha/15-SP2/html/SLE-HA-all/cha-ha-lb.html.

Vérifiez le résultat :

root@earth # crm status
Clone Set: base-clone [dlm]
     Started: [ factory-1 ]
     Stopped: [ factory-0 ]
 Clone Set: cl-ctdb [g-ctdb]
     Started: [ factory-1 ]
     Started: [ factory-0 ]
 Clone Set: cl-ip [ip] (unique)
     ip:0       (ocf:heartbeat:IPaddr2):       Started factory-0
     ip:1       (ocf:heartbeat:IPaddr2):       Started factory-1

Effectuez un test à partir d'une machine client. Sur un client Linux, exécutez la commande suivante pour vérifier si vous pouvez copier des fichiers depuis et vers le système :

root # smbclient //192.168.2.1/myshare