24 Exportar dados do Ceph por meio do Samba #

Verifique se já existe um CephFS em execução no cluster.

Crie um chaveiro específico do Gateway do Samba no nó de admin do Ceph e copie-o para os dois nós do Gateway do Samba:

cephuser@adm > ceph auth get-or-create client.samba.gw mon 'allow r' \
 osd 'allow *' mds 'allow *' -o ceph.client.samba.gw.keyring
cephuser@adm > scp ceph.client.samba.gw.keyring SAMBA_NODE:/etc/ceph/

Substitua SAMBA_NODE pelo nome do nó do gateway do Samba.

As etapas a seguir são executadas no nó do Gateway do Samba. Instale o Samba com o pacote de integração do Ceph:

cephuser@smb > sudo zypper in samba samba-ceph

Substitua o conteúdo padrão do arquivo /etc/samba/smb.conf com o seguinte:

[global]
  netbios name = SAMBA-GW
  clustering = no
  idmap config * : backend = tdb2
  passdb backend = tdbsam
  # disable print server
  load printers = no
  smbd: backgroundqueue = no

[SHARE_NAME]
  path = CEPHFS_MOUNT
  read only = no
  oplocks = no
  kernel share modes = no

O caminho CEPHFS_MOUNT acima deve ser montado antes de iniciar o Samba com uma configuração de compartilhamento do CephFS do kernel. Consulte a Seção 23.3, “Montando o CephFS em /etc/fstab”.

A configuração de compartilhamento acima usa o cliente CephFS do kernel do Linux, que é recomendado por motivos de desempenho. Outra opção é usar o módulo vfs_ceph do Samba para comunicação com o cluster do Ceph. As instruções mostradas abaixo são para uso legado e não são recomendadas para novas implantações do Samba:

[SHARE_NAME]
  path = /
  vfs objects = ceph
  ceph: config_file = /etc/ceph/ceph.conf
  ceph: user_id = samba.gw
  read only = no
  oplocks = no
  kernel share modes = no

Dica: Oplocks e modos de compartilhamento

Os oplocks (também conhecidos como concessões do SMB2+) proporciona melhor desempenho por meio de armazenamento em cahe de cliente agressivo, mas não é seguro atualmente quando o Samba é implantado com outros clientes CephFS, como mount.ceph do kernel, FUSE ou NFS Ganesha.

Se todo o acesso do caminho do sistema de arquivos CephFS for processado exclusivamente pelo Samba, o parâmetro oplocks poderá ser habilitado com segurança.

No momento, os modos de compartilhamento do kernel precisam ser desabilitados em um compartilhamento executado com o módulo vfs do CephFS para que o processamento do arquivo funcione apropriadamente.

Importante: Permitindo acesso

O Samba mapeia usuários e grupos do SMB para contas locais. Os usuários locais podem receber uma senha para acesso ao compartilhamento do Samba por meio de:

# smbpasswd -a USERNAME

Para uma E/S bem-sucedida, a lista de controles de acesso (ACL, Access Control List) do caminho do compartilhamento precisa permitir o acesso ao usuário conectado pelo Samba. É possível modificar a ACL por uma montagem temporária por meio do cliente do kernel CephFS e usando os utilitários chmod, chown ou setfacl no caminho do compartilhamento. Por exemplo, para permitir o acesso de todos os usuários, execute:

# chmod 777 MOUNTED_SHARE_PATH

Crie um chaveiro específico do Gateway do Samba no Nó de Admin e copie-o para os dois nós:

cephuser@adm > ceph auth get-or-create client.samba.gw mon 'allow r' \
    osd 'allow *' mds 'allow *' -o ceph.client.samba.gw.keyring
cephuser@adm > scp ceph.client.samba.gw.keyring earth:/etc/ceph/
cephuser@adm > scp ceph.client.samba.gw.keyring mars:/etc/ceph/

A configuração de SLE-HA requer um dispositivo de fencing para evitar uma situação de split brain quando os nós do cluster ativos perdem a sincronização. Para essa finalidade, você pode usar uma imagem RBD do Ceph com o Dispositivo de Blocos Stonith (SBD, Stonith Block Device). Consulte https://documentation.suse.com/sle-ha/15-SP1/single-html/SLE-HA-guide/#sec-ha-storage-protect-fencing-setup para obter mais detalhes.

Se ele ainda não existir, crie um pool RBD chamado rbd (consulte a Seção 18.1, “Criando um pool”) e associe-o ao rbd (consulte a Seção 18.5.1, “Associando pools a um aplicativo”). Em seguida, crie uma imagem RBD relacionada chamada sbd01:

cephuser@adm > ceph osd pool create rbd
cephuser@adm > ceph osd pool application enable rbd rbd
cephuser@adm > rbd -p rbd create sbd01 --size 64M --image-shared

Prepare o earth e o mars para hospedar o serviço do Samba:

1. Verifique se os seguintes pacotes estão instalados antes de continuar: ctdb, tdb-tools e samba.

   # zypper in ctdb tdb-tools samba samba-ceph

2. Verifique se os serviços Samba e CTDB estão parados e desabilitados:

   # systemctl disable ctdb
   # systemctl disable smb
   # systemctl disable nmb
   # systemctl disable winbind
   # systemctl stop ctdb
   # systemctl stop smb
   # systemctl stop nmb
   # systemctl stop winbind

3. Abra a porta 4379 do seu firewall em todos os nós. Isso é necessário para o CTDB se comunicar com outros nós do cluster.

No earth, crie os arquivos de configuração para o Samba. Mais tarde, eles serão sincronizados automaticamente com o mars.

1. Insira uma lista de endereços IP particulares dos nós do Gateway do Samba no arquivo /etc/ctdb/nodes. Encontre mais detalhes na página de manual do ctdb (man 7 ctdb).

   192.168.1.1
   192.168.1.2

2. Configure o Samba. Adicione as seguintes linhas à seção [global] do /etc/samba/smb.conf. Use o nome de host de sua escolha em vez CTDB-SERVER (todos os nós no cluster aparecerão como um nó grande com esse nome). Adicione também uma definição do compartilhamento. Considere SHARE_NAME como um exemplo:

   [global]
     netbios name = SAMBA-HA-GW
     clustering = yes
     idmap config * : backend = tdb2
     passdb backend = tdbsam
     ctdbd socket = /var/lib/ctdb/ctdb.socket
     # disable print server
     load printers = no
     smbd: backgroundqueue = no
   
   [SHARE_NAME]
     path = /
     vfs objects = ceph
     ceph: config_file = /etc/ceph/ceph.conf
     ceph: user_id = samba.gw
     read only = no
     oplocks = no
     kernel share modes = no

   Observe que os arquivos /etc/ctdb/nodes e /etc/samba/smb.conf precisam ser iguais em todos os nós do Gateway do Samba.

Instale e inicialize o cluster da SUSE Linux Enterprise High Availability.

1. Registre a SUSE Linux Enterprise High Availability Extension em earth e mars:

   root@earth # SUSEConnect -r ACTIVATION_CODE -e E_MAIL

   root@mars # SUSEConnect -r ACTIVATION_CODE -e E_MAIL

2. Instale o ha-cluster-bootstrap nos dois nós:

   root@earth # zypper in ha-cluster-bootstrap

   root@mars # zypper in ha-cluster-bootstrap

3. Mapeie a imagem RBD sbd01 nos dois Gateways do Samba usando rbdmap.service.

   Edite /etc/ceph/rbdmap e adicione uma entrada para a imagem SBD:

   rbd/sbd01 id=samba.gw,keyring=/etc/ceph/ceph.client.samba.gw.keyring

   Habilite e inicie o rbdmap.service:

   root@earth # systemctl enable rbdmap.service && systemctl start rbdmap.service
   root@mars # systemctl enable rbdmap.service && systemctl start rbdmap.service

   O dispositivo /dev/rbd/rbd/sbd01 deve estar disponível em ambos os Gateways do Samba.

4. Inicialize o cluster no earth e permita que mars ingresse nele.

   root@earth # ha-cluster-init

   root@mars # ha-cluster-join -c earth

   

   Importante

   Durante o processo de inicialização e ingresso no cluster, será questionado se você deseja usar o SBD. Confirme com y e depois especifique /dev/rbd/rbd/sbd01 como o caminho para o dispositivo de armazenamento.

Verifique o status do cluster. Você deve ver dois nós adicionados ao cluster:

root@earth # crm status
2 nodes configured
1 resource configured

Online: [ earth mars ]

Full list of resources:

 admin-ip       (ocf::heartbeat:IPaddr2):       Started earth

Execute os seguintes comandos no earth para configurar o recurso CTDB:

root@earth # crm configure
crm(live)configure# primitive ctdb ocf:heartbeat:CTDB params \
    ctdb_manages_winbind="false" \
    ctdb_manages_samba="false" \
    ctdb_recovery_lock="!/usr/lib64/ctdb/ctdb_mutex_ceph_rados_helper
        ceph client.samba.gw cephfs_metadata ctdb-mutex"
    ctdb_socket="/var/lib/ctdb/ctdb.socket" \
        op monitor interval="10" timeout="20" \
        op start interval="0" timeout="200" \
        op stop interval="0" timeout="100"
crm(live)configure# primitive smb systemd:smb \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# primitive nmb systemd:nmb \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# primitive winbind systemd:winbind \
    op start timeout="100" interval="0" \
    op stop timeout="100" interval="0" \
    op monitor interval="60" timeout="100"
crm(live)configure# group g-ctdb ctdb winbind nmb smb
crm(live)configure# clone cl-ctdb g-ctdb meta interleave="true"
crm(live)configure# commit

Dica: Primitvos nmb e winbind opcionais

Se você não precisar da pesquisa de compartilhamento de rede, não precisará adicionar o primitivo nmb.

O primitivo winbind apenas é necessário quando configurado como membro do domínio do Active Directory. Consulte a Seção 24.2, “Ingressando no Gateway do Samba e no Active Directory”.

O binário /usr/lib64/ctdb/ctdb_mutex_ceph_rados_helper na opção de configuração ctdb_recovery_lock tem os parâmetros CLUSTER_NAME, CEPHX_USER, RADOS_POOL e RADOS_OBJECT, nessa ordem.

Um parâmetro de tempo de espera de bloqueio extra pode ser anexado para anular o valor padrão usado (10 segundos). Um valor mais alto aumentará o tempo de failover do master de recuperação CTDB, enquanto um valor menor pode resultar na detecção incorreta do master de recuperação como inativo, provocando oscilação de failovers.

Adicione um endereço IP em cluster:

crm(live)configure# primitive ip ocf:heartbeat:IPaddr2
    params ip=192.168.2.1 \
    unique_clone_address="true" \
    op monitor interval="60" \
    meta resource-stickiness="0"
crm(live)configure# clone cl-ip ip \
    meta interleave="true" clone-node-max="2" globally-unique="true"
crm(live)configure# colocation col-with-ctdb 0: cl-ip cl-ctdb
crm(live)configure# order o-with-ctdb 0: cl-ip cl-ctdb
crm(live)configure# commit

Se unique_clone_address for definido como true, o agente de recurso IPaddr2 adicionará um ID de clone ao endereço especificado, resultando em três endereços IP diferentes. Geralmente, eles não são necessários, mas ajudam no equilíbrio de carga. Para obter mais informações sobre este tópico, consulte https://documentation.suse.com/sle-ha/15-SP1/single-html/SLE-HA-guide/#cha-ha-lb.

Verifique o resultado:

root@earth # crm status
Clone Set: base-clone [dlm]
     Started: [ factory-1 ]
     Stopped: [ factory-0 ]
 Clone Set: cl-ctdb [g-ctdb]
     Started: [ factory-1 ]
     Started: [ factory-0 ]
 Clone Set: cl-ip [ip] (unique)
     ip:0       (ocf:heartbeat:IPaddr2):       Started factory-0
     ip:1       (ocf:heartbeat:IPaddr2):       Started factory-1

Faça o teste de uma máquina cliente. Em um cliente Linux, execute o seguinte comando para ver se você pode copiar arquivos do sistema e para o sistema:

# smbclient //192.168.2.1/myshare