|Index|SUSE Telco Cloud Documentação|Provisionamento de rede direcionado totalmente automatizado|Recursos de Telco (DPDK, SR-IOV, isolamento de CPU, huge pages, NUMA, etc.)
Aplica-se a SUSE Telco Cloud 3.6

54 Recursos de Telco (DPDK, SR-IOV, isolamento de CPU, huge pages, NUMA, etc.)

O fluxo de trabalho de provisionamento de rede direcionado permite automatizar os recursos de Telco a serem usados nos clusters downstream para executar cargas de trabalho de Telco sobre esses servidores.

Requisitos

Configuração

Use as duas seções a seguir como base para registrar e provisionar os hosts:

Os recursos de Telco abordados nesta seção são os seguintes:

  • DPDK e criação de VFs

  • SR-IOV e alocação de VFs para serem usadas pelas cargas de trabalho

  • Isolamento de CPU e ajuste de desempenho

  • Configuração de páginas enormes

  • Ajuste de parâmetros do kernel

Nota
Nota

Para mais informações sobre os recursos de Telco, consulte Parte VI, “Configuração de recursos de Telco”.

As alterações necessárias para habilitar os recursos de Telco mostrados acima estão todas dentro do bloco RKE2ControlPlane no arquivo de provisionamento capi-provisioning-example.yaml. O restante das informações dentro do arquivo capi-provisioning-example.yaml é igual às informações fornecidas na seção de provisionamento (Capítulo 51, Provisionamento de cluster downstream com provisionamento de rede direcionado (nó único)).

Para tornar o processo claro, as alterações necessárias nesse bloco (RKE2ControlPlane) para habilitar os recursos de Telco são as seguintes:

  • O arquivo de ignição /var/lib/rancher/rke2/server/manifests/configmap-sriov-custom-auto.yaml a ser usado para definir as interfaces, drivers e o número de VFs a serem criados e expostos às cargas de trabalho.

    • Os valores dentro do config map sriov-custom-auto-config são os únicos valores a serem substituídos por valores reais.

      • ${RESOURCE_NAME1} — O nome do recurso a ser usado para a primeira interface PF (por exemplo, sriov-resource-du1). Ele é adicionado ao prefixo rancher.io para ser usado como um rótulo a ser utilizado pelas cargas de trabalho (por exemplo, rancher.io/sriov-resource-du1).

      • ${SRIOV-NIC-NAME1} — O nome da primeira interface PF a ser usada (por exemplo, eth0).

      • ${PF_NAME1} — O nome da primeira função física PF a ser usada. Gere filtros mais complexos usando isto (por exemplo, eth0#2-5).

      • ${DRIVER_NAME1} — O nome do driver a ser usado para a primeira interface VF (por exemplo, vfio-pci).

      • ${NUM_VFS1} — O número de VFs a serem criados para a primeira interface PF (por exemplo, 8).

  • O /var/sriov-auto-filler.sh a ser usado como um tradutor entre o config map de alto nível sriov-custom-auto-config e o sriovnetworknodepolicy que contém as informações de hardware de baixo nível. Este script foi criado para abstrair o usuário da complexidade de saber as informações de hardware com antecedência. Nenhuma alteração é necessária neste arquivo, mas ele deve estar presente se precisarmos habilitar sr-iov e criar VFs.

  • Os argumentos do kernel a serem usados para habilitar os seguintes recursos:

Parâmetro

Valor

Descrição

isolcpus

domain,nohz,managed_irq,1-30,33-62

Isole os núcleos 1-30 e 33-62.

skew_tick

1

Permite que o kernel desvie as interrupções do temporizador entre as CPUs isoladas.

nohz

on

Permite que o kernel execute o tick do temporizador em uma única CPU quando o sistema estiver ocioso.

nohz_full

1-30,33-62

o parâmetro de inicialização do kernel é a interface principal atual para configurar dynticks completos junto com o Isolamento de CPU.

rcu_nocbs

1-30,33-62

Permite que o kernel execute os callbacks RCU em uma única CPU quando o sistema estiver ocioso.

irqaffinity

0,31,32,63

Permite que o kernel execute as interrupções em uma única CPU quando o sistema estiver ocioso.

inativo

poll

Minimiza a latência de saída do estado ocioso.

iommu

pt

Permite usar vfio para as interfaces dpdk.

intel_iommu

on

Habilita o uso de vfio para VFs.

hugepagesz

1G

Permite definir o tamanho das huge pages para 1 G.

hugepages

40

Número de huge pages definido anteriormente.

default_hugepagesz

1G

Valor padrão para habilitar huge pages.

nowatchdog

 

Desabilita o watchdog.

nmi_watchdog

0

Desabilita o watchdog NMI.

  • Os seguintes serviços do systemd são usados para habilitar o seguinte:

    • rke2-preinstall.service para substituir automaticamente o BAREMETALHOST_UUID e node-name durante o processo de provisionamento usando as informações do Ironic.

    • cpu-partitioning.service para habilitar os núcleos de isolamento do CPU (por exemplo, 1-30,33-62).

    • performance-settings.service para habilitar o ajuste de desempenho da CPU.

    • sriov-custom-auto-vfs.service para instalar o Helm chart sriov, aguardar até que os recursos personalizados sejam criados e executar o /var/sriov-auto-filler.sh para substituir os valores no config map sriov-custom-auto-config e criar o sriovnetworknodepolicy a ser usado pelas cargas de trabalho.

  • O ${RKE2_VERSION} é a versão do RKE2 a ser usada substituindo este valor (por exemplo, v1.35.4+rke2r1).

Com todas essas alterações mencionadas, o bloco RKE2ControlPlane no capi-provisioning-example.yaml ficará da seguinte forma:

apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
  name: single-node-cluster
  namespace: default
spec:
  infrastructureRef:
    apiGroup: infrastructure.cluster.x-k8s.io
    kind: Metal3MachineTemplate
    name: single-node-cluster-controlplane
  replicas: 1
  version: ${RKE2_VERSION}
  rolloutStrategy:
    type: "RollingUpdate"
    rollingUpdate:
      maxSurge: 0
  serverConfig:
    cni: calico
    cniMultusEnable: true
  agentConfig:
    format: ignition
    additionalUserData:
      config: |
        variant: fcos
        version: 1.4.0
        storage:
          files:
          - path: /var/lib/rancher/rke2/server/manifests/configmap-sriov-custom-auto.yaml
            overwrite: true
            contents:
              inline: |
                apiVersion: v1
                kind: ConfigMap
                metadata:
                  name: sriov-custom-auto-config
                  namespace: kube-system
                data:
                  config.json: |
                    [
                        {
                          "resourceName": "${RESOURCE_NAME1}",
                          "interface": "${SRIOV-NIC-NAME1}",
                          "pfname": "${PF_NAME1}",
                          "driver": "${DRIVER_NAME1}",
                          "numVFsToCreate": ${NUM_VFS1}
                        },
                        {
                          "resourceName": "${RESOURCE_NAME2}",
                          "interface": "${SRIOV-NIC-NAME2}",
                          "pfname": "${PF_NAME2}",
                          "driver": "${DRIVER_NAME2}",
                          "numVFsToCreate": ${NUM_VFS2}
                        }
                    ]
            mode: 0644
            user:
              name: root
            group:
              name: root
          - path: /var/lib/rancher/rke2/server/manifests/sriov-crd.yaml
            overwrite: true
            contents:
              inline: |
                apiVersion: helm.cattle.io/v1
                kind: HelmChart
                metadata:
                  name: sriov-crd
                  namespace: kube-system
                spec:
                  chart: oci://registry.suse.com/edge/charts/sriov-crd
                  targetNamespace: sriov-network-operator
                  version: 306.0.4+up1.6.0
                  createNamespace: true
          - path: /var/lib/rancher/rke2/server/manifests/sriov-network-operator.yaml
            overwrite: true
            contents:
              inline: |
                apiVersion: helm.cattle.io/v1
                kind: HelmChart
                metadata:
                  name: sriov-network-operator
                  namespace: kube-system
                spec:
                  chart: oci://registry.suse.com/edge/charts/sriov-network-operator
                  targetNamespace: sriov-network-operator
                  version: 306.0.4+up1.6.0
                  createNamespace: true
        kernel_arguments:
          should_exist:
            - intel_iommu=on
            - iommu=pt
            - idle=poll
            - mce=off
            - hugepagesz=1G hugepages=40
            - hugepagesz=2M hugepages=0
            - default_hugepagesz=1G
            - irqaffinity=${NON-ISOLATED_CPU_CORES}
            - isolcpus=domain,nohz,managed_irq,${ISOLATED_CPU_CORES}
            - nohz_full=${ISOLATED_CPU_CORES}
            - rcu_nocbs=${ISOLATED_CPU_CORES}
            - rcu_nocb_poll
            - nosoftlockup
            - nowatchdog
            - nohz=on
            - nmi_watchdog=0
            - skew_tick=1
            - quiet
        systemd:
          units:
          - name: rke2-preinstall.service
            enabled: true
            contents: |
              [Unit]
              Description=rke2-preinstall
              Wants=network-online.target
              Before=rke2-install.service
              ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
              [Service]
              Type=oneshot
              User=root
              ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
              ExecStart=/bin/sh -c "sed -i \"s/BAREMETALHOST_UUID/$(jq -r .uuid /mnt/openstack/latest/meta_data.json)/\" /etc/rancher/rke2/config.yaml"
              ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
              ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
              ExecStart=/bin/sh -c "echo \"  - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
              ExecStartPost=/bin/sh -c "umount /mnt"
              [Install]
              WantedBy=multi-user.target
          # rke2-traefik-deployment.service unit to be removed once "traefik" being the default ingress controller (starting with RKE2 v1.36)
          - name: rke2-traefik-deployment.service
            enabled: true
            contents: |
              [Unit]
              Description=rke2-traefik-deployment
              Wants=rke2-preinstall.service
              Before=rke2-install.service
              ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
              [Service]
              Type=oneshot
              User=root
              ExecStart=/bin/sh -c "echo \"ingress-controller: traefik\" >> /etc/rancher/rke2/config.yaml"
              [Install]
              WantedBy=multi-user.target
          - name: cpu-partitioning.service
            enabled: true
            contents: |
              [Unit]
              Description=cpu-partitioning
              Wants=network-online.target
              After=network.target network-online.target
              [Service]
              Type=oneshot
              User=root
              ExecStart=/bin/sh -c "echo isolated_cores=${ISOLATED_CPU_CORES} > /etc/tuned/cpu-partitioning-variables.conf"
              ExecStartPost=/bin/sh -c "tuned-adm profile cpu-partitioning"
              ExecStartPost=/bin/sh -c "systemctl enable tuned.service"
              [Install]
              WantedBy=multi-user.target
          - name: performance-settings.service
            enabled: true
            contents: |
              [Unit]
              Description=performance-settings
              Wants=network-online.target
              After=network.target network-online.target cpu-partitioning.service
              [Service]
              Type=oneshot
              User=root
              ExecStart=/bin/sh -c "/opt/performance-settings/performance-settings.sh"
              [Install]
              WantedBy=multi-user.target
          - name: sriov-custom-auto-vfs.service
            enabled: true
            contents: |
              [Unit]
              Description=SRIOV Custom Auto VF Creation
              Wants=network-online.target  rke2-server.target
              After=network.target network-online.target rke2-server.target
              [Service]
              User=root
              Type=forking
              TimeoutStartSec=900
              ExecStart=/bin/sh -c "while ! /var/lib/rancher/rke2/bin/kubectl --kubeconfig=/etc/rancher/rke2/rke2.yaml wait --for condition=ready nodes --all ; do sleep 2 ; done"
              ExecStartPost=/bin/sh -c "while [ $(/var/lib/rancher/rke2/bin/kubectl --kubeconfig=/etc/rancher/rke2/rke2.yaml get sriovnetworknodestates.sriovnetwork.openshift.io --ignore-not-found --no-headers -A | wc -l) -eq 0 ]; do sleep 1; done"
              ExecStartPost=/bin/sh -c "/opt/sriov/sriov-auto-filler.sh"
              RemainAfterExit=yes
              KillMode=process
              [Install]
              WantedBy=multi-user.target
    kubelet:
      extraArgs:
      - provider-id=metal3://BAREMETALHOST_UUID
    nodeName: "localhost.localdomain"

Uma vez que o arquivo seja criado unindo os blocos anteriores, o seguinte comando deve ser executado no cluster de gerenciamento para iniciar o provisionamento do novo cluster downstream usando os recursos de Telco:

$ kubectl apply -f capi-provisioning-example.yaml