54 Recursos de Telco (DPDK, SR-IOV, isolamento de CPU, huge pages, NUMA, etc.) #
O fluxo de trabalho de provisionamento de rede direcionado permite automatizar os recursos de Telco a serem usados nos clusters downstream para executar cargas de trabalho de Telco sobre esses servidores.
Requisitos
A imagem gerada usando
EIB, conforme descrito na seção anterior (Capítulo 49, Preparar a imagem do cluster downstream para cenários conectados), deve estar localizada no cluster de gerenciamento exatamente no caminho que você configurou nesta seção (Nota).A imagem gerada usando
EIBdeve incluir os pacotes específicos de Telco conforme esta seção (Seção 49.2.5, “Configuração adicional para cargas de trabalho Telco”).O servidor de gerenciamento foi criado e está disponível para ser usado nas seções a seguir. Para mais informações, consulte a seção Cluster de Gerenciamento: Parte V, “Configurando o cluster de gerenciamento”.
Configuração
Use as duas seções a seguir como base para registrar e provisionar os hosts:
Provisionamento de cluster downstream com provisionamento de rede direcionado (nó único) (Capítulo 51, Provisionamento de cluster downstream com provisionamento de rede direcionado (nó único))
Provisionamento de cluster downstream com provisionamento de rede direcionado (nós múltiplos) (Capítulo 52, Provisionamento de cluster downstream com provisionamento de rede direcionado (multi-nó))
Os recursos de Telco abordados nesta seção são os seguintes:
DPDK e criação de VFs
SR-IOV e alocação de VFs para serem usadas pelas cargas de trabalho
Isolamento de CPU e ajuste de desempenho
Configuração de páginas enormes
Ajuste de parâmetros do kernel
Para mais informações sobre os recursos de Telco, consulte Parte VI, “Configuração de recursos de Telco”.
As alterações necessárias para habilitar os recursos de Telco mostrados acima estão todas dentro do bloco RKE2ControlPlane no arquivo de provisionamento capi-provisioning-example.yaml. O restante das informações dentro do arquivo capi-provisioning-example.yaml é igual às informações fornecidas na seção de provisionamento (Capítulo 51, Provisionamento de cluster downstream com provisionamento de rede direcionado (nó único)).
Para tornar o processo claro, as alterações necessárias nesse bloco (RKE2ControlPlane) para habilitar os recursos de Telco são as seguintes:
O arquivo de ignição
/var/lib/rancher/rke2/server/manifests/configmap-sriov-custom-auto.yamla ser usado para definir as interfaces, drivers e o número deVFsa serem criados e expostos às cargas de trabalho.Os valores dentro do config map
sriov-custom-auto-configsão os únicos valores a serem substituídos por valores reais.${RESOURCE_NAME1}— O nome do recurso a ser usado para a primeira interfacePF(por exemplo,sriov-resource-du1). Ele é adicionado ao prefixorancher.iopara ser usado como um rótulo a ser utilizado pelas cargas de trabalho (por exemplo,rancher.io/sriov-resource-du1).${SRIOV-NIC-NAME1}— O nome da primeira interfacePFa ser usada (por exemplo,eth0).${PF_NAME1}— O nome da primeira função físicaPFa ser usada. Gere filtros mais complexos usando isto (por exemplo,eth0#2-5).${DRIVER_NAME1}— O nome do driver a ser usado para a primeira interfaceVF(por exemplo,vfio-pci).${NUM_VFS1}— O número deVFsa serem criados para a primeira interfacePF(por exemplo,8).
O
/var/sriov-auto-filler.sha ser usado como um tradutor entre o config map de alto nívelsriov-custom-auto-confige osriovnetworknodepolicyque contém as informações de hardware de baixo nível. Este script foi criado para abstrair o usuário da complexidade de saber as informações de hardware com antecedência. Nenhuma alteração é necessária neste arquivo, mas ele deve estar presente se precisarmos habilitarsr-iove criarVFs.Os argumentos do kernel a serem usados para habilitar os seguintes recursos:
Parâmetro | Valor | Descrição |
isolcpus | domain,nohz,managed_irq,1-30,33-62 | Isole os núcleos 1-30 e 33-62. |
skew_tick | 1 | Permite que o kernel desvie as interrupções do temporizador entre as CPUs isoladas. |
nohz | on | Permite que o kernel execute o tick do temporizador em uma única CPU quando o sistema estiver ocioso. |
nohz_full | 1-30,33-62 | o parâmetro de inicialização do kernel é a interface principal atual para configurar dynticks completos junto com o Isolamento de CPU. |
rcu_nocbs | 1-30,33-62 | Permite que o kernel execute os callbacks RCU em uma única CPU quando o sistema estiver ocioso. |
irqaffinity | 0,31,32,63 | Permite que o kernel execute as interrupções em uma única CPU quando o sistema estiver ocioso. |
inativo | poll | Minimiza a latência de saída do estado ocioso. |
iommu | pt | Permite usar vfio para as interfaces dpdk. |
intel_iommu | on | Habilita o uso de vfio para VFs. |
hugepagesz | 1G | Permite definir o tamanho das huge pages para 1 G. |
hugepages | 40 | Número de huge pages definido anteriormente. |
default_hugepagesz | 1G | Valor padrão para habilitar huge pages. |
nowatchdog | Desabilita o watchdog. | |
nmi_watchdog | 0 | Desabilita o watchdog NMI. |
Os seguintes serviços do systemd são usados para habilitar o seguinte:
rke2-preinstall.servicepara substituir automaticamente oBAREMETALHOST_UUIDenode-namedurante o processo de provisionamento usando as informações do Ironic.cpu-partitioning.servicepara habilitar os núcleos de isolamento doCPU(por exemplo,1-30,33-62).performance-settings.servicepara habilitar o ajuste de desempenho da CPU.sriov-custom-auto-vfs.servicepara instalar o Helm chartsriov, aguardar até que os recursos personalizados sejam criados e executar o/var/sriov-auto-filler.shpara substituir os valores no config mapsriov-custom-auto-confige criar osriovnetworknodepolicya ser usado pelas cargas de trabalho.
O
${RKE2_VERSION}é a versão doRKE2a ser usada substituindo este valor (por exemplo,v1.35.4+rke2r1).
Com todas essas alterações mencionadas, o bloco RKE2ControlPlane no capi-provisioning-example.yaml ficará da seguinte forma:
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: single-node-cluster
namespace: default
spec:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: single-node-cluster-controlplane
replicas: 1
version: ${RKE2_VERSION}
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
serverConfig:
cni: calico
cniMultusEnable: true
agentConfig:
format: ignition
additionalUserData:
config: |
variant: fcos
version: 1.4.0
storage:
files:
- path: /var/lib/rancher/rke2/server/manifests/configmap-sriov-custom-auto.yaml
overwrite: true
contents:
inline: |
apiVersion: v1
kind: ConfigMap
metadata:
name: sriov-custom-auto-config
namespace: kube-system
data:
config.json: |
[
{
"resourceName": "${RESOURCE_NAME1}",
"interface": "${SRIOV-NIC-NAME1}",
"pfname": "${PF_NAME1}",
"driver": "${DRIVER_NAME1}",
"numVFsToCreate": ${NUM_VFS1}
},
{
"resourceName": "${RESOURCE_NAME2}",
"interface": "${SRIOV-NIC-NAME2}",
"pfname": "${PF_NAME2}",
"driver": "${DRIVER_NAME2}",
"numVFsToCreate": ${NUM_VFS2}
}
]
mode: 0644
user:
name: root
group:
name: root
- path: /var/lib/rancher/rke2/server/manifests/sriov-crd.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: sriov-crd
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/sriov-crd
targetNamespace: sriov-network-operator
version: 306.0.4+up1.6.0
createNamespace: true
- path: /var/lib/rancher/rke2/server/manifests/sriov-network-operator.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: sriov-network-operator
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/sriov-network-operator
targetNamespace: sriov-network-operator
version: 306.0.4+up1.6.0
createNamespace: true
kernel_arguments:
should_exist:
- intel_iommu=on
- iommu=pt
- idle=poll
- mce=off
- hugepagesz=1G hugepages=40
- hugepagesz=2M hugepages=0
- default_hugepagesz=1G
- irqaffinity=${NON-ISOLATED_CPU_CORES}
- isolcpus=domain,nohz,managed_irq,${ISOLATED_CPU_CORES}
- nohz_full=${ISOLATED_CPU_CORES}
- rcu_nocbs=${ISOLATED_CPU_CORES}
- rcu_nocb_poll
- nosoftlockup
- nowatchdog
- nohz=on
- nmi_watchdog=0
- skew_tick=1
- quiet
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
ExecStart=/bin/sh -c "sed -i \"s/BAREMETALHOST_UUID/$(jq -r .uuid /mnt/openstack/latest/meta_data.json)/\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
# rke2-traefik-deployment.service unit to be removed once "traefik" being the default ingress controller (starting with RKE2 v1.36)
- name: rke2-traefik-deployment.service
enabled: true
contents: |
[Unit]
Description=rke2-traefik-deployment
Wants=rke2-preinstall.service
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStart=/bin/sh -c "echo \"ingress-controller: traefik\" >> /etc/rancher/rke2/config.yaml"
[Install]
WantedBy=multi-user.target
- name: cpu-partitioning.service
enabled: true
contents: |
[Unit]
Description=cpu-partitioning
Wants=network-online.target
After=network.target network-online.target
[Service]
Type=oneshot
User=root
ExecStart=/bin/sh -c "echo isolated_cores=${ISOLATED_CPU_CORES} > /etc/tuned/cpu-partitioning-variables.conf"
ExecStartPost=/bin/sh -c "tuned-adm profile cpu-partitioning"
ExecStartPost=/bin/sh -c "systemctl enable tuned.service"
[Install]
WantedBy=multi-user.target
- name: performance-settings.service
enabled: true
contents: |
[Unit]
Description=performance-settings
Wants=network-online.target
After=network.target network-online.target cpu-partitioning.service
[Service]
Type=oneshot
User=root
ExecStart=/bin/sh -c "/opt/performance-settings/performance-settings.sh"
[Install]
WantedBy=multi-user.target
- name: sriov-custom-auto-vfs.service
enabled: true
contents: |
[Unit]
Description=SRIOV Custom Auto VF Creation
Wants=network-online.target rke2-server.target
After=network.target network-online.target rke2-server.target
[Service]
User=root
Type=forking
TimeoutStartSec=900
ExecStart=/bin/sh -c "while ! /var/lib/rancher/rke2/bin/kubectl --kubeconfig=/etc/rancher/rke2/rke2.yaml wait --for condition=ready nodes --all ; do sleep 2 ; done"
ExecStartPost=/bin/sh -c "while [ $(/var/lib/rancher/rke2/bin/kubectl --kubeconfig=/etc/rancher/rke2/rke2.yaml get sriovnetworknodestates.sriovnetwork.openshift.io --ignore-not-found --no-headers -A | wc -l) -eq 0 ]; do sleep 1; done"
ExecStartPost=/bin/sh -c "/opt/sriov/sriov-auto-filler.sh"
RemainAfterExit=yes
KillMode=process
[Install]
WantedBy=multi-user.target
kubelet:
extraArgs:
- provider-id=metal3://BAREMETALHOST_UUID
nodeName: "localhost.localdomain"Uma vez que o arquivo seja criado unindo os blocos anteriores, o seguinte comando deve ser executado no cluster de gerenciamento para iniciar o provisionamento do novo cluster downstream usando os recursos de Telco:
$ kubectl apply -f capi-provisioning-example.yaml