|Index|SUSE Telco Cloud Documentação|Configuração de recursos de Telco|SR-IOV
Aplica-se a SUSE Telco Cloud 3.7

40 SR-IOV

SR-IOV (Single Root I/O Virtualization) permite que um único dispositivo físico, como um adaptador de rede, separe seus recursos entre múltiplas PCIe funções de hardware. Isso permite acesso direto aos recursos para várias aplicações.

Fornecemos dois métodos distintos para implantar SR-IOV em seu cluster:

Em casos raros em que você precisa de ambas as soluções - usando o Operador de Rede para dispositivos de rede e o Plugin de Dispositivo para Aceleradores vRAN - você deve implantá-los em namespaces separados do Kubernetes. Essa separação é essencial para evitar conflitos entre as duas implantações.

40.1 Opção 1: Daemonset e configMap do Plugin de Dispositivo de Rede SR-IOV

O Plugin de Dispositivo de Rede SR-IOV descobre e anuncia recursos de rede, como funções físicas (PFs) PCI e suas funções virtuais (VFs), em um host Kubernetes.

  • Prepare o configMap para o plugin de dispositivo

Precisamos criar um configMap que defina pools de recursos SR-IOV. Execute o comando lspci para recuperar as informações:

$ lspci | grep -i acc
07:00.0 Processing accelerators: Intel Corporation Device 57c2
07:00.1 Processing accelerators: Intel Corporation Device 57c3
07:00.2 Processing accelerators: Intel Corporation Device 57c3
07:00.3 Processing accelerators: Intel Corporation Device 57c3
07:00.4 Processing accelerators: Intel Corporation Device 57c3
07:00.5 Processing accelerators: Intel Corporation Device 57c3
07:00.6 Processing accelerators: Intel Corporation Device 57c3
07:00.7 Processing accelerators: Intel Corporation Device 57c3
07:01.0 Processing accelerators: Intel Corporation Device 57c3
07:01.1 Processing accelerators: Intel Corporation Device 57c3
07:01.2 Processing accelerators: Intel Corporation Device 57c3
07:01.3 Processing accelerators: Intel Corporation Device 57c3
07:01.4 Processing accelerators: Intel Corporation Device 57c3
07:01.5 Processing accelerators: Intel Corporation Device 57c3
07:01.6 Processing accelerators: Intel Corporation Device 57c3
07:01.7 Processing accelerators: Intel Corporation Device 57c3
07:02.0 Processing accelerators: Intel Corporation Device 57c3
0a:00.0 Processing accelerators: Intel Corporation Device 57c2

$ lspci | grep -i net
19:00.0 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.1 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.2 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.3 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
51:00.0 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:00.1 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:01.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)

O Plugin de Dispositivo SR-IOV usa um configMap contendo um arquivo JSON para definir quais recursos de hardware o Kubernetes deve expor. Esta configuração baseia-se em dois conceitos principais: selectors (para descoberta de hardware) e resources (para exposição no Kubernetes).

Um resource é a entidade nomeada que os pods consomem (por exemplo, rancher.io/intel_fec_5g). Os recursos podem ser definidos como um de dois tipos:

  • accelerator: Usado para placas aceleradoras vRAN (como ACC100/vRAN Boost).

  • netdevice: Usado para interfaces de rede padrão (NICs).

Você define os dispositivos de destino usando selectors para filtrar o hardware no nó:

  • vendors: 8086 (Intel)

  • devices: 57c3 (FEC VF), 1889 (NIC VF)

  • drivers: vfio-pci

  • pfNames: eno16595np0 (nome da interface física)

Para placas de rede, você também pode selecionar um subconjunto de Funções Virtuais (VFs) de uma Função Física:

  • pfNames: ["eth1#1,2,3,4,5,6"] ou [eth1#1-6]

Para permitir que os pods solicitem os dispositivos, cada recurso deve ter um nome, que é composto por um prefixo e um nome:

  • resourceName: pci_sriov_net_bh_dpdk

  • resourcePrefix: rancher.io

Os pods então solicitariam o nome do recurso combinado: rancher.io/pci_sriov_net_bh_dpdk.

Nota
Nota

Este documento não lista todos os seletores possíveis. Diferentes tipos de recursos usam diferentes conjuntos de seletores. Para detalhes abrangentes, consulte o repositório do SR-IOV Network Device Plugin.

O ConfigMap abaixo é um exemplo que cria três recursos: um para a placa aceleradora vRAN (FEC) e dois para duas portas NIC diferentes.

Para a placa FEC, você deve primeiro recuperar o ID do dispositivo e o token VFIO. Siga as instruções no capítulo Capítulo 42, Aceleração vRAN (Intel ACC100/VRB1/VRB2) para os pré-requisitos.

apiVersion: v1
kind: ConfigMap
metadata:
  name: sriovdp-config
  namespace: kube-system
data:
  config.json: |
    {
        "resourceList": [
            {
                "resourcePrefix": "rancher.io",
                "resourceName": "intel_fec_5g",
                "deviceType": "accelerator",
                "selectors": {
                    "vendors": ["8086"],
                    "devices": ["57c3"]
                },
                "additionalInfo": {
                      "*": {
                        "VFIO_TOKEN": "00112233-4455-6677-8899-aabbccddeeff"
                      }
                  }
            },
            {
                "resourcePrefix": "rancher.io",
                "resourceName": "intel_sriov_odu",
                "deviceType": "netdevice",
                "selectors": {
                    "vendors": ["8086"],
                    "devices": ["1889"],
                    "drivers": ["vfio-pci"],
                    "pfNames": ["eno16595np0"]
                }
            },
            {
                "resourcePrefix": "rancher.io",
                "resourceName": "intel_sriov_oru",
                "deviceType": "netdevice",
                "selectors": {
                    "vendors": ["8086"],
                    "devices": ["1889"],
                    "drivers": ["vfio-pci"],
                    "pfNames": ["eno16605np1"]
                }
            }
        ]
    }
  • Prepare o arquivo daemonset para implantar o plugin de dispositivo.

O plugin de dispositivo suporta várias arquiteturas (arm, amd, ppc64le), portanto, o mesmo arquivo pode ser usado para diferentes arquiteturas implantando vários daemonset para cada arquitetura.

apiVersion: v1
kind: ServiceAccount
metadata:
  name: sriov-device-plugin
  namespace: kube-system
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kube-sriov-device-plugin-amd64
  namespace: kube-system
  labels:
    tier: node
    app: sriovdp
spec:
  selector:
    matchLabels:
      name: sriov-device-plugin
  template:
    metadata:
      labels:
        name: sriov-device-plugin
        tier: node
        app: sriovdp
    spec:
      hostNetwork: true
      nodeSelector:
        kubernetes.io/arch: amd64
      tolerations:
      - key: node-role.kubernetes.io/master
        operator: Exists
        effect: NoSchedule
      serviceAccountName: sriov-device-plugin
      containers:
      - name: kube-sriovdp
        image: registry.suse.com/edge/3.7/sriov-network-device-plugin:v3.10.0
        imagePullPolicy: IfNotPresent
        args:
        - --log-dir=sriovdp
        - --log-level=10
        securityContext:
          privileged: true
        resources:
          requests:
            cpu: "250m"
            memory: "40Mi"
          limits:
            cpu: 1
            memory: "200Mi"
        volumeMounts:
        - name: devicesock
          mountPath: /var/lib/kubelet/
          readOnly: false
        - name: log
          mountPath: /var/log
        - name: config-volume
          mountPath: /etc/pcidp
        - name: device-info
          mountPath: /var/run/k8s.cni.cncf.io/devinfo/dp
      volumes:
        - name: devicesock
          hostPath:
            path: /var/lib/kubelet/
        - name: log
          hostPath:
            path: /var/log
        - name: device-info
          hostPath:
            path: /var/run/k8s.cni.cncf.io/devinfo/dp
            type: DirectoryOrCreate
        - name: config-volume
          configMap:
            name: sriovdp-config
            items:
            - key: config.json
              path: config.json
  • Após aplicar o configMap e o daemonset, o plugin de dispositivo será implantado e as interfaces serão descobertas e disponibilizadas para os pods.

    $ kubectl get pods -n kube-system | grep sriov
    kube-system  kube-sriov-device-plugin-amd64-twjfl  1/1  Running  0  2m
  • Verifique em todos os nós se as interfaces foram descobertas e disponibilizadas para os pods:

    $ kubectl get nodes -o json | jq '.items[] | {name: .metadata.name, allocatable: .status.allocatable}'
    {
      "name": "node1.suse.edge.com",
      "allocatable": {
          "cpu": "64",
          "ephemeral-storage": "256196109726",
          "hugepages-1Gi": "40Gi",
          "hugepages-2Mi": "0",
          "rancher.io/intel_fec_5g": "16",
          "rancher.io/intel_sriov_odu": "4",
          "rancher.io/intel_sriov_oru": "4",
          "memory": "221396384Ki",
          "pods": "110"
      }
    }
  • O nome do recurso para o acelerador FEC é rancher.io/intel_fec_5g e 16 VFs estão disponíveis para uso.

  • Os nomes do recurso para as placas NIC são rancher.io/intel_sriov_odu e rancher.io/intel_sriov_oru. Cada recurso fornece 4 VFs.

Importante
Importante

Se nenhuma interface for detectada como recurso alocável nos nós do Kubernetes, é essencial resolver esse problema. Uma causa comum é uma especificação de configMap mal formada, portanto, é melhor revisar o configMap e seus seletores.

40.2 Opção 2 (Recomendada): Operador de Rede SR-IOV

  • Obtenha o Helm se não estiver presente:

$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
  • Instale o Operador de Rede SR-IOV no namespace sriov-network-operator:

helm install sriov-crd oci://registry.suse.com/edge/charts/sriov-crd -n sriov-network-operator
helm install sriov-network-operator oci://registry.suse.com/edge/charts/sriov-network-operator -n sriov-network-operator
  • Verifique os CRDs e pods implantados:

$ kubectl get crd
$ kubectl -n sriov-network-operator get pods
  • Verifique se o rótulo SR-IOV foi aplicado aos nós.

Com todos os recursos em execução, o rótulo aparece automaticamente em seu nó:

$ kubectl get nodes -oyaml | grep feature.node.kubernetes.io/network-sriov.capable

feature.node.kubernetes.io/network-sriov.capable: "true"
  • Revise o daemonset para ver o novo sriov-network-config-daemon e sriov-rancher-nfd-worker como ativos e prontos:

$ kubectl get daemonset -n sriov-network-operator
NAMESPACE             NAME                            DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                                           AGE
sriov-network-operator   sriov-network-config-daemon     1         1         1       1            1           feature.node.kubernetes.io/network-sriov.capable=true   45m
sriov-network-operator   sriov-rancher-nfd-worker        1         1         1       1            1           <none>                                                  45m

Em alguns minutos, os nós serão detectados e totalmente configurados com capacidades SR-IOV. A atualização pode levar, às vezes, até 10 minutos:

$ kubectl get sriovnetworknodestates -A
NAMESPACE             NAME     AGE
sriov-network-operator   xr11-2   83s
  • Verifique se as interfaces foram detectadas.

As interfaces descobertas devem ser o endereço PCI do dispositivo de rede. Verifique esta informação com o comando lspci no host.

$ kubectl get sriovnetworknodestates -n sriov-network-operator -oyaml
apiVersion: v1
items:
- apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetworkNodeState
  metadata:
    creationTimestamp: "2023-06-07T09:52:37Z"
    generation: 1
    name: xr11-2
    namespace: sriov-network-operator
    ownerReferences:
    - apiVersion: sriovnetwork.openshift.io/v1
      blockOwnerDeletion: true
      controller: true
      kind: SriovNetworkNodePolicy
      name: default
      uid: 80b72499-e26b-4072-a75c-f9a6218ec357
    resourceVersion: "356603"
    uid: e1f1654b-92b3-44d9-9f87-2571792cc1ad
  spec:
    dpConfigVersion: "356507"
  status:
    interfaces:
    - deviceID: "1592"
      driver: ice
      eSwitchMode: legacy
      linkType: ETH
      mac: 40:a6:b7:9b:35:f0
      mtu: 1500
      name: eno16595np0
      pciAddress: "0000:51:00.0"
      totalvfs: 128
      vendor: "8086"
    - deviceID: "1592"
      driver: ice
      eSwitchMode: legacy
      linkType: ETH
      mac: 40:a6:b7:9b:35:f1
      mtu: 1500
      name: eno16605np1
      pciAddress: "0000:51:00.1"
      totalvfs: 128
      vendor: "8086"
    syncStatus: Succeeded
kind: List
metadata:
  resourceVersion: ""
Nota
Nota

Se sua interface não for detectada aqui, certifique-se de que ela esteja presente no próximo config map:

$ kubectl get cm supported-nic-ids -oyaml -n sriov-network-operator

Se seu dispositivo não estiver listado, edite o config map adicionando os valores corretos para que seja descoberto. Em seguida, reinicie os sriov-network-config-daemon pods em cada nó para que a atualização entre em vigor.

  • Crie o SriovNetworkNodePolicy para configurar o VFs

Esta política cria o recurso intelnicsDpdk para consumo do pod. Ela também vincula o driver vfio-pci ao dispositivo PCI fornecido e cria 8 VFs com um tamanho de MTU de 1500:

Nota
Nota

O campo resourceName não deve conter caracteres especiais e deve ser exclusivo em todo o cluster. O exemplo usa o deviceType: vfio-pci porque o DPDK é usado em combinação com SR-IOV. Se você não usar o DPDK, configure deviceType: netdevice (valor padrão).

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
  name: policy-dpdk
  namespace: sriov-network-operator
spec:
  nodeSelector:
    feature.node.kubernetes.io/network-sriov.capable: "true"
  resourceName: intelnicsDpdk
  deviceType: vfio-pci
  numVfs: 8
  mtu: 1500
  nicSelector:
    deviceID: "1592"
    vendor: "8086"
    rootDevices:
    - 0000:51:00.0
  • Valide as configurações em todos os nós:

Com o resourcePrefix rancher.io predefinido, um recurso rancher.io/intelnicsDpdk com 8 VFs deve ser descoberto.

$ kubectl get nodes -o jsonpath='{"items": [ { "name": @.metadata.name, "allocatable": @.status.allocatable } ]}' | jq
{
  "name": "node1.suse.edge.com",
  "allocatable": {
      "cpu": "64",
      "ephemeral-storage": "256196109726",
      "hugepages-1Gi": "60Gi",
      "hugepages-2Mi": "0",
      "rancher.io/intel_fec_5g": "16",
      "memory": "200424836Ki",
      "pods": "110",
      "rancher.io/intelnicsDpdk": "8"
  }
}
  • (Opcional) Crie o sriovnetwork

Esta etapa é opcional e necessária apenas para definições de rede personalizadas. Especifique o resourceName para vincular à política de nó criada anteriormente.

Se o networkNamespace estiver definido, a rede será exposta aos pods nesse namespace. Caso contrário, a rede ficará disponível no namespace de instalação do Network Operator.

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
  name: network-dpdk
  namespace: sriov-network-operator        # where SRIOV Operator is installed
spec:
  ipam: |
    {
      "type": "host-local",
      "subnet": "192.168.0.0/24",
      "rangeStart": "192.168.0.20",
      "rangeEnd": "192.168.0.60",
      "routes": [{
        "dst": "0.0.0.0/0"
      }],
      "gateway": "192.168.0.1"
    }
  vlan: 500
  resourceName: intelnicsDpdk
  networkNamespace: default         # where workloads are deployed
  • Se a atualização for bem-sucedida, uma NetworkAttachmentDefinition (NAD) será criada no cluster de destino.

$ kubectl get net-attach-def -A -oyaml

apiVersion: v1
items:
- apiVersion: k8s.cni.cncf.io/v1
  kind: NetworkAttachmentDefinition
  metadata:
    annotations:
      k8s.v1.cni.cncf.io/resourceName: rancher.io/intelnicsDpdk
    creationTimestamp: "2023-06-08T11:22:27Z"
    generation: 1
    name: network-dpdk
    namespace: default
    resourceVersion: "13124"
    uid: df7c89f5-177c-4f30-ae72-7aef3294fb15
  spec:
    config: '{ "cniVersion":"0.4.0", "name":"network-dpdk","type":"sriov","vlan":500,"vlanQoS":0,"ipam":{"type":"host-local","subnet":"192.168.0.0/24","rangeStart":"192.168.0.10","rangeEnd":"192.168.0.60","routes":[{"dst":"0.0.0.0/0"}],"gateway":"192.168.0.1"}
      }'
kind: List
metadata:
  resourceVersion: ""

Os pods de carga de trabalho podem usar o resourceName rancher.io/intelnicsDpdk para usar os VFs da interface de rede.