|Index|SUSE Telco Cloud Documentación|Configuración de las funciones Telco|SR-IOV
Se aplica a SUSE Telco Cloud 3.7

40 SR-IOV

SR-IOV (Single Root I/O Virtualization) permite que un único dispositivo físico, como un adaptador de red, separe sus recursos entre múltiples PCIe funciones de hardware. Esto permite el acceso directo a los recursos para diversas aplicaciones.

Proporcionamos dos métodos distintos para desplegar SR-IOV en su clúster:

En casos excepcionales en los que necesite ambas soluciones (usar el Operador de red para dispositivos de red y el Plugin de dispositivo para aceleradores vRAN), debe desplegarlas en espacios de nombres de Kubernetes separados. Esta separación es esencial para evitar conflictos entre ambos despliegues.

40.1 Opción 1: Daemonset y configMap del Plugin de dispositivo de red SR-IOV

El Plugin de dispositivo de red SR-IOV descubre y anuncia recursos de red, como funciones físicas (PF) PCI y sus funciones virtuales (VF), en un host de Kubernetes.

  • Prepare el mapa de configuración para el plugin de dispositivo

Necesitamos crear un mapa de configuración que defina los grupos de recursos SR-IOV. Ejecute el comando lspci para recuperar la información:

$ lspci | grep -i acc
07:00.0 Processing accelerators: Intel Corporation Device 57c2
07:00.1 Processing accelerators: Intel Corporation Device 57c3
07:00.2 Processing accelerators: Intel Corporation Device 57c3
07:00.3 Processing accelerators: Intel Corporation Device 57c3
07:00.4 Processing accelerators: Intel Corporation Device 57c3
07:00.5 Processing accelerators: Intel Corporation Device 57c3
07:00.6 Processing accelerators: Intel Corporation Device 57c3
07:00.7 Processing accelerators: Intel Corporation Device 57c3
07:01.0 Processing accelerators: Intel Corporation Device 57c3
07:01.1 Processing accelerators: Intel Corporation Device 57c3
07:01.2 Processing accelerators: Intel Corporation Device 57c3
07:01.3 Processing accelerators: Intel Corporation Device 57c3
07:01.4 Processing accelerators: Intel Corporation Device 57c3
07:01.5 Processing accelerators: Intel Corporation Device 57c3
07:01.6 Processing accelerators: Intel Corporation Device 57c3
07:01.7 Processing accelerators: Intel Corporation Device 57c3
07:02.0 Processing accelerators: Intel Corporation Device 57c3
0a:00.0 Processing accelerators: Intel Corporation Device 57c2

$ lspci | grep -i net
19:00.0 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.1 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.2 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.3 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
51:00.0 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:00.1 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:01.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)

El Plugin de dispositivo SR-IOV utiliza un configMap que contiene un archivo JSON para definir qué recursos de hardware debe exponer Kubernetes. Esta configuración se basa en dos conceptos fundamentales: selectors (para el descubrimiento de hardware) y resources (para la exposición en Kubernetes).

Un resource es la entidad con nombre que consumen los pods (p. ej., rancher.io/intel_fec_5g). Los recursos pueden definirse como uno de los dos tipos siguientes:

  • accelerator: Se utiliza para tarjetas aceleradoras vRAN (como ACC100/vRAN Boost).

  • netdevice: Se utiliza para interfaces de red estándar (NIC).

Define los dispositivos de destino utilizando selectors para filtrar el hardware en el nodo:

  • vendors: 8086 (Intel)

  • devices: 57c3 (FEC VF), 1889 (NIC VF)

  • drivers: vfio-pci

  • pfNames: eno16595np0 (nombre de la interfaz física)

Para tarjetas de red, también puede seleccionar un subconjunto de Funciones Virtuales (VF) a partir de una Función Física:

  • pfNames: ["eth1#1,2,3,4,5,6"] o bien [eth1#1-6]

Para permitir que los pods soliciten los dispositivos, cada recurso debe tener un nombre, que se compone de un prefijo y un nombre:

  • resourceName: pci_sriov_net_bh_dpdk

  • resourcePrefix: rancher.io

Los pods solicitarían entonces el nombre de recurso combinado: rancher.io/pci_sriov_net_bh_dpdk.

Nota
Nota

Este documento no enumera todos los selectores posibles. Los diferentes tipos de recursos utilizan diferentes conjuntos de selectores. Para obtener detalles completos, consulte el repositorio del plugin de dispositivos de red SR-IOV.

El ConfigMap siguiente es un ejemplo que crea tres recursos: uno para la tarjeta aceleradora vRAN (FEC) y dos para dos puertos NIC diferentes.

Para la tarjeta FEC, primero debe obtener el ID del dispositivo y el token VFIO. Siga las instrucciones del capítulo Capítulo 42, Aceleración vRAN (Intel ACC100/VRB1/VRB2) para conocer los requisitos previos.

apiVersion: v1
kind: ConfigMap
metadata:
  name: sriovdp-config
  namespace: kube-system
data:
  config.json: |
    {
        "resourceList": [
            {
                "resourcePrefix": "rancher.io",
                "resourceName": "intel_fec_5g",
                "deviceType": "accelerator",
                "selectors": {
                    "vendors": ["8086"],
                    "devices": ["57c3"]
                },
                "additionalInfo": {
                      "*": {
                        "VFIO_TOKEN": "00112233-4455-6677-8899-aabbccddeeff"
                      }
                  }
            },
            {
                "resourcePrefix": "rancher.io",
                "resourceName": "intel_sriov_odu",
                "deviceType": "netdevice",
                "selectors": {
                    "vendors": ["8086"],
                    "devices": ["1889"],
                    "drivers": ["vfio-pci"],
                    "pfNames": ["eno16595np0"]
                }
            },
            {
                "resourcePrefix": "rancher.io",
                "resourceName": "intel_sriov_oru",
                "deviceType": "netdevice",
                "selectors": {
                    "vendors": ["8086"],
                    "devices": ["1889"],
                    "drivers": ["vfio-pci"],
                    "pfNames": ["eno16605np1"]
                }
            }
        ]
    }
  • Prepare el archivo daemonset para desplegar el complemento de dispositivo.

El complemento de dispositivo admite varias arquitecturas (arm, amd, ppc64le), por lo que se puede utilizar el mismo archivo para diferentes arquitecturas desplegando varios daemonset para cada arquitectura.

apiVersion: v1
kind: ServiceAccount
metadata:
  name: sriov-device-plugin
  namespace: kube-system
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kube-sriov-device-plugin-amd64
  namespace: kube-system
  labels:
    tier: node
    app: sriovdp
spec:
  selector:
    matchLabels:
      name: sriov-device-plugin
  template:
    metadata:
      labels:
        name: sriov-device-plugin
        tier: node
        app: sriovdp
    spec:
      hostNetwork: true
      nodeSelector:
        kubernetes.io/arch: amd64
      tolerations:
      - key: node-role.kubernetes.io/master
        operator: Exists
        effect: NoSchedule
      serviceAccountName: sriov-device-plugin
      containers:
      - name: kube-sriovdp
        image: registry.suse.com/edge/3.7/sriov-network-device-plugin:v3.10.0
        imagePullPolicy: IfNotPresent
        args:
        - --log-dir=sriovdp
        - --log-level=10
        securityContext:
          privileged: true
        resources:
          requests:
            cpu: "250m"
            memory: "40Mi"
          limits:
            cpu: 1
            memory: "200Mi"
        volumeMounts:
        - name: devicesock
          mountPath: /var/lib/kubelet/
          readOnly: false
        - name: log
          mountPath: /var/log
        - name: config-volume
          mountPath: /etc/pcidp
        - name: device-info
          mountPath: /var/run/k8s.cni.cncf.io/devinfo/dp
      volumes:
        - name: devicesock
          hostPath:
            path: /var/lib/kubelet/
        - name: log
          hostPath:
            path: /var/log
        - name: device-info
          hostPath:
            path: /var/run/k8s.cni.cncf.io/devinfo/dp
            type: DirectoryOrCreate
        - name: config-volume
          configMap:
            name: sriovdp-config
            items:
            - key: config.json
              path: config.json
  • Tras aplicar el configMap y el daemonset, el complemento de dispositivo se desplegará y las interfaces serán detectadas y estarán disponibles para los pods.

    $ kubectl get pods -n kube-system | grep sriov
    kube-system  kube-sriov-device-plugin-amd64-twjfl  1/1  Running  0  2m
  • Verifique en todos los nodos si las interfaces fueron detectadas y quedaron disponibles para los pods:

    $ kubectl get nodes -o json | jq '.items[] | {name: .metadata.name, allocatable: .status.allocatable}'
    {
      "name": "node1.suse.edge.com",
      "allocatable": {
          "cpu": "64",
          "ephemeral-storage": "256196109726",
          "hugepages-1Gi": "40Gi",
          "hugepages-2Mi": "0",
          "rancher.io/intel_fec_5g": "16",
          "rancher.io/intel_sriov_odu": "4",
          "rancher.io/intel_sriov_oru": "4",
          "memory": "221396384Ki",
          "pods": "110"
      }
    }
  • El resourceName para el acelerador FEC es rancher.io/intel_fec_5g y hay 16 VFs disponibles para su uso.

  • El resourceName para las tarjetas NIC es rancher.io/intel_sriov_odu y rancher.io/intel_sriov_oru. Cada recurso proporciona 4 VFs.

Importante
Importante

Si no se detecta ninguna interfaz como recurso asignable en los nodos de Kubernetes, es esencial resolver este problema. Una causa común es una especificación de configMap mal formada, así que mejor revisad el configMap y sus selectores.

40.2 Opción 2 (Recomendada): Operador de red SR-IOV

  • Obtened Helm si no está presente:

$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
  • Instalad el Operador de red SR-IOV en el espacio de nombres sriov-network-operator:

helm install sriov-crd oci://registry.suse.com/edge/charts/sriov-crd -n sriov-network-operator
helm install sriov-network-operator oci://registry.suse.com/edge/charts/sriov-network-operator -n sriov-network-operator
  • Comprobad los CRD y pods desplegados:

$ kubectl get crd
$ kubectl -n sriov-network-operator get pods
  • Comprobad si la etiqueta SR-IOV se ha aplicado a los nodos.

Con todos los recursos en ejecución, la etiqueta aparece automáticamente en vuestro nodo:

$ kubectl get nodes -oyaml | grep feature.node.kubernetes.io/network-sriov.capable

feature.node.kubernetes.io/network-sriov.capable: "true"
  • Revisad el daemonset para ver los nuevos sriov-network-config-daemon y sriov-rancher-nfd-worker como activos y listos:

$ kubectl get daemonset -n sriov-network-operator
NAMESPACE             NAME                            DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR                                           AGE
sriov-network-operator   sriov-network-config-daemon     1         1         1       1            1           feature.node.kubernetes.io/network-sriov.capable=true   45m
sriov-network-operator   sriov-rancher-nfd-worker        1         1         1       1            1           <none>                                                  45m

En unos minutos, los nodos serán detectados y configurados completamente con SR-IOV capacidades. La actualización a veces puede tardar hasta 10 minutos:

$ kubectl get sriovnetworknodestates -A
NAMESPACE             NAME     AGE
sriov-network-operator   xr11-2   83s
  • Comprobad si se detectaron las interfaces.

Las interfaces descubiertas deberían ser la dirección PCI del dispositivo de red. Comprobad esta información con el comando lspci en el host.

$ kubectl get sriovnetworknodestates -n sriov-network-operator -oyaml
apiVersion: v1
items:
- apiVersion: sriovnetwork.openshift.io/v1
  kind: SriovNetworkNodeState
  metadata:
    creationTimestamp: "2023-06-07T09:52:37Z"
    generation: 1
    name: xr11-2
    namespace: sriov-network-operator
    ownerReferences:
    - apiVersion: sriovnetwork.openshift.io/v1
      blockOwnerDeletion: true
      controller: true
      kind: SriovNetworkNodePolicy
      name: default
      uid: 80b72499-e26b-4072-a75c-f9a6218ec357
    resourceVersion: "356603"
    uid: e1f1654b-92b3-44d9-9f87-2571792cc1ad
  spec:
    dpConfigVersion: "356507"
  status:
    interfaces:
    - deviceID: "1592"
      driver: ice
      eSwitchMode: legacy
      linkType: ETH
      mac: 40:a6:b7:9b:35:f0
      mtu: 1500
      name: eno16595np0
      pciAddress: "0000:51:00.0"
      totalvfs: 128
      vendor: "8086"
    - deviceID: "1592"
      driver: ice
      eSwitchMode: legacy
      linkType: ETH
      mac: 40:a6:b7:9b:35:f1
      mtu: 1500
      name: eno16605np1
      pciAddress: "0000:51:00.1"
      totalvfs: 128
      vendor: "8086"
    syncStatus: Succeeded
kind: List
metadata:
  resourceVersion: ""
Nota
Nota

Si vuestra interfaz no se detecta aquí, aseguraos de que esté presente en el siguiente config map:

$ kubectl get cm supported-nic-ids -oyaml -n sriov-network-operator

Si vuestro dispositivo no aparece en la lista, editad el config map añadiendo los valores correctos para que sea descubierto. A continuación, reiniciad los pods sriov-network-config-daemon en cada nodo para que la actualización surta efecto.

  • Cread el SriovNetworkNodePolicy para configurar el VFs

Esta política crea el recurso intelnicsDpdk para el consumo de pods. También vincula el controlador vfio-pci al dispositivo PCI proporcionado y crea 8 VFs con un tamaño de MTU de 1500:

Nota
Nota

El campo resourceName no debe contener caracteres especiales y debe ser único en todo el clúster. El ejemplo utiliza el deviceType: vfio-pci porque DPDK se utiliza en combinación con SR-IOV. Si no utilizáis DPDK, configurad deviceType: netdevice (valor predeterminado).

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
  name: policy-dpdk
  namespace: sriov-network-operator
spec:
  nodeSelector:
    feature.node.kubernetes.io/network-sriov.capable: "true"
  resourceName: intelnicsDpdk
  deviceType: vfio-pci
  numVfs: 8
  mtu: 1500
  nicSelector:
    deviceID: "1592"
    vendor: "8086"
    rootDevices:
    - 0000:51:00.0
  • Validad las configuraciones en todos los nodos:

Con el resourcePrefix rancher.io predefinido, debería detectarse un recurso rancher.io/intelnicsDpdk con 8 VFs.

$ kubectl get nodes -o jsonpath='{"items": [ { "name": @.metadata.name, "allocatable": @.status.allocatable } ]}' | jq
{
  "name": "node1.suse.edge.com",
  "allocatable": {
      "cpu": "64",
      "ephemeral-storage": "256196109726",
      "hugepages-1Gi": "60Gi",
      "hugepages-2Mi": "0",
      "rancher.io/intel_fec_5g": "16",
      "memory": "200424836Ki",
      "pods": "110",
      "rancher.io/intelnicsDpdk": "8"
  }
}
  • (Opcional) Cread el sriovnetwork

Este paso es opcional y solo es necesario para definiciones de red personalizadas. Especificad el resourceName para vincularlo a la política de nodo creada anteriormente.

Si se establece el networkNamespace, la red se expone a los pods en ese espacio de nombres. De lo contrario, la red pasa a estar disponible en el espacio de nombres de instalación del operador de red.

apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
  name: network-dpdk
  namespace: sriov-network-operator        # where SRIOV Operator is installed
spec:
  ipam: |
    {
      "type": "host-local",
      "subnet": "192.168.0.0/24",
      "rangeStart": "192.168.0.20",
      "rangeEnd": "192.168.0.60",
      "routes": [{
        "dst": "0.0.0.0/0"
      }],
      "gateway": "192.168.0.1"
    }
  vlan: 500
  resourceName: intelnicsDpdk
  networkNamespace: default         # where workloads are deployed
  • Si la actualización se realiza correctamente, se crea una NetworkAttachmentDefinition (NAD) en el clúster de destino.

$ kubectl get net-attach-def -A -oyaml

apiVersion: v1
items:
- apiVersion: k8s.cni.cncf.io/v1
  kind: NetworkAttachmentDefinition
  metadata:
    annotations:
      k8s.v1.cni.cncf.io/resourceName: rancher.io/intelnicsDpdk
    creationTimestamp: "2023-06-08T11:22:27Z"
    generation: 1
    name: network-dpdk
    namespace: default
    resourceVersion: "13124"
    uid: df7c89f5-177c-4f30-ae72-7aef3294fb15
  spec:
    config: '{ "cniVersion":"0.4.0", "name":"network-dpdk","type":"sriov","vlan":500,"vlanQoS":0,"ipam":{"type":"host-local","subnet":"192.168.0.0/24","rangeStart":"192.168.0.10","rangeEnd":"192.168.0.60","routes":[{"dst":"0.0.0.0/0"}],"gateway":"192.168.0.1"}
      }'
kind: List
metadata:
  resourceVersion: ""

Los pods de carga de trabajo podrían usar el resourceName rancher.io/intelnicsDpdk para utilizar las VFs de la interfaz de red.