39 SR-IOV #
SR-IOV (Single Root I/O Virtualization) permite que un único dispositivo físico, como un adaptador de red, separe sus recursos entre múltiples PCIe funciones de hardware. Esto permite el acceso directo a los recursos para diversas aplicaciones.
Proporcionamos dos métodos distintos para desplegar SR-IOV en su clúster:
Sección 39.1, “Opción 1: Daemonset y configMap del Plugin de dispositivo de red SR-IOV”: Este método es compatible tanto con dispositivos de red como con aceleradores vRAN.
Sección 39.2, “Opción 2 (Recomendada): Operador de red SR-IOV”: Este método automatizado proporciona un despliegue más sencillo. Este método es solo para dispositivos de red.
En casos excepcionales en los que necesite ambas soluciones (usar el Operador de red para dispositivos de red y el Plugin de dispositivo para aceleradores vRAN), debe desplegarlas en espacios de nombres de Kubernetes separados. Esta separación es esencial para evitar conflictos entre ambos despliegues.
39.1 Opción 1: Daemonset y configMap del Plugin de dispositivo de red SR-IOV #
El Plugin de dispositivo de red SR-IOV descubre y anuncia recursos de red, como funciones físicas (PF) PCI y sus funciones virtuales (VF), en un host de Kubernetes.
Prepare el mapa de configuración para el plugin de dispositivo
Necesitamos crear un mapa de configuración que defina los grupos de recursos SR-IOV. Ejecute el comando lspci para recuperar la información:
$ lspci | grep -i acc
07:00.0 Processing accelerators: Intel Corporation Device 57c2
07:00.1 Processing accelerators: Intel Corporation Device 57c3
07:00.2 Processing accelerators: Intel Corporation Device 57c3
07:00.3 Processing accelerators: Intel Corporation Device 57c3
07:00.4 Processing accelerators: Intel Corporation Device 57c3
07:00.5 Processing accelerators: Intel Corporation Device 57c3
07:00.6 Processing accelerators: Intel Corporation Device 57c3
07:00.7 Processing accelerators: Intel Corporation Device 57c3
07:01.0 Processing accelerators: Intel Corporation Device 57c3
07:01.1 Processing accelerators: Intel Corporation Device 57c3
07:01.2 Processing accelerators: Intel Corporation Device 57c3
07:01.3 Processing accelerators: Intel Corporation Device 57c3
07:01.4 Processing accelerators: Intel Corporation Device 57c3
07:01.5 Processing accelerators: Intel Corporation Device 57c3
07:01.6 Processing accelerators: Intel Corporation Device 57c3
07:01.7 Processing accelerators: Intel Corporation Device 57c3
07:02.0 Processing accelerators: Intel Corporation Device 57c3
0a:00.0 Processing accelerators: Intel Corporation Device 57c2
$ lspci | grep -i net
19:00.0 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.1 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.2 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.3 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
51:00.0 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:00.1 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:01.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)El Plugin de dispositivo SR-IOV utiliza un configMap que contiene un archivo JSON para definir qué recursos de hardware debe exponer Kubernetes. Esta configuración se basa en dos conceptos fundamentales: selectors (para el descubrimiento de hardware) y resources (para la exposición en Kubernetes).
Un resource es la entidad con nombre que consumen los pods (p. ej., rancher.io/intel_fec_5g). Los recursos pueden definirse como uno de los dos tipos siguientes:
accelerator: Se utiliza para tarjetas aceleradoras vRAN (como ACC100/vRAN Boost).netdevice: Se utiliza para interfaces de red estándar (NIC).
Define los dispositivos de destino utilizando selectors para filtrar el hardware en el nodo:
vendors:8086(Intel)devices:57c3(FEC VF),1889(NIC VF)drivers:vfio-pcipfNames:p2p1(nombre de la interfaz física)
Para tarjetas de red, también puede seleccionar un subconjunto de Funciones Virtuales (VF) a partir de una Función Física:
pfNames:["eth1#1,2,3,4,5,6"]o bien[eth1#1-6]
Para permitir que los pods soliciten los dispositivos, cada recurso debe tener un nombre, que se compone de un prefijo y un nombre:
resourceName:pci_sriov_net_bh_dpdkresourcePrefix:rancher.io
Los pods solicitarían entonces el nombre de recurso combinado: rancher.io/pci_sriov_net_bh_dpdk.
Este documento no enumera todos los selectores posibles. Los diferentes tipos de recursos utilizan diferentes conjuntos de selectores. Para obtener detalles completos, consulte el repositorio del plugin de dispositivos de red SR-IOV.
El ConfigMap siguiente es un ejemplo que crea tres recursos: uno para la tarjeta aceleradora vRAN (FEC) y dos para dos puertos NIC diferentes.
Para la tarjeta FEC, primero debe obtener el ID del dispositivo y el token VFIO. Siga las instrucciones del capítulo Capítulo 41, Aceleración vRAN (Intel ACC100/VRB1/VRB2) para conocer los requisitos previos.
apiVersion: v1
kind: ConfigMap
metadata:
name: sriovdp-config
namespace: kube-system
data:
config.json: |
{
"resourceList": [
{
"resourcePrefix": "rancher.io",
"resourceName": "intel_fec_5g",
"deviceType": "accelerator",
"selectors": {
"vendors": ["8086"],
"devices": ["57c3"]
},
"additionalInfo": {
"*": {
"VFIO_TOKEN": "00112233-4455-6677-8899-aabbccddeeff"
}
}
},
{
"resourcePrefix": "rancher.io",
"resourceName": "intel_sriov_odu",
"deviceType": "netdevice",
"selectors": {
"vendors": ["8086"],
"devices": ["1889"],
"drivers": ["vfio-pci"],
"pfNames": ["p2p1"]
}
},
{
"resourcePrefix": "rancher.io",
"resourceName": "intel_sriov_oru",
"deviceType": "netdevice",
"selectors": {
"vendors": ["8086"],
"devices": ["1889"],
"drivers": ["vfio-pci"],
"pfNames": ["p2p2"]
}
}
]
}Prepare el archivo
daemonsetpara desplegar el complemento de dispositivo.
El complemento de dispositivo admite varias arquitecturas (arm, amd, ppc64le), por lo que se puede utilizar el mismo archivo para diferentes arquitecturas desplegando varios daemonset para cada arquitectura.
apiVersion: v1
kind: ServiceAccount
metadata:
name: sriov-device-plugin
namespace: kube-system
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: kube-sriov-device-plugin-amd64
namespace: kube-system
labels:
tier: node
app: sriovdp
spec:
selector:
matchLabels:
name: sriov-device-plugin
template:
metadata:
labels:
name: sriov-device-plugin
tier: node
app: sriovdp
spec:
hostNetwork: true
nodeSelector:
kubernetes.io/arch: amd64
tolerations:
- key: node-role.kubernetes.io/master
operator: Exists
effect: NoSchedule
serviceAccountName: sriov-device-plugin
containers:
- name: kube-sriovdp
image: registry.suse.com/rancher/hardened-sriov-network-device-plugin:v3.9.0-build20250425
imagePullPolicy: IfNotPresent
args:
- --log-dir=sriovdp
- --log-level=10
securityContext:
privileged: true
resources:
requests:
cpu: "250m"
memory: "40Mi"
limits:
cpu: 1
memory: "200Mi"
volumeMounts:
- name: devicesock
mountPath: /var/lib/kubelet/
readOnly: false
- name: log
mountPath: /var/log
- name: config-volume
mountPath: /etc/pcidp
- name: device-info
mountPath: /var/run/k8s.cni.cncf.io/devinfo/dp
volumes:
- name: devicesock
hostPath:
path: /var/lib/kubelet/
- name: log
hostPath:
path: /var/log
- name: device-info
hostPath:
path: /var/run/k8s.cni.cncf.io/devinfo/dp
type: DirectoryOrCreate
- name: config-volume
configMap:
name: sriovdp-config
items:
- key: config.json
path: config.jsonTras aplicar el configMap y el
daemonset, el complemento de dispositivo se desplegará y las interfaces serán detectadas y estarán disponibles para los pods.$ kubectl get pods -n kube-system | grep sriov kube-system kube-sriov-device-plugin-amd64-twjfl 1/1 Running 0 2mVerifique en todos los nodos si las interfaces fueron detectadas y quedaron disponibles para los pods:
$ kubectl get nodes -o json | jq '.items[] | {name: .metadata.name, allocatable: .status.allocatable}' { "name": "node1.suse.edge.com", "allocatable": { "cpu": "64", "ephemeral-storage": "256196109726", "hugepages-1Gi": "40Gi", "hugepages-2Mi": "0", "rancher.io/intel_fec_5g": "16", "rancher.io/intel_sriov_odu": "4", "rancher.io/intel_sriov_oru": "4", "memory": "221396384Ki", "pods": "110" } }El resourceName para el acelerador
FECesrancher.io/intel_fec_5gy hay 16 VFs disponibles para su uso.El resourceName para las tarjetas NIC es
rancher.io/intel_sriov_oduyrancher.io/intel_sriov_oru. Cada recurso proporciona 4 VFs.
Si no se detecta ninguna interfaz como recurso asignable en los nodos de Kubernetes, es esencial resolver este problema. Una causa común es una especificación de configMap mal formada, así que mejor revisad el configMap y sus selectores.
39.2 Opción 2 (Recomendada): Operador de red SR-IOV #
Obtened Helm si no está presente:
$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bashInstalad el Operador de red SR-IOV en el espacio de nombres
sriov-network-operator:
helm install sriov-crd oci://registry.suse.com/edge/charts/sriov-crd -n sriov-network-operator
helm install sriov-network-operator oci://registry.suse.com/edge/charts/sriov-network-operator -n sriov-network-operatorComprobad los CRD y pods desplegados:
$ kubectl get crd
$ kubectl -n sriov-network-operator get podsComprobad si la etiqueta SR-IOV se ha aplicado a los nodos.
Con todos los recursos en ejecución, la etiqueta aparece automáticamente en vuestro nodo:
$ kubectl get nodes -oyaml | grep feature.node.kubernetes.io/network-sriov.capable
feature.node.kubernetes.io/network-sriov.capable: "true"Revisad el
daemonsetpara ver los nuevossriov-network-config-daemonysriov-rancher-nfd-workercomo activos y listos:
$ kubectl get daemonset -n sriov-network-operator
NAMESPACE NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
sriov-network-operator sriov-network-config-daemon 1 1 1 1 1 feature.node.kubernetes.io/network-sriov.capable=true 45m
sriov-network-operator sriov-rancher-nfd-worker 1 1 1 1 1 <none> 45mEn unos minutos, los nodos serán detectados y configurados completamente con SR-IOV capacidades. La actualización a veces puede tardar hasta 10 minutos:
$ kubectl get sriovnetworknodestates -A
NAMESPACE NAME AGE
sriov-network-operator xr11-2 83sComprobad si se detectaron las interfaces.
Las interfaces descubiertas deberían ser la dirección PCI del dispositivo de red. Comprobad esta información con el comando lspci en el host.
$ kubectl get sriovnetworknodestates -n sriov-network-operator -oyaml
apiVersion: v1
items:
- apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodeState
metadata:
creationTimestamp: "2023-06-07T09:52:37Z"
generation: 1
name: xr11-2
namespace: sriov-network-operator
ownerReferences:
- apiVersion: sriovnetwork.openshift.io/v1
blockOwnerDeletion: true
controller: true
kind: SriovNetworkNodePolicy
name: default
uid: 80b72499-e26b-4072-a75c-f9a6218ec357
resourceVersion: "356603"
uid: e1f1654b-92b3-44d9-9f87-2571792cc1ad
spec:
dpConfigVersion: "356507"
status:
interfaces:
- deviceID: "1592"
driver: ice
eSwitchMode: legacy
linkType: ETH
mac: 40:a6:b7:9b:35:f0
mtu: 1500
name: p2p1
pciAddress: "0000:51:00.0"
totalvfs: 128
vendor: "8086"
- deviceID: "1592"
driver: ice
eSwitchMode: legacy
linkType: ETH
mac: 40:a6:b7:9b:35:f1
mtu: 1500
name: p2p2
pciAddress: "0000:51:00.1"
totalvfs: 128
vendor: "8086"
syncStatus: Succeeded
kind: List
metadata:
resourceVersion: ""Si vuestra interfaz no se detecta aquí, aseguraos de que esté presente en el siguiente config map:
$ kubectl get cm supported-nic-ids -oyaml -n sriov-network-operatorSi vuestro dispositivo no aparece en la lista, editad el config map añadiendo los valores correctos para que sea descubierto. A continuación, reiniciad los pods sriov-network-config-daemon en cada nodo para que la actualización surta efecto.
Cread el
SriovNetworkNodePolicypara configurar elVFs
Esta política crea el recurso intelnicsDpdk para el consumo de pods. También vincula el controlador vfio-pci al dispositivo PCI proporcionado y crea 8 VFs con un tamaño de MTU de 1500:
El campo resourceName no debe contener caracteres especiales y debe ser único en todo el clúster.
El ejemplo utiliza el deviceType: vfio-pci porque DPDK se utiliza en combinación con SR-IOV. Si no utilizáis DPDK, configurad deviceType: netdevice (valor predeterminado).
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
name: policy-dpdk
namespace: sriov-network-operator
spec:
nodeSelector:
feature.node.kubernetes.io/network-sriov.capable: "true"
resourceName: intelnicsDpdk
deviceType: vfio-pci
numVfs: 8
mtu: 1500
nicSelector:
deviceID: "1592"
vendor: "8086"
rootDevices:
- 0000:51:00.0Validad las configuraciones en todos los nodos:
Con el resourcePrefix rancher.io predefinido, debería detectarse un recurso rancher.io/intelnicsDpdk con 8 VFs.
$ kubectl get nodes -o jsonpath='{"items": [ { "name": @.metadata.name, "allocatable": @.status.allocatable } ]}' | jq
{
"name": "node1.suse.edge.com",
"allocatable": {
"cpu": "64",
"ephemeral-storage": "256196109726",
"hugepages-1Gi": "60Gi",
"hugepages-2Mi": "0",
"rancher.io/intel_fec_5g": "16",
"memory": "200424836Ki",
"pods": "110",
"rancher.io/intelnicsDpdk": "8"
}
}(Opcional) Cread el
sriovnetwork
Este paso es opcional y solo es necesario para definiciones de red personalizadas. Especificad el resourceName para vincularlo a la política de nodo creada anteriormente.
Si se establece el networkNamespace, la red se expone a los pods en ese espacio de nombres. De lo contrario, la red pasa a estar disponible en el espacio de nombres de instalación del operador de red.
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
name: network-dpdk
namespace: sriov-network-operator # where SRIOV Operator is installed
spec:
ipam: |
{
"type": "host-local",
"subnet": "192.168.0.0/24",
"rangeStart": "192.168.0.20",
"rangeEnd": "192.168.0.60",
"routes": [{
"dst": "0.0.0.0/0"
}],
"gateway": "192.168.0.1"
}
vlan: 500
resourceName: intelnicsDpdk
networkNamespace: default # where workloads are deployedSi la actualización se realiza correctamente, se crea una NetworkAttachmentDefinition (NAD) en el clúster de destino.
$ kubectl get net-attach-def -A -oyaml
apiVersion: v1
items:
- apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
annotations:
k8s.v1.cni.cncf.io/resourceName: rancher.io/intelnicsDpdk
creationTimestamp: "2023-06-08T11:22:27Z"
generation: 1
name: network-dpdk
namespace: default
resourceVersion: "13124"
uid: df7c89f5-177c-4f30-ae72-7aef3294fb15
spec:
config: '{ "cniVersion":"0.4.0", "name":"network-dpdk","type":"sriov","vlan":500,"vlanQoS":0,"ipam":{"type":"host-local","subnet":"192.168.0.0/24","rangeStart":"192.168.0.10","rangeEnd":"192.168.0.60","routes":[{"dst":"0.0.0.0/0"}],"gateway":"192.168.0.1"}
}'
kind: List
metadata:
resourceVersion: ""Los pods de carga de trabajo podrían usar el resourceName rancher.io/intelnicsDpdk para utilizar las VFs de la interfaz de red.