40 SR-IOV #
SR-IOV (Single Root I/O Virtualization) permite que um único dispositivo físico, como um adaptador de rede, separe seus recursos entre múltiplas PCIe funções de hardware. Isso permite acesso direto aos recursos para várias aplicações.
Fornecemos dois métodos distintos para implantar SR-IOV em seu cluster:
Seção 40.1, “Opção 1: Daemonset e configMap do Plugin de Dispositivo de Rede SR-IOV”: Este método oferece suporte a dispositivos de rede e acelerador vRAN.
Seção 40.2, “Opção 2 (Recomendada): Operador de Rede SR-IOV”: Este método automatizado proporciona uma implantação mais simples. Este método é apenas para dispositivos de rede.
Em casos raros em que você precisa de ambas as soluções - usando o Operador de Rede para dispositivos de rede e o Plugin de Dispositivo para Aceleradores vRAN - você deve implantá-los em namespaces separados do Kubernetes. Essa separação é essencial para evitar conflitos entre as duas implantações.
40.1 Opção 1: Daemonset e configMap do Plugin de Dispositivo de Rede SR-IOV #
O Plugin de Dispositivo de Rede SR-IOV descobre e anuncia recursos de rede, como funções físicas (PFs) PCI e suas funções virtuais (VFs), em um host Kubernetes.
Prepare o configMap para o plugin de dispositivo
Precisamos criar um configMap que defina pools de recursos SR-IOV. Execute o comando lspci para recuperar as informações:
$ lspci | grep -i acc
07:00.0 Processing accelerators: Intel Corporation Device 57c2
07:00.1 Processing accelerators: Intel Corporation Device 57c3
07:00.2 Processing accelerators: Intel Corporation Device 57c3
07:00.3 Processing accelerators: Intel Corporation Device 57c3
07:00.4 Processing accelerators: Intel Corporation Device 57c3
07:00.5 Processing accelerators: Intel Corporation Device 57c3
07:00.6 Processing accelerators: Intel Corporation Device 57c3
07:00.7 Processing accelerators: Intel Corporation Device 57c3
07:01.0 Processing accelerators: Intel Corporation Device 57c3
07:01.1 Processing accelerators: Intel Corporation Device 57c3
07:01.2 Processing accelerators: Intel Corporation Device 57c3
07:01.3 Processing accelerators: Intel Corporation Device 57c3
07:01.4 Processing accelerators: Intel Corporation Device 57c3
07:01.5 Processing accelerators: Intel Corporation Device 57c3
07:01.6 Processing accelerators: Intel Corporation Device 57c3
07:01.7 Processing accelerators: Intel Corporation Device 57c3
07:02.0 Processing accelerators: Intel Corporation Device 57c3
0a:00.0 Processing accelerators: Intel Corporation Device 57c2
$ lspci | grep -i net
19:00.0 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.1 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.2 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.3 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
51:00.0 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:00.1 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:01.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)O Plugin de Dispositivo SR-IOV usa um configMap contendo um arquivo JSON para definir quais recursos de hardware o Kubernetes deve expor. Esta configuração baseia-se em dois conceitos principais: selectors (para descoberta de hardware) e resources (para exposição no Kubernetes).
Um resource é a entidade nomeada que os pods consomem (por exemplo, rancher.io/intel_fec_5g). Os recursos podem ser definidos como um de dois tipos:
accelerator: Usado para placas aceleradoras vRAN (como ACC100/vRAN Boost).netdevice: Usado para interfaces de rede padrão (NICs).
Você define os dispositivos de destino usando selectors para filtrar o hardware no nó:
vendors:8086(Intel)devices:57c3(FEC VF),1889(NIC VF)drivers:vfio-pcipfNames:eno16595np0(nome da interface física)
Para placas de rede, você também pode selecionar um subconjunto de Funções Virtuais (VFs) de uma Função Física:
pfNames:["eth1#1,2,3,4,5,6"]ou[eth1#1-6]
Para permitir que os pods solicitem os dispositivos, cada recurso deve ter um nome, que é composto por um prefixo e um nome:
resourceName:pci_sriov_net_bh_dpdkresourcePrefix:rancher.io
Os pods então solicitariam o nome do recurso combinado: rancher.io/pci_sriov_net_bh_dpdk.
Este documento não lista todos os seletores possíveis. Diferentes tipos de recursos usam diferentes conjuntos de seletores. Para detalhes abrangentes, consulte o repositório do SR-IOV Network Device Plugin.
O ConfigMap abaixo é um exemplo que cria três recursos: um para a placa aceleradora vRAN (FEC) e dois para duas portas NIC diferentes.
Para a placa FEC, você deve primeiro recuperar o ID do dispositivo e o token VFIO. Siga as instruções no capítulo Capítulo 42, Aceleração vRAN (Intel ACC100/VRB1/VRB2) para os pré-requisitos.
apiVersion: v1
kind: ConfigMap
metadata:
name: sriovdp-config
namespace: kube-system
data:
config.json: |
{
"resourceList": [
{
"resourcePrefix": "rancher.io",
"resourceName": "intel_fec_5g",
"deviceType": "accelerator",
"selectors": {
"vendors": ["8086"],
"devices": ["57c3"]
},
"additionalInfo": {
"*": {
"VFIO_TOKEN": "00112233-4455-6677-8899-aabbccddeeff"
}
}
},
{
"resourcePrefix": "rancher.io",
"resourceName": "intel_sriov_odu",
"deviceType": "netdevice",
"selectors": {
"vendors": ["8086"],
"devices": ["1889"],
"drivers": ["vfio-pci"],
"pfNames": ["eno16595np0"]
}
},
{
"resourcePrefix": "rancher.io",
"resourceName": "intel_sriov_oru",
"deviceType": "netdevice",
"selectors": {
"vendors": ["8086"],
"devices": ["1889"],
"drivers": ["vfio-pci"],
"pfNames": ["eno16605np1"]
}
}
]
}Prepare o arquivo
daemonsetpara implantar o plugin de dispositivo.
O plugin de dispositivo suporta várias arquiteturas (arm, amd, ppc64le), portanto, o mesmo arquivo pode ser usado para diferentes arquiteturas implantando vários daemonset para cada arquitetura.
apiVersion: v1
kind: ServiceAccount
metadata:
name: sriov-device-plugin
namespace: kube-system
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: kube-sriov-device-plugin-amd64
namespace: kube-system
labels:
tier: node
app: sriovdp
spec:
selector:
matchLabels:
name: sriov-device-plugin
template:
metadata:
labels:
name: sriov-device-plugin
tier: node
app: sriovdp
spec:
hostNetwork: true
nodeSelector:
kubernetes.io/arch: amd64
tolerations:
- key: node-role.kubernetes.io/master
operator: Exists
effect: NoSchedule
serviceAccountName: sriov-device-plugin
containers:
- name: kube-sriovdp
image: registry.suse.com/edge/3.7/sriov-network-device-plugin:v3.10.0
imagePullPolicy: IfNotPresent
args:
- --log-dir=sriovdp
- --log-level=10
securityContext:
privileged: true
resources:
requests:
cpu: "250m"
memory: "40Mi"
limits:
cpu: 1
memory: "200Mi"
volumeMounts:
- name: devicesock
mountPath: /var/lib/kubelet/
readOnly: false
- name: log
mountPath: /var/log
- name: config-volume
mountPath: /etc/pcidp
- name: device-info
mountPath: /var/run/k8s.cni.cncf.io/devinfo/dp
volumes:
- name: devicesock
hostPath:
path: /var/lib/kubelet/
- name: log
hostPath:
path: /var/log
- name: device-info
hostPath:
path: /var/run/k8s.cni.cncf.io/devinfo/dp
type: DirectoryOrCreate
- name: config-volume
configMap:
name: sriovdp-config
items:
- key: config.json
path: config.jsonApós aplicar o configMap e o
daemonset, o plugin de dispositivo será implantado e as interfaces serão descobertas e disponibilizadas para os pods.$ kubectl get pods -n kube-system | grep sriov kube-system kube-sriov-device-plugin-amd64-twjfl 1/1 Running 0 2mVerifique em todos os nós se as interfaces foram descobertas e disponibilizadas para os pods:
$ kubectl get nodes -o json | jq '.items[] | {name: .metadata.name, allocatable: .status.allocatable}' { "name": "node1.suse.edge.com", "allocatable": { "cpu": "64", "ephemeral-storage": "256196109726", "hugepages-1Gi": "40Gi", "hugepages-2Mi": "0", "rancher.io/intel_fec_5g": "16", "rancher.io/intel_sriov_odu": "4", "rancher.io/intel_sriov_oru": "4", "memory": "221396384Ki", "pods": "110" } }O nome do recurso para o acelerador
FECérancher.io/intel_fec_5ge 16 VFs estão disponíveis para uso.Os nomes do recurso para as placas NIC são
rancher.io/intel_sriov_oduerancher.io/intel_sriov_oru. Cada recurso fornece 4 VFs.
Se nenhuma interface for detectada como recurso alocável nos nós do Kubernetes, é essencial resolver esse problema. Uma causa comum é uma especificação de configMap mal formada, portanto, é melhor revisar o configMap e seus seletores.
40.2 Opção 2 (Recomendada): Operador de Rede SR-IOV #
Obtenha o Helm se não estiver presente:
$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bashInstale o Operador de Rede SR-IOV no namespace
sriov-network-operator:
helm install sriov-crd oci://registry.suse.com/edge/charts/sriov-crd -n sriov-network-operator
helm install sriov-network-operator oci://registry.suse.com/edge/charts/sriov-network-operator -n sriov-network-operatorVerifique os CRDs e pods implantados:
$ kubectl get crd
$ kubectl -n sriov-network-operator get podsVerifique se o rótulo SR-IOV foi aplicado aos nós.
Com todos os recursos em execução, o rótulo aparece automaticamente em seu nó:
$ kubectl get nodes -oyaml | grep feature.node.kubernetes.io/network-sriov.capable
feature.node.kubernetes.io/network-sriov.capable: "true"Revise o
daemonsetpara ver o novosriov-network-config-daemonesriov-rancher-nfd-workercomo ativos e prontos:
$ kubectl get daemonset -n sriov-network-operator
NAMESPACE NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
sriov-network-operator sriov-network-config-daemon 1 1 1 1 1 feature.node.kubernetes.io/network-sriov.capable=true 45m
sriov-network-operator sriov-rancher-nfd-worker 1 1 1 1 1 <none> 45mEm alguns minutos, os nós serão detectados e totalmente configurados com capacidades SR-IOV. A atualização pode levar, às vezes, até 10 minutos:
$ kubectl get sriovnetworknodestates -A
NAMESPACE NAME AGE
sriov-network-operator xr11-2 83sVerifique se as interfaces foram detectadas.
As interfaces descobertas devem ser o endereço PCI do dispositivo de rede. Verifique esta informação com o comando lspci no host.
$ kubectl get sriovnetworknodestates -n sriov-network-operator -oyaml
apiVersion: v1
items:
- apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodeState
metadata:
creationTimestamp: "2023-06-07T09:52:37Z"
generation: 1
name: xr11-2
namespace: sriov-network-operator
ownerReferences:
- apiVersion: sriovnetwork.openshift.io/v1
blockOwnerDeletion: true
controller: true
kind: SriovNetworkNodePolicy
name: default
uid: 80b72499-e26b-4072-a75c-f9a6218ec357
resourceVersion: "356603"
uid: e1f1654b-92b3-44d9-9f87-2571792cc1ad
spec:
dpConfigVersion: "356507"
status:
interfaces:
- deviceID: "1592"
driver: ice
eSwitchMode: legacy
linkType: ETH
mac: 40:a6:b7:9b:35:f0
mtu: 1500
name: eno16595np0
pciAddress: "0000:51:00.0"
totalvfs: 128
vendor: "8086"
- deviceID: "1592"
driver: ice
eSwitchMode: legacy
linkType: ETH
mac: 40:a6:b7:9b:35:f1
mtu: 1500
name: eno16605np1
pciAddress: "0000:51:00.1"
totalvfs: 128
vendor: "8086"
syncStatus: Succeeded
kind: List
metadata:
resourceVersion: ""Se sua interface não for detectada aqui, certifique-se de que ela esteja presente no próximo config map:
$ kubectl get cm supported-nic-ids -oyaml -n sriov-network-operatorSe seu dispositivo não estiver listado, edite o config map adicionando os valores corretos para que seja descoberto. Em seguida, reinicie os sriov-network-config-daemon pods em cada nó para que a atualização entre em vigor.
Crie o
SriovNetworkNodePolicypara configurar oVFs
Esta política cria o recurso intelnicsDpdk para consumo do pod. Ela também vincula o driver vfio-pci ao dispositivo PCI fornecido e cria 8 VFs com um tamanho de MTU de 1500:
O campo resourceName não deve conter caracteres especiais e deve ser exclusivo em todo o cluster.
O exemplo usa o deviceType: vfio-pci porque o DPDK é usado em combinação com SR-IOV. Se você não usar o DPDK, configure deviceType: netdevice (valor padrão).
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
name: policy-dpdk
namespace: sriov-network-operator
spec:
nodeSelector:
feature.node.kubernetes.io/network-sriov.capable: "true"
resourceName: intelnicsDpdk
deviceType: vfio-pci
numVfs: 8
mtu: 1500
nicSelector:
deviceID: "1592"
vendor: "8086"
rootDevices:
- 0000:51:00.0Valide as configurações em todos os nós:
Com o resourcePrefix rancher.io predefinido, um recurso rancher.io/intelnicsDpdk com 8 VFs deve ser descoberto.
$ kubectl get nodes -o jsonpath='{"items": [ { "name": @.metadata.name, "allocatable": @.status.allocatable } ]}' | jq
{
"name": "node1.suse.edge.com",
"allocatable": {
"cpu": "64",
"ephemeral-storage": "256196109726",
"hugepages-1Gi": "60Gi",
"hugepages-2Mi": "0",
"rancher.io/intel_fec_5g": "16",
"memory": "200424836Ki",
"pods": "110",
"rancher.io/intelnicsDpdk": "8"
}
}(Opcional) Crie o
sriovnetwork
Esta etapa é opcional e necessária apenas para definições de rede personalizadas. Especifique o resourceName para vincular à política de nó criada anteriormente.
Se o networkNamespace estiver definido, a rede será exposta aos pods nesse namespace. Caso contrário, a rede ficará disponível no namespace de instalação do Network Operator.
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
name: network-dpdk
namespace: sriov-network-operator # where SRIOV Operator is installed
spec:
ipam: |
{
"type": "host-local",
"subnet": "192.168.0.0/24",
"rangeStart": "192.168.0.20",
"rangeEnd": "192.168.0.60",
"routes": [{
"dst": "0.0.0.0/0"
}],
"gateway": "192.168.0.1"
}
vlan: 500
resourceName: intelnicsDpdk
networkNamespace: default # where workloads are deployedSe a atualização for bem-sucedida, uma NetworkAttachmentDefinition (NAD) será criada no cluster de destino.
$ kubectl get net-attach-def -A -oyaml
apiVersion: v1
items:
- apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
annotations:
k8s.v1.cni.cncf.io/resourceName: rancher.io/intelnicsDpdk
creationTimestamp: "2023-06-08T11:22:27Z"
generation: 1
name: network-dpdk
namespace: default
resourceVersion: "13124"
uid: df7c89f5-177c-4f30-ae72-7aef3294fb15
spec:
config: '{ "cniVersion":"0.4.0", "name":"network-dpdk","type":"sriov","vlan":500,"vlanQoS":0,"ipam":{"type":"host-local","subnet":"192.168.0.0/24","rangeStart":"192.168.0.10","rangeEnd":"192.168.0.60","routes":[{"dst":"0.0.0.0/0"}],"gateway":"192.168.0.1"}
}'
kind: List
metadata:
resourceVersion: ""Os pods de carga de trabalho podem usar o resourceName rancher.io/intelnicsDpdk para usar os VFs da interface de rede.