- SUSE Telco Cloud 3.7 文档
- I 概念与架构
- II 快速入门
- III 组件
- IV 要求和假设
- V 设置管理集群
- VI 电信功能配置
- VII 全自动定向网络配置
- VIII 第 2 天运维
- IX 操作指南
- X 提示和技巧
- XI 查错
- XII 附录
- 47.1 在带有可管理 DPLL 的 NIC 的节点上运行的 PTP 软件。
- 47.2 在 NIC 没有可管理 DPLL 的节点上运行的 PTP 软件。
- 47.3 具有跨 NIC 共享板载 DPLL 的节点上的 PTP 软件。
- 47.4 仅使用 PTP 的定时分配
- 47.5 带 PTP 和 SyncE 的时间和频率分发(可选增强功能)
- 47.6 普通时钟 (OC) — G.8275.1(第 2 层多播)
- 47.7 普通时钟(OC)— G.8275.2(第3层单播)
- 47.8 边界时钟(仅 PTP),单 NIC,传播至普通时钟
- 47.9 边界时钟(仅 PTP),具有板载 DPLL 的多 NIC GNR-D 节点,并传递给普通时钟。
- 59.1 通过 Rancher UI 部署 Bundle
- 59.2 Bundle 部署成功
- 59.3 成功升级 Longhorn chart 的日志
- 21.1 正在运行的升级计划示例:
- 21.2 成功的
UpgradePlan示例: - 47.1 普通时钟配置 — ITU-T G.8275.1
- 47.2 普通时钟配置 — ITU-T G.8275.2
- 47.3 边界时钟配置
- 47.4 普通时钟配置
- 47.5
01-gnrd-startup-setup.sh - 47.6
/etc/ts2phc-cf-all.cfg—ts2phc配置文件 - 47.7
/etc/ptp4l-nac.conf— 集成控制器 (/dev/ptp1) - 47.8
/etc/ptp4l-aic1.conf— 附加卡 1 (/dev/ptp2) - 47.9
/etc/ptp4l-aic2.conf— 附加卡 2 (/dev/ptp3) - 47.10
get_pmc_values.sh— 从ptp4l实例查询 Grandmaster 值 - 47.11
04-ptp-forward-GM.sh— 将 Grandmaster 值转发到附加实例
SUSE Telco Cloud 3.7 文档 #
欢迎阅读 SUSE Telco Cloud 文档。您将找到高层架构概述、快速入门指南、经过验证的设计、组件用法指南、第三方集成,以及有关管理边缘计算基础架构和工作负载的最佳实践。
1 什么是 SUSE Telco Cloud? #
SUSE Telco Cloud 是一个针对电信优化的计算平台,使电信运营商和电信网络供应商能够创新并加速其网络现代化进程。
SUSE Telco Cloud 是一个完整的支持电信的云原生堆栈,用于托管 CNF,涵盖所有电信领域:分组核心网、无线接入网 (RAN)、运营支撑系统 (OSS) 和业务支撑系统 (BSS)。
实现电信规模下复杂边缘堆栈配置的零接触部署和生命周期管理的自动化。
使用电信特定的配置和工作负载,持续确保电信级硬件上的质量。
由专为边缘构建的组件组成,因此具有更小的占用空间和更高的每瓦性能。
保持灵活的平台策略,采用供应商中立的 API 和 100% 开源。
2 设计理念 #
该解决方案的设计理念是,由于客户的需求和期望差异巨大,不存在“一刀切”的边缘平台。边缘部署促使我们去解决并不断演进一些最具挑战性的问题,包括大规模可扩展性、受限的网络可用性、物理空间限制、新的安全威胁和攻击向量、硬件体系结构和系统资源的差异、部署和对接遗留基础设施与应用程序的需求,以及具有延长生命周期的客户解决方案。由于其中许多挑战与传统思维方式(例如在数据中心或公有云中部署基础设施和应用程序)不同,我们必须以更细致的粒度深入研究设计,并重新思考许多常见的假设。
例如,我们认为极简主义、模块化和操作简便具有重要价值。极简主义对于边缘环境非常重要,因为系统越复杂,就越容易出故障。当管理数百个甚至多达数十万个地点时,复杂的系统会以复杂的方式出现故障。我们方案的模块化在去除已部署平台中不必要的复杂性的同时,为用户提供了更多选择。我们还需要在这些方面与操作的简便性之间取得平衡。人在重复执行数千次处理时可能会犯错,因此平台应确保任何潜在的错误都是可恢复的,从而无需现场技术人员到场,同时也应努力实现一致性和标准化。
3 高级体系结构 #
SUSE Telco Cloud 的高级体系结构分为两个核心类别,即“管理”集群和“下游”集群。管理集群负责远程管理一个或多个下游集群,尽管人们认识到在某些情况下,下游集群需要在没有远程管理的情况下运行,例如在边缘站点没有外部连接且需要独立运行的情况下。在 SUSE Telco Cloud 中,用于管理集群和下游集群操作的技术组件在很大程度上是通用的,尽管它们在系统规格和驻留其上的应用程序方面可能会有所不同,即管理集群将运行支持系统管理和生命周期操作的应用程序,而下游集群则用于服务用户应用程序。
3.1 SUSE Telco Cloud 中使用的组件 #
SUSE Telco Cloud 由现有的 SUSE 和 Rancher 组件以及 Edge 团队构建的附加功能和组件组成,使我们能够解决边缘计算中所需的约束和复杂性。下面解释了管理集群和下游集群中使用的组件,并附有一个简化的高级体系结构图,请注意这不是一个详尽的列表:
3.1.1 管理群集 #
管理:这是 SUSE Telco Cloud 的集中式部分,用于管理已连接下游集群的部署和生命周期。管理集群通常包括以下组件:
通过 Rancher Prime (第 6 章 “Rancher”) 进行多集群管理,为下游集群的接入以及基础设施和应用程序的持续生命周期管理提供了一个通用仪表板,同时还提供全面的租户隔离和
IDP(身份提供商)集成、大量的第三方集成和扩展市场,以及供应商中立的 API。通过 SUSE Multi-Linux Manager 进行 Linux 系统管理,实现对下游集群上运行的底层 Linux 操作系统(*SUSE Linux Micro (第 10 章 “SUSE Linux Micro”))的自动化 Linux 补丁和配置管理。请注意,虽然此组件已容器化,但目前需要在与其他管理组件不同的系统上运行,因此在上图中标记为“Linux 管理”。
一个专用的 生命周期管理 (第 21 章 “升级控制器”) 控制器,用于处理给定 SUSE Telco Cloud 版本的管理集群组件升级。
通过 Metal3 (第 11 章 “Metal3”)、MetalLB (第 17 章 “MetalLB”) 和
CAPI(Cluster API) 基础设施提供商提供可选的完整裸机生命周期和管理支持,从而实现对具有远程管理功能的裸机系统的全面端到端配置。一个名为 Fleet (第 9 章 “Fleet”) 的可选 GitOps 引擎,用于管理下游集群及其上运行的应用程序的配置和生命周期。
支撑管理集群本身的是作为基础操作系统的 SUSE Linux Micro (第 10 章 “SUSE Linux Micro”),以及作为支持管理集群应用程序的 Kubernetes 发行版的 RKE2 (第 14 章 “RKE2”)。
3.1.2 下游集群 #
下游:这是 SUSE Telco Cloud 的分布式部分,用于在边缘运行用户工作负载,即在边缘位置本身运行的软件,通常由以下组件组成:
RKE2,一种经过加固和认证的 Kubernetes 发行版,针对政府和受监管行业的使用进行了优化
SUSE Security (第 16 章 “SUSE Security”),用于启用镜像漏洞扫描、深度数据包检测以及实时威胁和漏洞防护等安全功能。
使用 SUSE Storage (第 15 章 “SUSE Storage”) 提供块存储,以实现轻量级、持久、弹性和可扩展的块存储。
一种轻量级、针对容器优化的加固型 Linux 操作系统 SUSE Linux Micro (第 10 章 “SUSE Linux Micro”),为在边缘运行容器和虚拟机提供了一个不可变且高度弹性的操作系统。SUSE Linux Micro 可用于 AArch64 和 AMD64/Intel 64 架构,它还支持
Real-Time Kernel以满足延迟敏感型应用(例如电信应用场景)的需求。对于已连接的集群(即那些与管理集群保持连接的集群),会部署两个代理,分别是用于管理与 Rancher Prime 连接的 Rancher System Agent,以及用于接收来自 SUSE Multi-Linux Manager 的指令以应用 Linux 软件更新的 venv-salt-minion。管理断开连接的集群时不需要这些代理。
3.2 连接 #
上图提供了 已连接 下游集群及其与管理集群连接的高级架构概览。管理集群可以部署在各种底层基础设施平台上,包括本地和云端,具体取决于下游集群与目标管理集群之间的网络可用性。实现此功能的唯一要求是,连接下游集群节点与管理基础设施的网络必须能够访问 API 和回调 URL。
必须认识到,建立这种连接的方法与下游集群部署方式有所不同。下一节将更深入地解释其中的细节,但为了建立基础认知,将下游集群建立为“受管”集群主要有三种机制:
下游集群最初以“断开连接”的状态部署(例如通过 Edge Image Builder (第 12 章 “Edge Image Builder”)),然后在连接允许的情况下导入到管理集群中。
下游集群被配置为使用内置的接入机制 它们会在首次启动时自动注册到管理集群中,从而允许集群配置的后期绑定。
下游集群已配置了裸机管理功能(CAPI + Metal3),并且一旦集群部署和配置完成(通过 Rancher Turtles 操作器),它们就会自动导入到管理集群中。
4 常见的边缘部署模式 #
由于操作环境和生命周期要求各不相同,我们针对 SUSE Telco Cloud 运营所处的市场细分领域和用例,实施了对多种不同部署模式的支持。我们为每种部署模式都编写了快速入门指南,以帮助您根据自身需求熟悉 SUSE Telco Cloud 平台。我们目前支持的三种部署模式如下所述,并附有相应快速入门页面的链接。
4.1 定向网络配置 #
定向网络配置是指您了解希望部署到的硬件详细信息,并拥有对带外管理接口的直接访问权限,从而编排和自动化整个配置过程。在这种场景下,我们的客户期望解决方案能够从中心位置完全自动化地配置边缘站点,通过最大限度地减少边缘位置的手动操作,实现比创建引导镜像更进一步的功能;只需上架、通电并将所需的网络连接到物理硬件,自动化流程就会通过带外管理(例如通过 Redfish API)启动机器,并在无需用户干预的情况下处理基础设施的配置、接入和部署。实现这一点的关键在于管理员对系统了如指掌;他们知道哪些硬件位于哪个位置,并且预期部署将由中心统一处理。
该解决方案最为稳健,因为您可以直接与硬件的管理接口交互,处理的是已知硬件,并且对网络可用性的限制较少。在功能方面,该解决方案广泛使用 Cluster API 和 Metal3 进行从裸机、操作系统、Kubernetes 到分层应用程序的自动化部署,并提供了在部署后链接到 SUSE Telco Cloud 通用生命周期管理功能的能力。该解决方案的快速入门指南可在 第 4 章 “使用 Metal3 进行 BMC 自动部署” 中找到。
4.2 基于镜像的部署 #
对于需要在独立、隔离的或网络受限环境中运行的客户,SUSE Telco Cloud 提供了一种解决方案,使客户能够生成完全定制的安装介质,其中包含在边缘启用单节点和多节点高可用 Kubernetes 集群所需的所有部署工件,包括所需的任何工作负载或额外的分层组件,且无需连接到外部网络,也无需集中式管理平台的干预。用户体验与“Phone Home”解决方案非常相似,即向目标系统提供安装介质,但该解决方案将“就地引导”。在这种情况下,可以将生成的集群连接到 Rancher 进行持续管理(即从“断开连接”模式转变为“连接”模式,而无需进行重大的重新配置或重新部署),也可以继续在隔离状态下运行。请注意,在这两种情况下,都可以应用相同的自动化生命周期操作的一致机制。
此外,该解决方案可用于快速创建管理集群,这些集群可以托管支持“定向网络配置”和“Phone Home 网络配置”模型的集中式基础设施,因为这可能是配置所有类型边缘基础设施最快捷、最简单的方法。该解决方案大量利用 SUSE Telco Cloud Image Builder 的功能来创建完全定制的无人值守安装介质;快速入门指南可在 第 5 章 “使用 Edge Image Builder 的独立集群” 中找到。
5 SUSE Telco Cloud 堆栈验证 #
所有 SUSE Telco Cloud 版本均由紧密集成且经过彻底验证的组件组成,这些组件作为一个整体进行版本控制。作为持续集成和堆栈验证工作的一部分,不仅要测试组件之间的集成,还要确保系统在强制故障场景下按预期运行,SUSE Telco Cloud 团队会将所有测试运行及其结果公开发布。结果以及所有输入参数可在 ci.edge.suse.com 中找到。
6 完整组件列表 #
组件的完整列表,以及每个组件的高级描述链接及其在 SUSE Telco Cloud 中的使用方式,请见下方:
Rancher (第 6 章 “Rancher”)
Rancher Dashboard 扩展 (第 7 章 “Rancher 仪表板扩展”)
Rancher Turtles (第 8 章 “Rancher Turtles”)
SUSE Multi-Linux Manager
Fleet (第 9 章 “Fleet”)
SUSE Linux Micro (第 10 章 “SUSE Linux Micro”)
Metal³ (第 11 章 “Metal3”)
Edge Image Builder (第 12 章 “Edge Image Builder”)
NetworkManager Configurator (第 13 章 “边缘网络”)
RKE2 (第 14 章 “RKE2”)
SUSE Storage (第 15 章 “SUSE Storage”)
SUSE Security (第 16 章 “SUSE Security”)
MetalLB (第 17 章 “MetalLB”)
KubeVirt (第 19 章 “边缘虚拟化”)
系统升级控制器 (第 20 章 “系统升级控制器”)
Upgrade Controller (第 21 章 “升级控制器”)
第 I 部分 概念与架构 #
SUSE Telco Cloud 是一个旨在从核心到边缘大规模托管现代云原生电信应用程序的平台。
本页面介绍了 SUSE Telco Cloud 中使用的架构和组件。
- 1 SUSE Telco Cloud 架构
下图显示了 SUSE Telco Cloud 的高层架构:
- 2 组件
这里有两个不同的堆栈:管理堆栈和运行时堆栈:
- 3 部署模型
SUSE Telco Cloud 遵循两阶段部署模型:管理集群使用由 Edge Image Builder (第 12 章 “Edge Image Builder”) 生成的镜像进行部署,下游集群则通过定向网络配置进行部署。本章概述了此部署模型,因为它是 SUSE Telco Cloud 环境推荐且受支持的方法。
1 SUSE Telco Cloud 架构 #
下图显示了 SUSE Telco Cloud 的高层架构:
2 组件 #
这里有两个不同的堆栈:管理堆栈和运行时堆栈:
管理堆栈:这是 SUSE Telco Cloud 中用于管理运行时堆栈的部署和生命周期的部分。此解决方案包含下列组件:
使用 Rancher (第 6 章 “Rancher”) 在公有云和私有云环境中进行多集群管理
支持 Metal3 (第 11 章 “Metal3”)、MetalLB (第 17 章 “MetalLB”) 和
CAPI(Cluster API) 基础设施提供程序的裸机支持全面的租户隔离和
IDP(身份提供程序) 集成庞大的第三方集成和扩展市场
供应商中立的 API 和丰富的提供程序生态系统
控制 SUSE Linux Micro 事务更新
使用 Fleet (第 9 章 “Fleet”) 通过 Git 存储库管理集群生命周期的 GitOps 引擎
运行时堆栈:这是 SUSE Telco Cloud 中用于运行工作负载的部分。
RKE2 (第 14 章 “RKE2”) 作为安全加固的轻量级 Kubernetes 发行版,针对边缘和合规性要求严格的电信环境进行了优化。
(可选)SUSE Security (第 16 章 “SUSE Security”),用于启用镜像漏洞扫描、深度数据包检测和自动集群内流量控制等安全功能。
(可选)使用 SUSE Storage (第 15 章 “SUSE Storage”) 的块存储,以启用一种简单易用的云原生存储解决方案。
经过优化的操作系统,采用 SUSE Linux Micro (第 10 章 “SUSE Linux Micro”),可实现安全、轻量且不可变(事务性文件系统)的操作系统,用于运行容器。SUSE Linux Micro 可在 AArch64 和 AMD64/Intel 64 架构上使用,它还支持用于电信和边缘用例的
Real-Time Kernel。
3 部署模型 #
SUSE Telco Cloud 遵循两阶段部署模型:管理集群使用由 Edge Image Builder (第 12 章 “Edge Image Builder”) 生成的镜像进行部署,下游集群则通过定向网络配置进行部署。本章概述了此部署模型,因为它是 SUSE Telco Cloud 环境推荐且受支持的方法。
3.1 为什么选择此部署模型? #
管理集群是一次性的单站点部署。基于镜像的配置将所有组件捆绑到一个可启动镜像中。通过这种方式,管理集群将自行启动,从而将操作复杂性降至最低。这是使其启动并运行的最简单、最直接的方法。
然而,下游集群的情况则不同。在电信环境中,它们需要在许多数据中心和边缘站点进行大规模部署,且通常没有现场技术专家。定向网络配置正是为此而设计:它要求目标服务器支持带外管理接口(如 Redfish),管理集群通过该接口远程开启、检查并配置裸机节点,无需任何现场干预。
如果像基于镜像的配置那样,将所有集群特定的配置烘焙到启动镜像中,意味着每个站点的差异都需要不同的镜像,并且任何配置更改都需要在所有站点重新构建和分发镜像。定向网络配置通过保持操作系统镜像的通用性,并在配置时从管理集群驱动所有集群特定的配置(包括网络、Kubernetes 和电信配置文件)来解决此问题。操作员只需上架、通电并连接硬件,其余工作由管理集群处理。
这种分离还解锁了完整的 GitOps 集成。由于整个下游集群定义表示为 Cluster API 清单,因此它可以存储在 Git 中并由 Fleet 在所有站点进行协调,从而使部署、配置和生命周期操作完全可审计且可重复,无需人工干预。
3.2 管理集群的部署 #
使用 Edge Image Builder (第 12 章 “Edge Image Builder”) 创建包含管理堆栈的新 ISO 镜像。然后,您可以使用此 ISO 镜像在虚拟机或裸机上安装新的管理集群。
3.3 部署带有电信配置文件的单节点下游集群 #
一旦管理集群启动并运行,我们就可以使用它,通过定向网络配置工作流部署一个启用了所有电信功能并进行了相应配置的单节点下游集群。
下图显示了部署它的高级工作流:
3.4 部署高可用性下游集群 #
一旦管理集群启动并运行,我们就可以使用它,通过定向网络配置工作流部署一个以 MetalLB 作为负载均衡器的高可用性下游集群。
下图显示了部署它的高级工作流:
第 II 部分 快速入门 #
快速入门
- 4 使用 Metal3 进行 BMC 自动部署
Metal3 是一个 CNCF 项目,为 Kubernetes 提供裸机基础设施管理功能。
- 5 使用 Edge Image Builder 的独立集群
Edge Image Builder (EIB) 是一款简化了为引导机器生成定制化、即开即用 (CRB) 磁盘镜像流程的工具,即使在完全隔离的环境中也能使用。EIB 用于为所有三种 SUSE Telco Cloud 部署足迹创建部署镜像,因为它足够灵活,既能提供最小化的自定义(例如添加用户或设置时区),也能提供全面配置的镜像(例如设置复杂的网络配置、部署多节点 Kubernetes 集群、部署客户工作负载,以及通过 Rancher/Elemental 和 SUSE Multi-Linux Manager 注册到集中式管理平台)。EIB 作为容器镜像运行,使其在不同平台间具有极高的可移植性,并确…
4 使用 Metal3 进行 BMC 自动部署 #
Metal3 是一个 CNCF 项目,为 Kubernetes 提供裸机基础设施管理功能。
Metal3 提供 Kubernetes 原生资源来管理裸机服务器的生命周期,这些服务器支持通过带外协议(例如 Redfish)进行管理。
它还对 Cluster API (CAPI) 提供了成熟的支持,该支持通过广泛采用的供应商中立 API 实现跨多个基础设施提供商的基础设施资源管理。
4.1 为什么要使用这种方法 #
这种方法适用于目标硬件支持带外管理且需要完全自动化的基础设施管理流程的场景。
配置管理集群以提供声明式 API,从而支持下游集群裸机服务器的清单和状态管理,包括自动检查、清理以及配置/取消配置。
4.2 高级体系结构 #
4.3 先决条件 #
存在一些与下游群集服务器硬件和网络相关的特定约束:
管理集群
必须具备与目标服务器管理/BMC API 的网络连接
必须具备与目标服务器控制平面网络的网络连接
对于多节点管理集群,需要一个额外的预留 IP 地址。
受控主机
必须支持通过 Redfish、iDRAC 或 iLO 接口进行带外管理
必须支持通过虚拟媒体进行部署(目前不支持 PXE)
必须具备与管理集群的网络连接,以便访问 Metal3 配置 API
需要一些工具,这些工具可以安装在管理集群上,也可以安装在可以访问它的主机上。
容器运行时,例如 Podman 或 Rancher Desktop
使用 Kiwi Builder (第 65 章 “使用 Kiwi 构建更新的 SUSE Linux Micro 镜像”) 创建的 SUSE Linux Micro 6.2 raw 镜像
4.4 部署 #
4.4.1 设置管理群集 #
安装管理集群并使用 Metal3 的基本步骤如下:
安装 RKE2 管理集群
安装 Rancher
安装存储提供程序(可选)
安装 Metal3 依赖项
安装 CAPI 提供程序依赖项
为下游集群主机构建 SLEMicro OS 镜像
注册 BareMetalHost CR 以定义裸机清单
通过定义 CAPI 资源创建下游集群
本指南假设已安装现有的 RKE2 集群和 Rancher(包括 cert-manager),例如通过使用 Edge Image Builder (第 12 章 “Edge Image Builder”)。
4.4.2 安装 Metal3 依赖项 #
如果尚未作为 Rancher 安装的一部分进行安装,则必须安装并运行 cert-manager。
需要一个额外的 IP,该 IP 由 MetalLB 管理,以便为 Metal3 管理服务提供一致的端点。 此 IP 必须属于控制平面子网,并保留用于静态配置(不属于任何 DHCP 池)。
首先,我们安装 MetalLB:
helm install \ metallb oci://registry.suse.com/edge/charts/metallb \ --namespace metallb-system \ --create-namespace然后,我们使用保留的 IP 定义
IPAddressPool和L2Advertisement,定义如下STATIC_IRONIC_IP:export STATIC_IRONIC_IP=<STATIC_IRONIC_IP> cat <<-EOF | kubectl apply -f - apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: ironic-ip-pool namespace: metallb-system spec: addresses: - ${STATIC_IRONIC_IP}/32 serviceAllocation: priority: 100 serviceSelectors: - matchExpressions: - {key: app.kubernetes.io/name, operator: In, values: [metal3-ironic]} EOFcat <<-EOF | kubectl apply -f - apiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: ironic-ip-pool-l2-adv namespace: metallb-system spec: ipAddressPools: - ironic-ip-pool EOF现在可以安装 Metal3:
helm install \ metal3 oci://registry.suse.com/edge/charts/metal3 \ --namespace metal3-system \ --create-namespace \ --set global.ironicIP="$STATIC_IRONIC_IP"此部署上的初始化容器运行大约需要两分钟,因此请确保所有 Pod 都在运行后再继续:
kubectl get pods -n metal3-system NAME READY STATUS RESTARTS AGE baremetal-operator-controller-manager-85756794b-fz98d 2/2 Running 0 15m metal3-metal3-ironic-677bc5c8cc-55shd 4/4 Running 0 15m metal3-metal3-mariadb-7c7d6fdbd8-64c7l 1/1 Running 0 15m
在 metal3-system 命名空间中的所有 Pod 均处于运行状态之前,请勿执行后续步骤。
4.4.3 安装集群 API 提供程序依赖项 #
集群 API 提供程序依赖项通过 Rancher Turtles Providers Helm chart 进行管理:
helm install \
rancher-turtles oci://registry.suse.com/edge/charts/rancher-turtles-providers \
--namespace cattle-turtles-system \
--create-namespace一段时间后,控制器 Pod 应在 cattle-capi-system、capm3-system、rke2-bootstrap-system 和 rke2-control-plane-system 命名空间中运行。
4.4.4 准备下游集群映像 #
Kiwi (第 65 章 “使用 Kiwi 构建更新的 SUSE Linux Micro 镜像”) 和 Edge Image Builder (第 12 章 “Edge Image Builder”) 用于准备修改后的 SLEMicro 基础映像,该映像配置在下游集群主机上。
在本指南中,我们将介绍部署下游集群所需的最小配置。
4.4.4.1 映像配置 #
运行 Edge Image Builder 时,会从主机挂载一个目录,因此必须创建一个目录结构来存储用于定义目标映像的配置文件。
`downstream-cluster-config.yaml`是映像定义文件,有关更多详细信息,请参阅 第 5 章 “使用 Edge Image Builder 的独立集群”。
将 Kiwi Builder 创建的基础映像复制到
base-images目录。network文件夹是可选的,有关更多详细信息,请参阅 第 4.4.5.1.1 节 “用于静态网络配置的附加脚本”。custom/scripts 目录包含要在首次启动时运行的脚本;目前需要一个
01-fix-growfs.sh脚本来在部署时调整操作系统根分区的大小。
├── downstream-cluster-config.yaml
├── base-images/
│ └ SL-Micro.x86_64-6.2-Base-GM.raw
├── network/
| └ configure-network.sh
└── custom/
└ scripts/
└ 01-fix-growfs.sh4.4.4.1.1 下游集群映像定义文件 #
`downstream-cluster-config.yaml`文件是下游集群映像的主配置文件。以下是通过 Metal3 进行部署的最小示例:
apiVersion: 1.3
image:
imageType: raw
arch: x86_64
baseImage: SL-Micro.x86_64-6.2-Base-GM.raw
outputImageName: SLE-Micro-eib-output.raw
operatingSystem:
time:
timezone: Europe/London
ntp:
forceWait: true
pools:
- 2.suse.pool.ntp.org
servers:
- 10.0.0.1
- 10.0.0.2
kernelArgs:
- ignition.platform.id=openstack
systemd:
disable:
- rebootmgr
- transactional-update.timer
- transactional-update-cleanup.timer
users:
- username: root
encryptedPassword: $ROOT_PASSWORD
sshKeys:
- $USERKEY1
createHomeDir: true
packages:
packageList:
- jq
sccRegistrationCode: $SCC_REGISTRATION_CODE其中 $SCC_REGISTRATION_CODE 是从 SUSE Customer Center 复制的注册码,软件包列表包含所需的 jq。
$ROOT_PASSWORD`是 root 用户的加密密码,这对于测试/调试非常有用。它可以使用 `openssl passwd -6 PASSWORD 命令生成。
对于生产环境,建议使用可添加到用户块中的 SSH 密钥,并将 $USERKEY1 替换为实际的 SSH 密钥。
请注意,ignition.platform.id=openstack 是强制性的 - 如果没有此参数,通过 ignition 进行的 SUSE Linux Micro 配置将在 Metal3 自动化流程中失败。
`time`部分是可选的,但强烈建议进行配置,以避免证书和时钟偏差带来的潜在问题。本示例中提供的值仅用于说明目的。请根据您的具体要求进行调整。
4.4.4.1.2 Growfs 脚本 #
目前,需要一个自定义脚本 (custom/scripts/01-fix-growfs.sh) 来在配置后的首次启动时扩展文件系统以匹配磁盘大小。`01-fix-growfs.sh`脚本包含以下信息:
#!/bin/bash
growfs() {
mnt="$1"
dev="$(findmnt --fstab --target ${mnt} --evaluate --real --output SOURCE --noheadings)"
# /dev/sda3 -> /dev/sda, /dev/nvme0n1p3 -> /dev/nvme0n1
parent_dev="/dev/$(lsblk --nodeps -rno PKNAME "${dev}")"
# Last number in the device name: /dev/nvme0n1p42 -> 42
partnum="$(echo "${dev}" | sed 's/^.*[^0-9]\([0-9]\+\)$/\1/')"
ret=0
growpart "$parent_dev" "$partnum" || ret=$?
[ $ret -eq 0 ] || [ $ret -eq 1 ] || exit 1
/usr/lib/systemd/systemd-growfs "$mnt"
}
growfs /4.4.4.2 映像创建 #
一旦按照前几节准备好目录结构,请运行以下命令来构建映像:
podman run --rm --privileged -it -v $PWD:/eib \
registry.suse.com/edge/3.7/edge-image-builder:1.3.4 \
build --definition-file downstream-cluster-config.yaml这将基于上述定义创建名为 SLE-Micro-eib-output.raw 的输出映像文件。
然后,必须通过 Web 服务器提供输出映像,可以是启用 Metal3 chart (注意) 的 media-server 容器,也可以是其他本地可访问的服务器。 在下面的示例中,我们将此服务器称为 imagecache.local:8080
将 EIB 映像部署到下游集群时,还需要在 Metal3MachineTemplate 对象上包含该映像的 sha256 校验和。
可以按如下方式生成:
sha256sum <image_file> > <image_file>.sha256
# On this example:
sha256sum SLE-Micro-eib-output.raw > SLE-Micro-eib-output.raw.sha2564.4.5 添加 BareMetalHost 清单 #
注册用于自动部署的裸机服务器需要创建两个资源:一个存储 BMC 访问凭据的 Secret,以及一个定义 BMC 连接和其他详细信息的 Metal3 BareMetalHost 资源:
apiVersion: v1
kind: Secret
metadata:
name: controlplane-0-credentials
type: Opaque
data:
username: YWRtaW4=
password: cGFzc3dvcmQ=
---
apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
name: controlplane-0
labels:
cluster-role: control-plane
spec:
architecture: x86_64
online: true
bootMACAddress: "00:f3:65:8a:a3:b0"
bmc:
address: redfish-virtualmedia://192.168.125.1:8000/redfish/v1/Systems/68bd0fb6-d124-4d17-a904-cdf33efe83ab
disableCertificateVerification: true
credentialsName: controlplane-0-credentials注意下列事项:
Secret 用户名/密码必须经过 base64 编码。请注意,这不应包含任何尾随换行符(例如,使用
echo -n,而不仅仅是echo!)cluster-role`标签可以在创建集群时或之后设置。在下面的示例中,我们期望 `control-plane或worker`bootMACAddress`必须是与主机控制平面 NIC 匹配的有效 MAC 地址。
`bmc`地址是连接到 BMC 管理 API 的地址,支持以下内容:
redfish-virtualmedia://<IP ADDRESS>/redfish/v1/Systems/<SYSTEM ID>:Redfish 虚拟媒体,例如 SuperMicroidrac-virtualmedia://<IP ADDRESS>/redfish/v1/Systems/System.Embedded.1:Dell iDRAC
有关 BareMetalHost API 的更多详细信息,请参阅 上游 API 文档
4.4.5.1 配置静态 IP #
上面的 BareMetalHost 示例假设 DHCP 提供了控制平面网络配置,但对于需要手动配置(例如静态 IP)的场景,可以提供额外的配置,如下所述。
4.4.5.1.1 用于静态网络配置的附加脚本 #
使用 Edge Image Builder 创建基础映像时,请在 network 文件夹中创建以下 configure-network.sh 文件。
这会在首次启动时使用配置驱动器数据,并使用 NM Configurator 工具 配置主机网络。
#!/bin/bash
set -eux
# Attempt to statically configure a NIC in the case where we find a network_data.json
# In a configuration drive
CONFIG_DRIVE=$(blkid --label config-2 || true)
if [ -z "${CONFIG_DRIVE}" ]; then
echo "No config-2 device found, skipping network configuration"
exit 0
fi
mount -o ro $CONFIG_DRIVE /mnt
META_DATA_FILE="/mnt/openstack/latest/meta_data.json"
if [ ! -f "${META_DATA_FILE}" ]; then
umount /mnt
echo "No meta_data.json found, skipping hostname configuration"
exit 0
fi
DESIRED_HOSTNAME=$(cat /mnt/openstack/latest/meta_data.json | tr ',{}' '\n' | grep '"metal3-name"' | sed 's/.*\"metal3-name\": \"\(.*\)\"/\1/')
echo "${DESIRED_HOSTNAME}" > /etc/hostname
NETWORK_DATA_FILE="/mnt/openstack/latest/network_data.json"
if [ ! -f "${NETWORK_DATA_FILE}" ]; then
umount /mnt
echo "No network_data.json found, skipping network configuration"
exit 0
fi
mkdir -p /tmp/nmc/{desired,generated}
cp ${NETWORK_DATA_FILE} /tmp/nmc/desired/_all.yaml
umount /mnt
./nmc generate --config-dir /tmp/nmc/desired --output-dir /tmp/nmc/generated
./nmc apply --config-dir /tmp/nmc/generated4.4.5.1.2 包含主机网络配置的附加 Secret #
可以为每个主机定义一个附加 Secret,其中包含 NM Configurator (第 13 章 “边缘网络”) 支持的 nmstate 格式的数据。
然后,该密钥会在 BareMetalHost 资源中通过 preprovisioningNetworkDataName spec 字段进行引用。
apiVersion: v1
kind: Secret
metadata:
name: controlplane-0-networkdata
type: Opaque
stringData:
networkData: |
interfaces:
- name: enp1s0
type: ethernet
state: up
mac-address: "00:f3:65:8a:a3:b0"
ipv4:
address:
- ip: 192.168.125.200
prefix-length: 24
enabled: true
dhcp: false
dns-resolver:
config:
server:
- 192.168.125.1
routes:
config:
- destination: 0.0.0.0/0
next-hop-address: 192.168.125.1
next-hop-interface: enp1s0
---
apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
name: controlplane-0
labels:
cluster-role: control-plane
spec:
preprovisioningNetworkDataName: controlplane-0-networkdata
# Remaining content as in previous example4.4.5.2 BareMetalHost 准备 #
在创建 BareMetalHost 资源及相关密钥(如上所述)后,将触发主机准备工作流程:
通过虚拟媒体挂载,ramdisk 镜像在目标主机的 BMC 上启动。
ramdisk 会检查硬件详细信息,并为预配准备主机(例如,通过清除磁盘上的先前数据)。
此过程完成后,BareMetalHost
status.hardware字段中的硬件详细信息将更新,并可进行验证。
此过程可能需要几分钟,但完成后,您应该会看到 BareMetalHost 状态变为 available:
% kubectl get baremetalhost
NAME STATE CONSUMER ONLINE ERROR AGE
controlplane-0 available true 9m44s
worker-0 available true 9m44s4.4.6 创建下游集群 #
我们现在创建定义下游集群的 Cluster API 资源,以及将促使 BareMetalHost 资源被预配、然后引导形成 RKE2 集群的 Machine 资源。
4.4.7 控制平面部署 #
为了部署控制平面,我们定义了一个类似于下方的 yaml 清单,其中包含以下资源:
Cluster 资源定义了集群名称、网络以及控制平面/基础设施提供程序的类型(本例中为 RKE2/Metal3)。
Metal3Cluster 定义了控制平面端点(单节点为主机 IP,多节点为 LoadBalancer 端点,本示例假设为单节点)。
RKE2ControlPlane 定义了 RKE2 版本以及集群引导期间所需的任何额外配置。
Metal3MachineTemplate 定义了要应用于 BareMetalHost 资源的操作系统镜像,主机选择器定义了要使用的 BareMetalHost。
Metal3DataTemplate 定义了要传递给 BareMetalHost 的附加元数据(请注意,Edge 解决方案目前不支持 networkData)。
为简单起见,本示例假设采用单节点控制平面,其中 BareMetalHost 配置的 IP 为 192.168.125.200。有关更高级的多节点示例,请参阅 第 VII 部分 “全自动定向网络配置”。
apiVersion: cluster.x-k8s.io/v1beta2
kind: Cluster
metadata:
name: sample-cluster
namespace: default
labels:
cluster-api.cattle.io/rancher-auto-import: "true"
spec:
clusterNetwork:
pods:
cidrBlocks:
- 192.168.0.0/18
services:
cidrBlocks:
- 10.96.0.0/12
controlPlaneRef:
apiGroup: controlplane.cluster.x-k8s.io
kind: RKE2ControlPlane
name: sample-cluster
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3Cluster
name: sample-cluster
---
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3Cluster
metadata:
name: sample-cluster
namespace: default
spec:
controlPlaneEndpoint:
host: 192.168.125.200
port: 6443
cloudProviderEnabled: false
---
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: sample-cluster
namespace: default
spec:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: sample-cluster-controlplane
replicas: 1
version: v1.36.3+rke2r1
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
agentConfig:
format: ignition
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
additionalUserData:
config: |
variant: fcos
version: 1.4.0
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
storage:
directories:
- path: /var/lib/rancher/rke2/server/manifests
overwrite: true
files:
- path: /var/lib/rancher/rke2/server/manifests/rke2-traefik-config.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-traefik
namespace: kube-system
spec:
valuesContent: |-
ingressClass:
isDefaultClass: true
ports:
web:
hostPort: null # disallow hostPort
exposedPort: 80
websecure:
hostPort: null # disallow hostPort
exposedPort: 443
service:
enabled: true
spec:
type: LoadBalancer
externalTrafficPolicy: Local
allocateLoadBalancerNodePorts: false
mode: 0644
user:
name: root
group:
name: root
---
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3MachineTemplate
metadata:
name: sample-cluster-controlplane
namespace: default
spec:
template:
spec:
dataTemplate:
name: sample-cluster-controlplane-template
hostSelector:
matchLabels:
cluster-role: control-plane
image:
checksum: http://imagecache.local:8080/SLE-Micro-eib-output.raw.sha256
checksumType: sha256
diskFormat: raw
url: http://imagecache.local:8080/SLE-Micro-eib-output.raw
---
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3DataTemplate
metadata:
name: sample-cluster-controlplane-template
namespace: default
spec:
clusterName: sample-cluster
metaData:
objectNames:
- key: name
object: machine
- key: local-hostname
object: machine
- key: local_hostname
object: machine将标签 cluster-api.cattle.io/rancher-auto-import: "true" 添加到 cluster.x-k8s.io 对象中,即可将集群导入 Rancher(通过创建相应的 clusters.management.cattle.io 对象)。
有关更多信息,请参阅 Cluster API 文档。
根据您的环境进行调整后,您可以通过 kubectl 应用该示例,然后通过 clusterctl 监控集群状态。
% kubectl apply -f rke2-control-plane.yaml
# Wait for the cluster to be provisioned
% clusterctl describe cluster sample-cluster
NAME READY SEVERITY REASON SINCE MESSAGE
Cluster/sample-cluster True 22m
├─ClusterInfrastructure - Metal3Cluster/sample-cluster True 27m
├─ControlPlane - RKE2ControlPlane/sample-cluster True 22m
│ └─Machine/sample-cluster-chflc True 23m4.4.8 工作节点/计算节点部署 #
与控制平面部署类似,我们定义了一个包含以下资源的 YAML 清单:
MachineDeployment 定义了副本(主机)数量以及引导/基础设施提供程序(本例中为 RKE2/Metal3)。
RKE2ConfigTemplate 描述了代理主机引导过程中所用的 RKE2 版本和首次启动配置。
Metal3MachineTemplate 定义了要应用于 BareMetalHost 资源的操作系统镜像,主机选择器定义了要使用的 BareMetalHost。
Metal3DataTemplate 定义了要传递给 BareMetalHost 的附加元数据(请注意,目前不支持
networkData)
apiVersion: cluster.x-k8s.io/v1beta2
kind: MachineDeployment
metadata:
labels:
cluster.x-k8s.io/cluster-name: sample-cluster
name: sample-cluster
namespace: default
spec:
clusterName: sample-cluster
replicas: 1
selector:
matchLabels:
cluster.x-k8s.io/cluster-name: sample-cluster
template:
metadata:
labels:
cluster.x-k8s.io/cluster-name: sample-cluster
spec:
bootstrap:
configRef:
apiGroup: bootstrap.cluster.x-k8s.io
kind: RKE2ConfigTemplate
name: sample-cluster-workers
clusterName: sample-cluster
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: sample-cluster-workers
deletion:
nodeDrainTimeoutSeconds: 0
version: v1.36.3+rke2r1
---
apiVersion: bootstrap.cluster.x-k8s.io/v1beta2
kind: RKE2ConfigTemplate
metadata:
name: sample-cluster-workers
namespace: default
spec:
template:
spec:
agentConfig:
format: ignition
version: v1.36.3+rke2r1
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
additionalUserData:
config: |
variant: fcos
version: 1.4.0
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
---
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3MachineTemplate
metadata:
name: sample-cluster-workers
namespace: default
spec:
template:
spec:
dataTemplate:
name: sample-cluster-workers-template
hostSelector:
matchLabels:
cluster-role: worker
image:
checksum: http://imagecache.local:8080/SLE-Micro-eib-output.raw.sha256
checksumType: sha256
diskFormat: raw
url: http://imagecache.local:8080/SLE-Micro-eib-output.raw
---
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3DataTemplate
metadata:
name: sample-cluster-workers-template
namespace: default
spec:
clusterName: sample-cluster
metaData:
objectNames:
- key: name
object: machine
- key: local-hostname
object: machine
- key: local_hostname
object: machine当上述示例已复制并根据您的环境进行调整后,可以通过 kubectl 应用它,然后可以使用 clusterctl 监控集群状态。
% kubectl apply -f rke2-agent.yaml
# Wait for the worker nodes to be provisioned
% clusterctl describe cluster sample-cluster
NAME READY SEVERITY REASON SINCE MESSAGE
Cluster/sample-cluster True 25m
├─ClusterInfrastructure - Metal3Cluster/sample-cluster True 30m
├─ControlPlane - RKE2ControlPlane/sample-cluster True 25m
│ └─Machine/sample-cluster-chflc True 27m
└─Workers
└─MachineDeployment/sample-cluster True 22m
└─Machine/sample-cluster-56df5b4499-zfljj True 23m4.4.9 集群取消部署 #
可以通过删除上述创建步骤中应用的资源来取消部署下游集群:
% kubectl delete -f rke2-agent.yaml
% kubectl delete -f rke2-control-plane.yaml这将触发 BareMetalHost 资源的取消部署,这可能需要几分钟时间,之后它们应该会再次处于可用状态:
% kubectl get bmh
NAME STATE CONSUMER ONLINE ERROR AGE
controlplane-0 deprovisioning sample-cluster-controlplane-vlrt6 false 10m
worker-0 deprovisioning sample-cluster-workers-785x5 false 10m
...
% kubectl get bmh
NAME STATE CONSUMER ONLINE ERROR AGE
controlplane-0 available false 15m
worker-0 available false 15m4.5 已知问题 #
目前不支持上游 IP 地址管理控制器,因为它尚不兼容我们选择的网络配置工具以及 SLEMicro 中的首次启动工具链。
相关地,目前不支持 IPAM 资源和 Metal3DataTemplate networkData 字段。
目前仅支持通过 redfish-virtualmedia 进行部署。
4.6 计划中的变更 #
启用通过 networkData 字段对 IPAM 资源和配置的支持
4.7 更多资源 #
SUSE Telco Cloud Management Cluster 文档 (第 V 部分 “设置管理集群”) 中有关于 Metal3 在电信领域用例中更高级的用法示例。
4.7.1 单节点配置 #
对于管理集群为单节点的测试/PoC 环境,可以避免对通过 MetalLB 管理的额外浮动 IP 的需求。
在此模式下,管理集群 API 的端点即为管理集群的 IP,因此在使用 DHCP 时应保留该 IP,或进行静态配置以确保管理集群 IP 不会更改——下文称为 <MANAGEMENT_CLUSTER_IP>。
要启用此场景,所需的 Metal3 chart 值如下:
global:
ironicIP: <MANAGEMENT_CLUSTER_IP>
metal3-ironic:
service:
type: NodePort4.7.2 禁用虚拟媒体 ISO 挂载的 TLS #
某些服务器供应商在将虚拟媒体 ISO 镜像挂载到 BMC 时会验证 SSL 连接,这可能会导致问题,因为为 Metal3 部署生成的证书是自签名的。为解决此问题,可以通过以下 Metal3 chart 值仅为虚拟媒体磁盘挂载禁用 TLS:
global:
enable_vmedia_tls: false另一种解决方案是使用 CA 证书配置 BMC——在这种情况下,您可以使用 kubectl 从集群中读取证书:
kubectl get secret -n metal3-system ironic-vmedia-cert -o yaml然后可以在服务器 BMC 控制台上配置该证书,尽管此过程因供应商而异(并非所有供应商都支持,在这种情况下可能需要 enable_vmedia_tls 标志)。
4.7.3 存储配置 #
对于管理集群为单节点的测试/PoC 环境,不需要持久化存储,但对于生产用例,建议在管理集群上安装 SUSE Storage (Longhorn),以便在 Pod 重启/重新调度期间可以持久化与 Metal3 相关的镜像。
要启用此持久化存储,所需的 Metal3 图表值如下:
metal3-ironic:
persistence:
ironic:
size: "5Gi"SUSE Telco Cloud Management Cluster 文档 (第 V 部分 “设置管理集群”) 中有关于如何配置带有持久化存储的管理集群的更多详细信息。
5 使用 Edge Image Builder 的独立集群 #
Edge Image Builder (EIB) 是一款简化了为引导机器生成定制化、即开即用 (CRB) 磁盘镜像流程的工具,即使在完全隔离的环境中也能使用。EIB 用于为所有三种 SUSE Telco Cloud 部署足迹创建部署镜像,因为它足够灵活,既能提供最小化的自定义(例如添加用户或设置时区),也能提供全面配置的镜像(例如设置复杂的网络配置、部署多节点 Kubernetes 集群、部署客户工作负载,以及通过 Rancher/Elemental 和 SUSE Multi-Linux Manager 注册到集中式管理平台)。EIB 作为容器镜像运行,使其在不同平台间具有极高的可移植性,并确保所有必需的依赖项都是自包含的,对用于操作该工具的系统所安装的软件包影响极小。
对于多节点场景,EIB 会自动部署 MetalLB 和 Endpoint Copier Operator,以便使用相同构建镜像配置的主机能够自动加入 Kubernetes 集群。
有关更多信息,请阅读 Edge Image Builder 简介 (第 12 章 “Edge Image Builder”)。
Edge Image Builder 1.3.4 支持自定义 SUSE Linux Micro 6.2 镜像。 不支持较旧的版本,例如 SUSE Linux Enterprise Micro 5.5 或 6.0。
5.1 先决条件 #
一台运行 SLES 15 SP6 的 AMD64/Intel 64 构建主机(物理机或虚拟机)。
Podman 容器引擎
使用 Kiwi Builder 流程 (第 65 章 “使用 Kiwi 构建更新的 SUSE Linux Micro 镜像”) 创建的 SUSE Linux Micro 6.2 SelfInstall ISO 映像
对于非生产用途,可以使用 openSUSE Leap 15.6 或 openSUSE Tumbleweed 作为构建主机。 只要有兼容的容器运行时,其他操作系统也可能可以运行。
5.1.1 获取 EIB 镜像 #
EIB 容器镜像已公开,可以通过在您的镜像构建主机上运行以下命令从 SUSE Telco Cloud 注册表下载:
podman pull registry.suse.com/edge/3.7/edge-image-builder:1.3.45.2 创建镜像配置目录 #
由于 EIB 在容器内运行,我们需要从主机挂载一个配置目录,以便您指定所需的配置,并且在构建过程中,EIB 可以访问任何所需的输入文件和支持工件。此目录必须遵循特定的结构。让我们创建它,假设该目录将存在于您的主目录中,并命名为“eib”:
export CONFIG_DIR=$HOME/eib
mkdir -p $CONFIG_DIR/base-images在上一步中,我们创建了一个“base-images”目录,用于存放 SUSE Linux Micro 6.2 输入镜像,现在让我们确保该镜像已复制到配置目录中:
cp /path/to/SL-Micro.x86_64-6.2-Base-SelfInstall-GM.install.iso $CONFIG_DIR/base-images/slemicro.iso在 EIB 运行期间,原始基础镜像 不会 被修改;系统会在 EIB 配置目录的根目录下创建一个包含所需配置的新的自定义版本。
此时的配置目录应如下所示:
└── base-images/
└── slemicro.iso5.3 创建镜像定义文件 #
定义文件描述了 Edge Image Builder 支持的大多数可配置选项,选项的完整示例可以在 此处 找到,我们建议您查看 上游构建镜像指南,以获取比我们下面要介绍的示例更全面的示例。让我们从一个非常基础的操作系统镜像定义文件开始:
cat << EOF > $CONFIG_DIR/iso-definition.yaml
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
EOF此定义指定我们正在为 AMD64/Intel 64 系统生成输出镜像。将用作进一步修改基础的镜像是一个名为 slemicro.iso 的 iso 镜像,预计位于 $CONFIG_DIR/base-images/slemicro.iso。它还概述了在 EIB 完成镜像修改后,输出镜像将被命名为 eib-image.iso,并默认驻留在 $CONFIG_DIR 中。
现在我们的目录结构应如下所示:
├── iso-definition.yaml
└── base-images/
└── slemicro.iso在接下来的章节中,我们将介绍几个常见操作的示例:
5.3.1 配置操作系统 (OS) #
EIB operatingSystem 部分旨在配置操作系统的安装位置、镜像大小等。
这是一个可选部分,除非应用了一个或多个自定义设置,否则不应包含该部分。
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-Base-RT-SelfInstall.iso
operatingSystem:
isoConfiguration:
installDevice: /dev/disk/by-id/ata-QEMU_HARDDISK_111-disk1 # first defined disk特定于类型的配置:根据所自定义镜像的类型,可以包含以下可选部分之一。
isoConfiguration- 可选;此部分中的配置仅适用于 ISO 映像。installDevice- 可选;指定应用作安装设备的磁盘。这必须是一个块设备,并且默认会自动擦除磁盘上找到的任何数据。 此外,指定此属性会触发 GRUB 覆盖,以自动安装操作系统,而不是提示用户开始安装,从而实现完全无人值守的自动化安装。如果省略,系统会提示用户从 GRUB 菜单中选择“安装”选项,并要求用户选择安装磁盘,并确认在此过程中将擦除该设备。注意installDevice部分中使用的设备可以指定为/dev/sda,或者使用/dev/disk/by-id、/dev/disk/by-path命名方式,以确保使用正确的设备。 如果使用 libvirt 虚拟机,则可以在为虚拟机创建磁盘时指定serial属性值(例如serial=111-disk1),以便将其用于installDevice值,并使用by-id命名方式,例如/dev/disk/by-id/ata-QEMU_HARDDISK_111-disk1(如果使用 ATA 设备,libvirt会自动为 ATA 设备添加ata-QEMU_HARDDISK_前缀,或为 virtio 设备添加virtio-前缀,有关更多信息,请参阅 #17670 virtio issue)。rawConfiguration- 可选;此部分中的配置仅适用于 RAW 镜像。diskSize- 可选;设置所需的原始磁盘镜像大小,EIB 会将生成的镜像调整为此大小。这一点很重要,以确保您的磁盘镜像足够大,能够容纳嵌入镜像中的任何工件。建议将其设置为略小于您的 SD 卡大小(如果直接写入磁盘,则为块设备大小),因为系统会在启动时自动扩展以填满块设备的大小。这是可选的,但强烈建议设置。指定为一个整数,并以“M”(兆字节)、“G”(吉字节)或“T”(太字节)作为后缀(例如)“32G”)。luksKey- 加密镜像必需;用于加密原始镜像的给定 LUKS 密钥,这是 EIB 完成构建过程所必需的。expandEncryptedPartition- 可选;默认禁用,启用后,会自动将加密分区扩展至其最大大小。例如,如果diskSize为25G且此字段为true,EIB 将在构建过程中将加密分区扩展至25G。
5.3.2 配置操作系统用户 #
EIB 允许您预配置具有登录信息(例如密码或 SSH 密钥)的用户,包括设置固定的 root 密码。作为本示例的一部分,我们将固定 root 密码,第一步是使用 OpenSSL 创建一个单向加密密码:
openssl passwd -6 SecurePassword这将输出类似以下内容:
$6$G392FCbxVgn[...]Y7zTXnC1然后,我们可以在定义文件中添加一个名为 operatingSystem 的部分,并在其中包含一个 users 数组。生成的文件应如下所示:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
users:
- username: root
encryptedPassword: $6$G392FCbxVgn[...]Y7zTXnC15.3.3 配置操作系统时间 #
time 部分是可选的,但强烈建议进行配置,以避免证书和时钟偏差带来的潜在问题。EIB 将根据此处的参数配置 chronyd 和 /etc/localtime。
operatingSystem:
time:
timezone: Europe/London
ntp:
forceWait: true
pools:
- 2.suse.pool.ntp.org
servers:
- 10.0.0.1
- 10.0.0.2timezone以“地区/地点”格式指定时区(例如“欧洲/伦敦”)。可以通过在 Linux 系统上运行timedatectl list-timezones来找到完整列表。ntp - 定义与配置 NTP(使用 chronyd)相关的属性:
forceWait - 请求 chronyd 在启动其他服务之前尝试同步时间源,超时时间为 180 秒。
pools - 指定 chronyd 将用作数据源的池列表(使用
iburst以缩短初始同步所需的时间)。servers - 指定 chronyd 将用作数据源的服务器列表(使用
iburst以缩短初始同步所需的时间)。
本示例中提供的值仅供参考。请根据您的具体要求进行调整。
5.3.4 添加证书 #
存储在 certificates 目录中且扩展名为“.pem”或“.crt”的证书文件将被安装到节点系统范围的证书存储中:
.
├── definition.yaml
└── certificates
├── my-ca.pem
└── my-ca.crt有关更多信息,请参阅 “使用 TLS 证书保护通信”指南。
5.3.5 添加操作系统文件 #
放置在镜像配置目录中 os-files 目录下的文件会自动复制到所构建镜像的文件系统中。
复制时将保留原目录。
例如,如果文件存在于名为 os-files/etc 的子目录中,它将被放置在所构建镜像的 /etc 目录中。
如果 os-files 目录存在,它不能为空。
.
├── definition.yaml
└── os-files
└── etc
└── ssh
└── sshd_config5.3.6 配置 RPM 软件包 #
EIB 的主要功能之一是提供一种机制,将额外的软件包添加到镜像中,以便在安装完成后,系统能够立即利用已安装的软件包。EIB 允许用户指定以下内容:
镜像定义列表中按名称列出的软件包
用于搜索这些软件包的网络存储库
用于搜索官方 SUSE 存储库中列出软件包的 SUSE 客户中心 (SCC) 凭据
通过
$CONFIG_DIR/rpms目录,侧载网络存储库中不存在的自定义 RPM通过同一目录 (
$CONFIG_DIR/rpms/gpg-keys),提供用于启用第三方软件包验证的 GPG 密钥。
EIB 随后将在镜像构建时运行软件包解析过程,以基础镜像作为输入,并尝试拉取和安装所有提供的软件包,无论是通过列表指定还是本地提供。EIB 会将所有软件包(包括任何依赖项)下载到输出镜像中的储存库,并指示系统在首次启动过程中安装这些软件包。在镜像构建期间执行此过程可确保软件包在目标平台(例如边缘节点)上首次启动时成功安装。这在您希望将额外软件包预置到镜像中,而不是在运行时通过网络拉取它们的环境中也具有优势,例如对于隔离的网络环境或受限网络环境。
作为一个简单的演示示例,我们将安装在第三方供应商支持的 NVIDIA 存储库中找到的 nvidia-container-toolkit RPM 软件包:
packages:
packageList:
- nvidia-container-toolkit
additionalRepos:
- url: https://nvidia.github.io/libnvidia-container/stable/rpm/x86_64生成的定义文件如下所示:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
users:
- username: root
encryptedPassword: $6$G392FCbxVgn[...]Y7zTXnC1
packages:
packageList:
- nvidia-container-toolkit
additionalRepos:
- url: https://nvidia.github.io/libnvidia-container/stable/rpm/x86_64以上是一个简单的示例,但为了完整起见,请在运行镜像生成之前下载 NVIDIA 软件包签名密钥:
$ mkdir -p $CONFIG_DIR/rpms/gpg-keys
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey > $CONFIG_DIR/rpms/gpg-keys/nvidia.gpg通过此方法添加额外的 RPM 旨在用于添加受支持的第三方组件或用户提供(并维护)的软件包;此机制不应用于添加通常在 SUSE Linux Micro 上不受支持的软件包。如果使用此机制添加来自 openSUSE 存储库(不受支持)的组件(包括来自较新版本或服务包的组件),您最终可能会得到不受支持的配置,特别是当依赖项解析导致操作系统核心部分被替换时,即使生成的系统看起来运行正常。如果您不确定,请联系您的 SUSE 代表,以协助确定您所需配置的可支持性。
5.3.7 配置 Kubernetes 集群和用户工作负载 #
EIB 的另一个功能是能够使用它来自动化部署“就地引导”(即不需要任何形式的集中式管理基础设施来协调)的单节点和多节点高可用 Kubernetes 集群。这种方法背后的主要驱动因素是针对隔离部署或网络受限环境,但它也可用作快速启动独立集群的一种方式,即使在可以使用完整且不受限制的网络访问的情况下也是如此。
此方法不仅能够部署自定义操作系统,还能够指定 Kubernetes 配置、通过 Helm chart 提供的任何额外分层组件,以及通过提供的 Kubernetes 清单提供的任何用户工作负载。然而,使用此方法背后的设计原则是我们默认假设用户想要进行隔离部署。因此,镜像定义中指定的任何项目都将被拉取到镜像中,其中包括用户提供的工作负载。EIB 确保定义所需的任何已发现镜像都会被复制到本地,并由生成的已部署系统中的嵌入式镜像注册表提供服务。
在下一个示例中,我们将采用现有的镜像定义并指定 Kubernetes 配置(在此示例中,它没有列出系统及其角色,因此我们默认假设为单节点),这将指示 EIB 配置单节点 RKE2 Kubernetes 集群。为了展示用户提供的工作负载(通过清单)和分层组件(通过 Helm)部署的自动化,我们将通过 SUSE Telco Cloud Helm chart 安装 KubeVirt,并通过 Kubernetes 清单安装 NGINX。我们需要添加到现有镜像定义中的额外配置如下:
kubernetes:
version: v1.36.3+rke2r1
manifests:
urls:
- https://k8s.io/examples/application/nginx-app.yaml
helm:
charts:
- name: kubevirt
version: 307.0.3+up0.8.0
repositoryName: suse-edge
repositories:
- name: suse-edge
url: oci://registry.suse.com/edge/charts最终的完整定义文件现在应如下所示:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
users:
- username: root
encryptedPassword: $6$G392FCbxVgn[...]Y7zTXnC1
packages:
packageList:
- nvidia-container-toolkit
additionalRepos:
- url: https://nvidia.github.io/libnvidia-container/stable/rpm/x86_64
kubernetes:
version: v1.36.3+k3s1
manifests:
urls:
- https://k8s.io/examples/application/nginx-app.yaml
helm:
charts:
- name: kubevirt
version: 307.0.3+up0.8.0
repositoryName: suse-edge
repositories:
- name: suse-edge
url: oci://registry.suse.com/edge/charts5.3.8 配置网络 #
在本快速入门的最后一个示例中,让我们配置当系统使用 EIB 生成的镜像进行配置时将启动的网络。务必理解,除非提供了网络配置,否则默认模式是在引导时发现的所有接口上使用 DHCP。然而,这并不总是理想的配置,特别是当 DHCP 不可用且您需要提供静态配置,或者您需要设置更复杂的网络结构(例如绑定、LACP 和 VLAN),或者需要覆盖某些参数(例如主机名、DNS 服务器和路由)时。
EIB 提供了提供每个节点配置(其中相关系统通过其 MAC 地址进行唯一标识)的能力,或者提供用于为每台机器提供相同配置的覆盖,这在系统 MAC 地址未知时更为有用。EIB 使用了一个名为 Network Manager Configurator(简称 nmc)的附加工具,该工具由 SUSE Telco Cloud 团队构建,旨在允许根据 nmstate.io 声明式网络模式应用自定义网络配置,并在引导时识别其正在引导的节点,并在任何服务启动之前应用所需的网络配置。
现在,我们将通过在所需的 network 目录中描述节点特定文件(基于所需的主机名)中的所需网络状态,为具有单个接口的系统应用静态网络配置:
mkdir $CONFIG_DIR/network
cat << EOF > $CONFIG_DIR/network/host1.local.yaml
routes:
config:
- destination: 0.0.0.0/0
metric: 100
next-hop-address: 192.168.122.1
next-hop-interface: eth0
table-id: 254
- destination: 192.168.122.0/24
metric: 100
next-hop-address: 192.168.122.1
next-hop-interface: eth0
table-id: 254
dns-resolver:
config:
server:
- 192.168.122.1
- 8.8.8.8
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: 34:8A:B1:4B:16:E7
ipv4:
address:
- ip: 192.168.122.50
prefix-length: 24
dhcp: false
enabled: true
ipv6:
enabled: false
EOF上述示例是为默认 192.168.122.0/24 子网设置的,假设测试是在虚拟机上执行的,请根据您的环境进行调整,不要忘记 MAC 地址。由于同一个镜像可用于配置多个节点,因此由 EIB(通过 nmc)配置的网络依赖于它能够通过 MAC 地址唯一标识节点,因此在引导期间 nmc 将为每台机器应用正确的网络配置。这意味着您需要知道要安装到的系统的 MAC 地址。或者,默认行为是依赖 DHCP,但您可以利用 configure-network.sh 钩子将通用配置应用于所有节点 - 有关更多详细信息,请参阅 网络指南 (第 13 章 “边缘网络”)。
生成的文件结构应如下所示:
├── iso-definition.yaml
├── base-images/
│ └── slemicro.iso
└── network/
└── host1.local.yaml我们刚刚创建的网络配置将被解析,必要的 NetworkManager 连接文件将自动生成并插入到 EIB 将创建的新安装镜像中。这些文件将在主机配置期间应用,从而形成完整的网络配置。
5.4 构建镜像 #
现在我们已经有了基础镜像和供 EIB 使用的镜像定义,让我们继续构建镜像。为此,我们只需使用 podman 调用带有“build”命令的 EIB 容器,并指定定义文件:
podman run --rm -it --privileged -v $CONFIG_DIR:/eib \
registry.suse.com/edge/3.7/edge-image-builder:1.3.4 \
build --definition-file iso-definition.yaml命令的输出应类似于:
Setting up Podman API listener...
Downloading file: dl-manifest-1.yaml 100% (498/498 B, 9.5 MB/s)
Pulling selected Helm charts... 100% (1/1, 43 it/min)
Generating image customization components...
Identifier ................... [SUCCESS]
Custom Files ................. [SKIPPED]
Time ......................... [SKIPPED]
Network ...................... [SUCCESS]
Groups ....................... [SKIPPED]
Users ........................ [SUCCESS]
Proxy ........................ [SKIPPED]
Resolving package dependencies...
Rpm .......................... [SUCCESS]
Os Files ..................... [SKIPPED]
Systemd ...................... [SKIPPED]
Fips ......................... [SKIPPED]
Elemental .................... [SKIPPED]
Suma ......................... [SKIPPED]
Populating Embedded Artifact Registry... 100% (3/3, 10 it/min)
Embedded Artifact Registry ... [SUCCESS]
Keymap ....................... [SUCCESS]
Configuring Kubernetes component...
The Kubernetes CNI is not explicitly set, defaulting to 'cilium'.
Downloading file: rke2_installer.sh
Downloading file: rke2-images-core.linux-amd64.tar.zst 100% (657/657 MB, 48 MB/s)
Downloading file: rke2-images-cilium.linux-amd64.tar.zst 100% (368/368 MB, 48 MB/s)
Downloading file: rke2.linux-amd64.tar.gz 100% (35/35 MB, 50 MB/s)
Downloading file: sha256sum-amd64.txt 100% (4.3/4.3 kB, 6.2 MB/s)
Kubernetes ................... [SUCCESS]
Certificates ................. [SKIPPED]
Cleanup ...................... [SKIPPED]
Building ISO image...
Kernel Params ................ [SKIPPED]
Build complete, the image can be found at: eib-image.iso构建的 ISO 映像存储在 $CONFIG_DIR/eib-image.iso:
├── iso-definition.yaml
├── eib-image.iso
├── _build
│ └── cache/
│ └── ...
│ └── build-<timestamp>/
│ └── ...
├── base-images/
│ └── slemicro.iso
└── network/
└── host1.local.yaml每次构建都会在 $CONFIG_DIR/_build/ 中创建一个带时间戳的文件夹,其中包含构建日志、构建期间使用的工件,以及包含添加到 CRB 镜像的所有脚本和工件的 combustion 和 artefacts 目录。
此目录的内容应如下所示:
├── build-<timestamp>/
│ │── combustion/
│ │ ├── 05-configure-network.sh
│ │ ├── 10-rpm-install.sh
│ │ ├── 12-keymap-setup.sh
│ │ ├── 13b-add-users.sh
│ │ ├── 20-k8s-install.sh
│ │ ├── 26-embedded-registry.sh
│ │ ├── 48-message.sh
│ │ ├── network/
│ │ │ ├── host1.local/
│ │ │ │ └── eth0.nmconnection
│ │ │ └── host_config.yaml
│ │ ├── nmc
│ │ └── script
│ │── artefacts/
│ │ │── registry/
│ │ │ ├── hauler
│ │ │ ├── nginx:<version>-registry.tar.zst
│ │ │ ├── rancher_kubectl:<version>-registry.tar.zst
│ │ │ └── registry.suse.com_suse_sles_15.6_virt-operator:<version>-registry.tar.zst
│ │ │── rpms/
│ │ │ └── rpm-repo
│ │ │ ├── addrepo0
│ │ │ │ ├── nvidia-container-toolkit-<version>.rpm
│ │ │ │ ├── nvidia-container-toolkit-base-<version>.rpm
│ │ │ │ ├── libnvidia-container1-<version>.rpm
│ │ │ │ └── libnvidia-container-tools-<version>.rpm
│ │ │ ├── repodata
│ │ │ │ ├── ...
│ │ │ └── zypper-success
│ │ └── kubernetes/
│ │ ├── rke2_installer.sh
│ │ ├── registries.yaml
│ │ ├── server.yaml
│ │ ├── images/
│ │ │ ├── rke2-images-cilium.linux-amd64.tar.zst
│ │ │ └── rke2-images-core.linux-amd64.tar.zst
│ │ ├── install/
│ │ │ ├── rke2.linux-amd64.tar.gz
│ │ │ └── sha256sum-amd64.txt
│ │ └── manifests/
│ │ ├── dl-manifest-1.yaml
│ │ └── kubevirt.yaml
│ ├── createrepo.log
│ ├── eib-build.log
│ ├── embedded-registry.log
│ ├── helm
│ │ └── kubevirt
│ │ └── kubevirt-0.4.0.tgz
│ ├── helm-pull.log
│ ├── helm-template.log
│ ├── iso-build.log
│ ├── iso-build.sh
│ ├── iso-extract
│ │ └── ...
│ ├── iso-extract.log
│ ├── iso-extract.sh
│ ├── modify-raw-image.sh
│ ├── network-config.log
│ ├── podman-image-build.log
│ ├── podman-system-service.log
│ ├── prepare-resolver-base-tarball-image.log
│ ├── prepare-resolver-base-tarball-image.sh
│ ├── raw-build.log
│ ├── raw-extract
│ │ └── ...
│ └── resolver-image-build
│ └──...
└── cache
└── ...如果构建失败,eib-build.log 是包含相关信息的第一个日志。从那里,它将引导您找到失败的组件进行调试。
此时,您应该拥有一个可直接使用的镜像,它将:
部署 SUSE Linux Micro 6.2
配置 root 密码
安装
nvidia-container-toolkit软件包配置嵌入式容器注册表以在本地提供内容
安装单节点 RKE2
配置静态网络
安装 KubeVirt
部署用户提供的清单
5.5 调试镜像构建过程 #
如果镜像构建过程失败,请参考 上游调试指南。
5.6 测试您新构建的镜像 #
有关如何测试新构建的 CRB 镜像的说明,请参考 上游镜像测试指南。
第 III 部分 组件 #
Edge 组件列表
- 6 Rancher
请参阅 https://ranchermanager.docs.rancher.com/v2.15. 处的 Rancher 文档
- 7 Rancher 仪表板扩展
扩展允许用户、开发人员、合作伙伴和客户扩展和增强 Rancher UI。SUSE Telco Cloud 提供 KubeVirt 仪表板扩展。
- 8 Rancher Turtles
请参阅 https://documentation.suse.com/cloudnative/cluster-api/ 处的 Rancher Turtles 文档
- 9 Fleet
Fleet 是一个容器管理和部署引擎,旨在为用户提供对本地群集的更多控制,并通过 GitOps 进行持续监控。Fleet 不仅专注于扩展能力,还为用户提供了高度的控制和可见性,以监控集群上安装的确切内容。
- 10 SUSE Linux Micro
- 11 Metal3
Metal3 是一个 CNCF 项目,为 Kubernetes 提供裸机基础设施管理功能。
- 12 Edge Image Builder
请参阅 官方储存库。
- 13 边缘网络
本节介绍了 SUSE Telco Cloud 解决方案中的网络配置方法。 我们将展示如何在 SUSE Linux Micro 上以声明方式配置 NetworkManager,并解释相关工具是如何集成的。
- 14 RKE2
请参阅 RKE2 官方文档。
- 15 SUSE Storage
SUSE Storage 是适用于 Kubernetes 的轻量级、可靠且易于使用的分布式块存储系统。它是一款基于 Longhorn 的产品,Longhorn 是最初由 Rancher Labs 开发并目前在 CNCF 下孵化的开源项目。
- 16 SUSE Security
SUSE Security 是一款适用于 Kubernetes 的安全解决方案,它在一个统一的软件包中提供 L7 网络安全、运行时安全、供应链安全和合规性检查。
- 17 MetalLB
请参阅 MetalLB 官方文档。
- 18 端点复制器操作员
端点复制器操作员 是一个 Kubernetes 操作员,其目的是创建 Kubernetes 服务和端点的副本并保持它们同步。
- 19 边缘虚拟化
本节介绍如何使用边缘虚拟化在边缘节点上运行虚拟机。边缘虚拟化专为轻量级虚拟化用例而设计,旨在利用通用的工作流程来部署和管理虚拟化及容器化应用程序。
- 20 系统升级控制器
请参阅 系统升级控制器文档。
- 21 升级控制器
一种能够对以下 SUSE Telco Cloud 平台组件执行升级的 Kubernetes 控制器:
6 Rancher #
请参阅 https://ranchermanager.docs.rancher.com/v2.15. 处的 Rancher 文档
Rancher 是一个功能强大的开源 Kubernetes 管理平台,可简化跨多个环境的 Kubernetes 集群的部署、操作和监控。无论您是在本地、云端还是边缘管理集群,Rancher 都能为您所有的 Kubernetes 需求提供一个统一且集中的平台。
6.1 Rancher 的主要功能 #
多集群管理:Rancher 直观的界面让您可以从任何地方(公有云、私有数据中心和边缘位置)管理 Kubernetes 集群。
安全和合规性:Rancher 在您的 Kubernetes 环境中强制执行安全策略、基于角色的访问控制 (RBAC) 和合规性标准。
简化的集群操作:Rancher 自动执行集群配置、升级和故障排除,从而简化了各种规模团队的 Kubernetes 操作。
集中式应用程序目录:Rancher 应用程序目录提供了多种 Helm Chart 和 Kubernetes Operator,使部署和管理容器化应用程序变得简单。
持续交付:Rancher 支持 GitOps 和 CI/CD 流水线,实现自动化和简化的应用程序交付流程。
6.2 Rancher 在 SUSE Telco Cloud 中的使用 #
Rancher 为 SUSE Telco Cloud 堆栈提供了多项核心功能:
6.2.1 集中式 Kubernetes 管理 #
在具有大量分布式集群的典型边缘部署中,Rancher 充当管理这些 Kubernetes 集群的中央控制平面。它提供了一个用于配置、升级、监控和故障排除的统一界面,从而简化操作并确保一致性。
6.2.2 简化的集群部署 #
Rancher 简化了轻量级 SUSE Linux Micro 操作系统上的 Kubernetes 集群创建,通过强大的 Kubernetes 功能轻松实现边缘基础设施的部署。
6.2.3 应用程序部署和管理 #
集成的 Rancher 应用程序目录可以简化跨 SUSE Telco Cloud 集群部署和管理容器化应用程序的过程,从而实现无缝的边缘工作负载部署。
6.2.4 安全与策略执行 #
Rancher 提供基于策略的治理工具、基于角色的访问控制 (RBAC) 以及与外部身份验证提供程序的集成。这有助于 SUSE Telco Cloud 部署保持安全性和合规性,这在分布式环境中至关重要。
6.3 最佳实践 #
6.3.1 GitOps #
Rancher 将 Fleet 作为内置组件包含在内,允许使用存储在 git 中的代码来管理集群配置和应用程序部署。
6.3.2 可观测性 #
Rancher 包含内置的监控和日志记录工具(如 Prometheus 和 Grafana),可全面了解集群的健康状况和性能。
6.4 使用 Edge Image Builder 进行安装 #
SUSE Telco Cloud 正在使用 第 12 章 “Edge Image Builder” 来定制基础 SUSE Linux Micro 操作系统镜像。 请遵循 第 64.6 节 “Rancher 安装” 以在 EIB 配置的 Kubernetes 集群之上进行 Rancher 的隔离的安装。
6.5 其他资源 #
7 Rancher 仪表板扩展 #
扩展允许用户、开发人员、合作伙伴和客户扩展和增强 Rancher UI。SUSE Telco Cloud 提供 KubeVirt 仪表板扩展。
有关 Rancher 仪表板扩展的一般信息,请参阅 Rancher documentation。
7.1 安装 #
所有 SUSE Telco Cloud 3.7 组件(包括仪表板扩展)均作为 OCI 制品分发。要安装 SUSE Telco Cloud 扩展,您可以使用 Rancher 仪表板 UI、Helm 或 Fleet:
7.1.1 使用 Rancher 仪表板 UI 安装 #
点击导航侧边栏 配置 部分中的 扩展。
在“扩展”页面上,点击右上角的三点菜单并选择 管理储存库。
每个扩展都通过其自己的 OCI 制品进行分发。它们可从 SUSE Telco Cloud Helm charts 储存库获取。
在 储存库页面 上,点击
Create。在表单中,指定储存库名称和 URL,然后点击
Create。SUSE Telco Cloud Helm charts 储存库 URL:
oci://registry.suse.com/edge/charts您可以看到扩展储存库已添加到列表中,并且处于
Active状态。导航回导航侧边栏 配置 部分中的 扩展。
在 可用 选项卡中,您可以查看可供安装的扩展。
在扩展卡片上,点击
Install并确认安装。扩展安装完成后,Rancher UI 会提示重新加载页面,如
https://ranchermanager.docs.rancher.com/v2.15/integrations-in-rancher/rancher-extensions#installing-extensions中所述。
7.1.2 使用 Helm 安装 #
# KubeVirt extension
helm install kubevirt-dashboard-extension oci://registry.suse.com/edge/charts/kubevirt-dashboard-extension --version 307.0.5+up1.4.2 --namespace cattle-ui-plugin-system扩展需要安装在 cattle-ui-plugin-system 名称空间中。
扩展安装完成后,需要重新加载 Rancher 仪表板 UI。
7.1.3 使用 Fleet 安装 #
使用 Fleet 安装仪表板扩展需要定义一个 gitRepo 资源,该资源指向包含自定义 fleet.yaml 捆绑包配置文件的 Git 储存库。
# KubeVirt extension fleet.yaml
defaultNamespace: cattle-ui-plugin-system
helm:
releaseName: kubevirt-dashboard-extension
chart: oci://registry.suse.com/edge/charts/kubevirt-dashboard-extension
version: "307.0.5+up1.4.2"releaseName 属性是必需的,并且需要与扩展名称匹配,才能正确安装扩展。
cat <<- EOF | kubectl apply -f -
apiVersion: fleet.cattle.io/v1alpha1
metadata:
name: edge-dashboard-extensions
namespace: fleet-local
spec:
repo: https://github.com/suse-edge/fleet-examples.git
branch: main
paths:
- fleets/kubevirt-dashboard-extension/
EOF有关详细信息,请参见 第 9 章 “Fleet” 和 fleet-examples 储存库。
扩展安装完成后,它们会列在 扩展 部分下的 已安装 选项卡中。由于它们不是通过 Apps/Marketplace 安装的,因此它们被标记为 Third-Party 标签。
7.2 KubeVirt 仪表板扩展 #
KubeVirt 扩展为 Rancher 仪表板 UI 提供了基本的虚拟机管理功能。其功能在 第 19.7.2 节 “使用 KubeVirt Rancher 仪表板扩展” 中有描述。
8 Rancher Turtles #
请参阅 https://documentation.suse.com/cloudnative/cluster-api/ 处的 Rancher Turtles 文档
Rancher Turtles 是一个 Kubernetes 操作器,可实现 Rancher Manager 与 Cluster API (CAPI) 之间的集成,旨在为 Rancher 提供完整的 CAPI 支持
8.1 Rancher Turtles 的主要功能 #
通过在 CAPI 配置的集群中安装 Rancher Cluster Agent,自动将 CAPI 集群导入 Rancher。
通过 CAPI Operator 安装并配置 CAPI 控制器依赖项。
通过
CAPIProviderAPI 管理已安装的 CAPI 提供程序依赖项
8.2 Rancher Turtles 在 SUSE Telco Cloud 中的使用 #
SUSE Telco Cloud 堆栈提供了一个 rancher-turtles-providers Helm chart,可通过 CAPIProvider API 启用特定的 CAPI 提供程序:
RKE2 控制平面和启动提供程序
Metal3 (第 11 章 “Metal3”) 基础架构提供程序
Metal3 (第 11 章 “Metal3”) IPAM 提供程序(目前不支持)
Fleet 插件提供程序
仅支持通过封装程序 chart 安装的默认提供程序 - 目前不支持将替代的控制平面、启动提供程序和基础架构提供程序作为 SUSE Telco Cloud 堆栈的一部分。
8.3 安装 Rancher Turtles #
自 Rancher 2.13 起,安装 Rancher 时默认启用 Rancher Turtles。
Rancher Turtles 提供程序可以按照 Metal3 快速入门 (第 4 章 “使用 Metal3 进行 BMC 自动部署”) 指南或 管理集群 (第 V 部分 “设置管理集群”) 文档进行安装。
8.4 其他资源 #
9 Fleet #
Fleet 是一个容器管理和部署引擎,旨在为用户提供对本地群集的更多控制,并通过 GitOps 进行持续监控。Fleet 不仅专注于扩展能力,还为用户提供了高度的控制和可见性,以监控集群上安装的确切内容。
Fleet 可以管理来自 Git 的原始 Kubernetes YAML、Helm chart、Kustomize 或这三者的任意组合的部署。无论来源如何,所有资源都会被动态转换为 Helm chart,并使用 Helm 作为引擎在集群中部署所有资源。因此,用户可以享受对其集群的高度控制、一致性和可审计性。
有关 Fleet 工作原理的信息,请参阅 Fleet 架构。
9.1 使用 Helm 安装 Fleet #
Fleet 内置于 Rancher 中,但也可以使用 Helm 作为独立应用程序,在任何 Kubernetes 集群上 安装。
9.2 在 Rancher 中使用 Fleet #
Rancher 使用 Fleet 在受管集群中部署应用程序。Fleet 的持续交付引入了大规模 GitOps,旨在管理运行在大量集群上的应用程序。
Fleet 作为 Rancher 的集成部分表现出色。通过 Rancher 管理的集群会在安装/导入过程中自动部署 Fleet agent,并且该集群可立即由 Fleet 进行管理。
9.3 在 Rancher UI 中访问 Fleet #
Fleet 在 Rancher 中预装,并由 Rancher UI 中的 持续交付 选项进行管理。
持续交付部分包含以下项目:
9.3.1 仪表板 #
所有工作区中所有 GitOps 储存库的概览页面。仅显示包含储存库的工作区。
9.3.2 Git 储存库 #
所选工作区中的 GitOps 储存库列表。使用页面顶部的下拉列表选择活动工作区。
9.3.3 群集 #
托管集群列表。默认情况下,所有 Rancher 托管的集群都会添加到 fleet-default 工作区中。fleet-local 工作区包含本地(管理)群集。在此处,您可以 Pause 或 Force update 集群,或将集群移动到另一个工作区。编辑集群允许更新用于对集群进行分组的标签和注释。
9.3.4 集群组 #
本节允许使用选择器对工作区内的集群进行自定义分组。
9.3.5 高级 #
“高级”部分允许管理工作区和其他相关的 Fleet 资源。
9.4 使用 Rancher 仪表板通过 Rancher 和 Fleet 安装 KubeVirt 的示例 #
创建一个包含
fleet.yaml文件的 Git 储存库:defaultNamespace: kubevirt helm: chart: "oci://registry.suse.com/edge/charts/kubevirt" version: "307.0.3+up0.8.0" # kubevirt namespace is created by kubevirt as well, we need to take ownership of it takeOwnership: true在 Rancher 仪表板中,导航至 ☰ > 持续交付 > Git 储存库 并点击
Add Repository。储存库创建向导将引导您完成 Git 储存库的创建。提供 名称、储存库 URL(引用在上一步中创建的 Git 储存库),并选择相应的分支或修订版本。对于更复杂的储存库,请指定 路径 以在单个储存库中使用多个目录。
单击
Next。在下一步中,您可以定义工作负载的部署位置。集群选择提供了几个基本选项:您可以选择不选择集群、选择所有集群,或者直接选择特定的托管集群或集群组(如果已定义)。“高级”选项允许通过 YAML 直接编辑选择器。
单击
Create。储存库已创建。从现在起,工作负载将在匹配储存库定义的集群上进行安装并保持同步。
9.5 调试与故障排除 #
“高级”导航部分提供了底层 Fleet 资源的概览。 Bundle 是一种用于编排 Git 资源的内部资源。当扫描 Git 存储库时,它会生成一个或多个 Bundle。
要查找与特定储存库相关的 Bundle,请转到 Git 储存库详细信息页面并点击 Bundles 选项卡。
对于每个集群,该 Bundle 会被应用到所创建的 BundleDeployment 资源中。要查看 BundleDeployment 详细信息,请点击 Git 储存库详细信息页面右上角的 Graph 按钮。
系统会加载一张 Repo > Bundles > BundleDeployments 的图表。点击图表中的 BundleDeployment 以查看其详细信息,并点击 Id 以查看 BundleDeployment YAML。
有关 Fleet 故障排除技巧的更多信息,请参阅 此处。
9.6 Fleet 示例 #
Edge 团队维护着一个 储存库,其中包含使用 Fleet 安装 Edge 项目的示例。
Fleet 项目包含一个 fleet-examples 储存库,涵盖了 Git 储存库结构 的所有用例。
10 SUSE Linux Micro #
SUSE Linux Micro 是一款适用于边缘计算的轻量级且安全的操作系统。它将 SUSE Linux Enterprise 的企业强化组件与开发人员需要的各种功能融入一套现代的不可变操作系统。从而形成一个可靠的基础设施平台,不仅具有最佳的合规性,而且易于使用。
10.1 SUSE Telco Cloud 如何使用 SUSE Linux Micro? #
我们将 SUSE Linux Micro 用作我们平台堆栈的基础操作系统。这为我们提供了一个安全、稳定且精简的基础,以便在其上进一步构建。
SUSE Linux Micro 的独特之处在于它使用文件系统 (Btrfs) 快照,以便在升级出现问题时轻松回滚。即使在出现问题且无法进行物理访问的情况下,这也允许对整个平台进行安全的远程升级。
10.2 最佳实践 #
10.2.1 安装媒体 #
SUSE Telco Cloud 使用 Edge Image Builder (第 12 章 “Edge Image Builder”) 来预配置 SUSE Linux Micro 自安装安装镜像。
10.2.2 本地管理 #
SUSE Linux Micro 附带 Cockpit,允许通过 Web 应用程序对主机进行本地管理。
此服务默认处于禁用状态,但可以通过启用 systemd 服务 cockpit.socket 来启动。
由于 Cockpit 默认禁止 root 登录,建议创建具有管理权限的用户。有关更多信息,请参阅 SUSE Linux Micro 官方文档。
10.3 已知问题 #
目前 SUSE Linux Micro 中没有可用的桌面环境,但正在开发容器化解决方案。
11 Metal3 #
Metal3 是一个 CNCF 项目,为 Kubernetes 提供裸机基础设施管理功能。
Metal3 提供 Kubernetes 原生资源来管理裸机服务器的生命周期,这些服务器支持通过带外协议(例如 Redfish)进行管理。
它还对 Cluster API (CAPI) 拥有成熟的支持。 这使得能够通过广泛采用的供应商中立 API 管理跨多个基础设施提供商的硬件资源。 Cluster API 使用 Metal3 作为 Machine 对象的基础设施后端。
11.1 SUSE Telco Cloud 如何使用 Metal3? #
SUSE Telco Cloud 使用 Metal3 来管理物理硬件(例如服务器)的生命周期。硬件需要支持 Metal3 支持的带外管理协议(例如 Redfish)。当 SUSE Telco Cloud 管理集群配置或取消配置下游集群时,Metal3 将通过 Redfish 与服务器的 BMC 进行交互。以下操作通常是此交互的一部分:
挂载和卸载虚拟媒体。
服务器开机、关机和重置。
这种方法适用于目标硬件支持带外管理且需要完全自动化的基础设施管理流程的场景。
Metal3 和 CAPI 提供了声明式 API,支持裸机服务器的库存和状态管理,包括自动检查、清理以及配置/取消配置。
11.2 已知问题 #
目前不支持上游 IP 地址管理控制器,因为它尚不兼容我们选择的网络配置工具。但是,
ipam-controller-manager托管在metal3-ipam-system名称空间上的 Pod 是必需的,因为 CAPM3 要求存在ipamCRD。相关地,不支持 IPAM 资源和 Metal3DataTemplate networkData 字段。
目前仅支持通过 redfish-virtualmedia 进行部署。
12 Edge Image Builder #
请参阅 官方储存库。
Edge Image Builder (EIB) 是一款用于简化生成定制化、即启即用 (CRB) 磁盘镜像以引导机器的工具。这些镜像支持通过单个镜像实现整个 SUSE 软件栈的端到端部署。
虽然 EIB 可以为所有配置场景创建 CRB 镜像,但 EIB 在网络受限或完全隔离的部署中展现出了巨大的价值。
12.1 SUSE Telco Cloud 如何使用 Edge Image Builder? #
SUSE Telco Cloud使用 EIB 来简化和快速配置用于各种场景的定制化 SUSE Linux Micro 镜像。这些场景包括对虚拟机和裸机的引导,具体如下:
完全隔离环境下的 K3s/RKE2 Kubernetes 部署(单节点和多节点)
完全隔离环境下的 Helm chart 和 Kubernetes 清单部署
通过 Elemental API 注册到 Rancher
Metal3
定制化网络(例如,静态 IP、主机名、VLAN、绑定等)
定制化操作系统配置(例如,用户、组、密码、SSH 密钥、代理、NTP、自定义 SSL 证书等)
主机级和侧载 RPM 包的隔离安装(包括依赖项解析)
注册到 SUSE Multi-Linux Manager 进行操作系统管理
嵌入式容器镜像
内核命令行参数
在引导时启用/禁用的 Systemd 单元
用于任何手动任务的自定义脚本和文件
12.2 入门 #
有关 Edge Image Builder 使用和测试的综合文档可以在 此处 找到。
此外,请参阅涵盖基本部署场景的 第 5 章 “使用 Edge Image Builder 的独立集群”。
一旦您熟悉了此工具,请在我们的 EIB 提示与技巧部分 (第 X 部分 “提示和技巧”) 页面上查找更多有用的信息。
12.3 已知问题 #
EIB 通过对 Helm chart 进行模板化并解析模板内的所有镜像来实现 Helm chart 的隔离。如果 Helm chart 没有将其所有镜像保留在模板内,而是侧载了这些镜像,则 EIB 将无法自动对这些镜像进行隔离。解决此问题的办法是手动将任何未检测到的镜像添加到定义文件的
embeddedArtifactRegistry部分。
13 边缘网络 #
本节介绍了 SUSE Telco Cloud 解决方案中的网络配置方法。 我们将展示如何在 SUSE Linux Micro 上以声明方式配置 NetworkManager,并解释相关工具是如何集成的。
13.1 NetworkManager 概述 #
NetworkManager 是用于管理主网络连接和其他连接接口的工具。
NetworkManager 将网络配置存储为包含期望状态的连接文件。
这些连接以文件的形式存储在 /etc/NetworkManager/system-connections/ 目录中。
有关 NetworkManager 的详细信息,请参阅 SUSE Linux Micro 文档。
13.2 nmstate 概述 #
nmstate 是一个被广泛采用的库(附带一个 CLI 工具),它通过预定义的模式为网络配置提供声明式 API。
有关 nmstate 的详细信息,请参阅 上游文档。
13.3 Enter:NetworkManager 配置器 (nmc) #
SUSE Telco Cloud 中提供的网络自定义选项是通过一个名为 NetworkManager 配置器(简称 nmc)的 CLI 工具实现的。 它利用了 nmstate 库提供的功能,因此完全能够配置静态 IP 地址、DNS 服务器、VLAN、网络绑定、网桥等。 该工具允许我们根据预定义的期望状态生成网络配置,并以自动化的方式在许多不同的节点上应用这些配置。
有关 NetworkManager 配置器 (nmc) 的详细信息,请参阅 上游储存库。
13.4 SUSE Telco Cloud 如何使用 NetworkManager 配置器? #
SUSE Telco Cloud 在各种不同的配置模型中利用 nmc 进行网络自定义: * 定向网络配置场景中的自定义网络配置 (第 4 章 “使用 Metal3 进行 BMC 自动部署”) * 基于镜像的置备场景中的声明式静态配置 (第 5 章 “使用 Edge Image Builder 的独立集群”)
13.5 使用 Edge Image Builder 进行配置 #
Edge Image Builder (EIB) 是一款能够使用单个操作系统映像配置多个主机的工具。 在本节中,我们将展示如何使用声明式方法来描述所需的网络状态,这些状态如何转换为相应的 NetworkManager 连接,然后在置备过程中应用。
13.5.1 先决条件 #
如果您正在阅读本指南,则假定您已具备以下条件:
一台运行 SLES 15 SP6 或 openSUSE Leap 15.6 的 AMD64/Intel 64 物理主机(或虚拟机)
一个可用的容器运行时(例如 Podman)
一份 SUSE Linux Micro 6.2 RAW 映像副本,可在 此处 找到
13.5.2 获取 Edge Image Builder 容器映像 #
EIB 容器映像是公开可用的,可以通过运行以下命令从 SUSE Telco Cloud 注册表中下载:
podman pull registry.suse.com/edge/3.7/edge-image-builder:1.3.413.5.3 创建映像配置目录 #
让我们从创建配置目录开始:
export CONFIG_DIR=$HOME/eib
mkdir -p $CONFIG_DIR/base-images现在,我们将确保已下载的基础映像副本被移动到配置目录中:
mv /path/to/downloads/SL-Micro.x86_64-6.2-Base-GM.raw $CONFIG_DIR/base-images/注意EIB 绝不会修改基础映像输入。它将创建一个包含其修改内容的新映像。
此时,配置目录应如下所示:
└── base-images/
└── SL-Micro.x86_64-6.2-Base-GM.raw13.5.4 创建映像定义文件 #
定义文件描述了 Edge Image Builder 支持的大多数可配置选项。
让我们从一个非常基础的操作系统映像定义文件开始:
cat << EOF > $CONFIG_DIR/definition.yaml
apiVersion: 1.3
image:
arch: x86_64
imageType: raw
baseImage: SL-Micro.x86_64-6.2-Base-GM.raw
outputImageName: modified-image.raw
operatingSystem:
users:
- username: root
encryptedPassword: $6$jHugJNNd3HElGsUZ$eodjVe4te5ps44SVcWshdfWizrP.xAyd71CVEXazBJ/.v799/WRCBXxfYmunlBO2yp1hm/zb4r8EmnrrNCF.P/
EOFimage 部分是必需的,它指定了输入映像、其架构和类型,以及输出映像的名称。
operatingSystem 部分是可选的,包含用于启用使用 root/eib 用户名/密码登录到置备系统的配置。
注意请随意使用您自己的加密密码,方法是运行
openssl passwd -6 <password>。
此时,配置目录应如下所示:
├── definition.yaml
└── base-images/
└── SL-Micro.x86_64-6.2-Base-GM.raw13.5.5 定义网络配置 #
所需的网络配置不属于我们刚刚创建的镜像定义文件。
我们现在将把它们填充到特殊的 network/ 目录下。让我们创建它:
mkdir -p $CONFIG_DIR/network如前所述,NetworkManager 配置器 (nmc) 工具期望以预定义模式的形式输入。 您可以在 上游 NMState 示例文档 中找到如何设置各种不同的网络选项。
本指南将解释如何配置三个不同节点上的网络:
使用两个以太网接口的节点
使用网络绑定的节点
使用网络网桥的节点
在生产构建中不建议使用完全不同的网络设置,尤其是在配置 Kubernetes 集群时。 网络配置通常应在节点之间保持同构,或者至少在给定集群内的角色之间保持同构。 本指南包含各种不同的选项,仅供参考。
注意以下内容假设使用具有 IP 地址范围
192.168.122.1/24的默认libvirt网络。 如果您的环境有所不同,请相应地进行调整。
让我们为第一个节点创建所需的状态,我们将其称为 node1.suse.com:
cat << EOF > $CONFIG_DIR/network/node1.suse.com.yaml
routes:
config:
- destination: 0.0.0.0/0
metric: 100
next-hop-address: 192.168.122.1
next-hop-interface: eth0
table-id: 254
- destination: 192.168.122.0/24
metric: 100
next-hop-address: 192.168.122.1
next-hop-interface: eth0
table-id: 254
dns-resolver:
config:
server:
- 192.168.122.1
- 8.8.8.8
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: 34:8A:B1:4B:16:E1
ipv4:
address:
- ip: 192.168.122.50
prefix-length: 24
dhcp: false
enabled: true
ipv6:
enabled: false
- name: eth3
type: ethernet
state: down
mac-address: 34:8A:B1:4B:16:E2
ipv4:
address:
- ip: 192.168.122.55
prefix-length: 24
dhcp: false
enabled: true
ipv6:
enabled: false
EOF在此示例中,我们定义了两个以太网接口(eth0 和 eth3)的所需状态、它们请求的 IP 地址、路由和 DNS 解析。
您必须确保列出所有以太网接口的 MAC 地址。 这些地址在置备过程中用作节点的标识符,并用于确定应应用哪些配置。 这就是我们能够使用单个 ISO 或 RAW 镜像配置多个节点的方法。
接下来是第二个节点,我们将称之为 node2.suse.com,它将使用网络绑定:
cat << EOF > $CONFIG_DIR/network/node2.suse.com.yaml
routes:
config:
- destination: 0.0.0.0/0
metric: 100
next-hop-address: 192.168.122.1
next-hop-interface: bond99
table-id: 254
- destination: 192.168.122.0/24
metric: 100
next-hop-address: 192.168.122.1
next-hop-interface: bond99
table-id: 254
dns-resolver:
config:
server:
- 192.168.122.1
- 8.8.8.8
interfaces:
- name: bond99
type: bond
state: up
ipv4:
address:
- ip: 192.168.122.60
prefix-length: 24
enabled: true
link-aggregation:
mode: balance-rr
options:
miimon: '140'
port:
- eth0
- eth1
- name: eth0
type: ethernet
state: up
mac-address: 34:8A:B1:4B:16:E3
ipv4:
enabled: false
ipv6:
enabled: false
- name: eth1
type: ethernet
state: up
mac-address: 34:8A:B1:4B:16:E4
ipv4:
enabled: false
ipv6:
enabled: false
EOF在此示例中,我们定义了两个以太网接口(eth0 和 eth1)的所需状态,它们未启用 IP 寻址,以及一个具有轮询策略的网络绑定及其将用于转发网络流量的相应地址。
最后,我们将创建第三个也是最后一个所需状态文件,它将利用网络网桥,我们将称之为 node3.suse.com:
cat << EOF > $CONFIG_DIR/network/node3.suse.com.yaml
routes:
config:
- destination: 0.0.0.0/0
metric: 100
next-hop-address: 192.168.122.1
next-hop-interface: linux-br0
table-id: 254
- destination: 192.168.122.0/24
metric: 100
next-hop-address: 192.168.122.1
next-hop-interface: linux-br0
table-id: 254
dns-resolver:
config:
server:
- 192.168.122.1
- 8.8.8.8
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: 34:8A:B1:4B:16:E5
ipv4:
enabled: false
ipv6:
enabled: false
- name: linux-br0
type: linux-bridge
state: up
ipv4:
address:
- ip: 192.168.122.70
prefix-length: 24
dhcp: false
enabled: true
bridge:
options:
group-forward-mask: 0
mac-ageing-time: 300
multicast-snooping: true
stp:
enabled: true
forward-delay: 15
hello-time: 2
max-age: 20
priority: 32768
port:
- name: eth0
stp-hairpin-mode: false
stp-path-cost: 100
stp-priority: 32
EOF此时,配置目录应如下所示:
├── definition.yaml
├── network/
│ │── node1.suse.com.yaml
│ │── node2.suse.com.yaml
│ └── node3.suse.com.yaml
└── base-images/
└── SL-Micro.x86_64-6.2-Base-GM.raw注意
network/目录下的文件名是刻意这样命名的。 它们对应于将在置备过程中设置的主机名。
13.5.6 构建操作系统镜像 #
现在所有必要的配置都已就绪,我们可以通过简单地运行以下命令来构建镜像:
podman run --rm -it -v $CONFIG_DIR:/eib registry.suse.com/edge/3.7/edge-image-builder:1.3.4 build --definition-file definition.yaml输出应如下所示:
Generating image customization components...
Identifier ................... [SUCCESS]
Custom Files ................. [SKIPPED]
Time ......................... [SKIPPED]
Network ...................... [SUCCESS]
Groups ....................... [SKIPPED]
Users ........................ [SUCCESS]
Proxy ........................ [SKIPPED]
Rpm .......................... [SKIPPED]
Systemd ...................... [SKIPPED]
Elemental .................... [SKIPPED]
Suma ......................... [SKIPPED]
Embedded Artifact Registry ... [SKIPPED]
Keymap ....................... [SUCCESS]
Kubernetes ................... [SKIPPED]
Certificates ................. [SKIPPED]
Building RAW image...
Kernel Params ................ [SKIPPED]
Image build complete!上面的代码片段告诉我们 Network 组件已成功配置,我们可以继续配置边缘节点。
注意可以在生成的
_build目录下的时间戳目录中检查日志文件 (network-config.log) 和相应的 NetworkManager 连接文件。
13.5.7 配置边缘节点 #
让我们复制生成的 RAW 镜像:
mkdir edge-nodes && cd edge-nodes
for i in {1..4}; do cp $CONFIG_DIR/modified-image.raw node$i.raw; done您会注意到我们复制了四次构建的镜像,但只指定了三个节点的网络配置。 这是因为我们还想展示如果我们配置一个与任何所需配置都不匹配的节点会发生什么。
我们将使用 virt-install 来使用复制的原始磁盘创建虚拟机。
每个虚拟机将使用 10 GB 的 RAM 和 6 个 vCPU。
13.5.7.1 配置第一个节点 #
让我们创建虚拟机:
virt-install --name node1 --ram 10000 --vcpus 6 --disk path=node1.raw,format=raw --osinfo detect=on,name=sle-unknown --graphics none --console pty,target_type=serial --network default,mac=34:8A:B1:4B:16:E1 --network default,mac=34:8A:B1:4B:16:E2 --virt-type kvm --import注意重要的是,我们要使用与上述预期状态中相同的 MAC 地址来创建网络接口。
操作完成后,我们将看到类似以下的内容:
Starting install...
Creating domain...
Running text console command: virsh --connect qemu:///system console node1
Connected to domain 'node1'
Escape character is ^] (Ctrl + ])
Welcome to SUSE Linux Micro 6.0 (x86_64) - Kernel 6.4.0-18-default (tty1).
SSH host key: SHA256:XN/R5Tw43reG+QsOw480LxCnhkc/1uqMdwlI6KUBY70 (RSA)
SSH host key: SHA256:/96yGrPGKlhn04f1rb9cXv/2WJt4TtrIN5yEcN66r3s (DSA)
SSH host key: SHA256:Dy/YjBQ7LwjZGaaVcMhTWZNSOstxXBsPsvgJTJq5t00 (ECDSA)
SSH host key: SHA256:TNGqY1LRddpxD/jn/8dkT/9YmVl9hiwulqmayP+wOWQ (ED25519)
eth0: 192.168.122.50
eth1:
Configured with the Edge Image Builder
Activate the web console with: systemctl enable --now cockpit.socket
node1 login:我们现在可以使用 root:eib 凭据对登录。
如果我们更喜欢使用 SSH 登录主机,而不是此处显示的 virsh console,我们也可以这样做。
登录后,让我们确认所有设置均已就绪。
验证主机名是否设置正确:
node1:~ # hostnamectl
Static hostname: node1.suse.com
...验证路由配置是否正确:
node1:~ # ip r
default via 192.168.122.1 dev eth0 proto static metric 100
192.168.122.0/24 dev eth0 proto static scope link metric 100
192.168.122.0/24 dev eth0 proto kernel scope link src 192.168.122.50 metric 100验证互联网连接是否可用:
node1:~ # ping google.com
PING google.com (142.250.72.78) 56(84) bytes of data.
64 bytes from den16s09-in-f14.1e100.net (142.250.72.78): icmp_seq=1 ttl=56 time=13.2 ms
64 bytes from den16s09-in-f14.1e100.net (142.250.72.78): icmp_seq=2 ttl=56 time=13.4 ms
^C
--- google.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 13.248/13.304/13.361/0.056 ms验证是否配置了恰好两个以太网接口,且其中只有一个处于活动状态:
node1:~ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 34:8a:b1:4b:16:e1 brd ff:ff:ff:ff:ff:ff
altname enp0s2
altname ens2
inet 192.168.122.50/24 brd 192.168.122.255 scope global noprefixroute eth0
valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 34:8a:b1:4b:16:e2 brd ff:ff:ff:ff:ff:ff
altname enp0s3
altname ens3
node1:~ # nmcli -f NAME,UUID,TYPE,DEVICE,FILENAME con show
NAME UUID TYPE DEVICE FILENAME
eth0 dfd202f5-562f-5f07-8f2a-a7717756fb70 ethernet eth0 /etc/NetworkManager/system-connections/eth0.nmconnection
eth1 7e211aea-3d14-59cf-a4fa-be91dac5dbba ethernet -- /etc/NetworkManager/system-connections/eth1.nmconnection您会注意到第二个接口是 eth1,而不是我们预期的网络状态中预定义的 eth3。
这是因为 NetworkManager 配置器 (nmc) 能够检测到操作系统为 MAC 地址为 34:8a:b1:4b:16:e2 的 NIC 分配了不同的名称,并相应地调整了其设置。
通过检查置备的 Combustion 阶段来验证这一点是否确实发生:
node1:~ # journalctl -u combustion | grep nmc
Apr 23 09:20:19 localhost.localdomain combustion[1360]: [2024-04-23T09:20:19Z INFO nmc::apply_conf] Identified host: node1.suse.com
Apr 23 09:20:19 localhost.localdomain combustion[1360]: [2024-04-23T09:20:19Z INFO nmc::apply_conf] Set hostname: node1.suse.com
Apr 23 09:20:19 localhost.localdomain combustion[1360]: [2024-04-23T09:20:19Z INFO nmc::apply_conf] Processing interface 'eth0'...
Apr 23 09:20:19 localhost.localdomain combustion[1360]: [2024-04-23T09:20:19Z INFO nmc::apply_conf] Processing interface 'eth3'...
Apr 23 09:20:19 localhost.localdomain combustion[1360]: [2024-04-23T09:20:19Z INFO nmc::apply_conf] Using interface name 'eth1' instead of the preconfigured 'eth3'
Apr 23 09:20:19 localhost.localdomain combustion[1360]: [2024-04-23T09:20:19Z INFO nmc] Successfully applied config我们现在将置备其余节点,但仅展示最终配置中的差异。 您可以随意对即将置备的所有节点应用上述全部或部分检查。
13.5.7.2 置备第二个节点 #
让我们创建虚拟机:
virt-install --name node2 --ram 10000 --vcpus 6 --disk path=node2.raw,format=raw --osinfo detect=on,name=sle-unknown --graphics none --console pty,target_type=serial --network default,mac=34:8A:B1:4B:16:E3 --network default,mac=34:8A:B1:4B:16:E4 --virt-type kvm --import一旦虚拟机启动并运行,我们就可以确认该节点正在使用网络绑定。
node2:~ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master bond99 state UP group default qlen 1000
link/ether 34:8a:b1:4b:16:e3 brd ff:ff:ff:ff:ff:ff
altname enp0s2
altname ens2
3: eth1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master bond99 state UP group default qlen 1000
link/ether 34:8a:b1:4b:16:e3 brd ff:ff:ff:ff:ff:ff permaddr 34:8a:b1:4b:16:e4
altname enp0s3
altname ens3
4: bond99: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 34:8a:b1:4b:16:e3 brd ff:ff:ff:ff:ff:ff
inet 192.168.122.60/24 brd 192.168.122.255 scope global noprefixroute bond99
valid_lft forever preferred_lft forever确认路由正在使用该网络绑定:
node2:~ # ip r
default via 192.168.122.1 dev bond99 proto static metric 100
192.168.122.0/24 dev bond99 proto static scope link metric 100
192.168.122.0/24 dev bond99 proto kernel scope link src 192.168.122.60 metric 300确保正确使用了静态连接文件:
node2:~ # nmcli -f NAME,UUID,TYPE,DEVICE,FILENAME con show
NAME UUID TYPE DEVICE FILENAME
bond99 4a920503-4862-5505-80fd-4738d07f44c6 bond bond99 /etc/NetworkManager/system-connections/bond99.nmconnection
eth0 dfd202f5-562f-5f07-8f2a-a7717756fb70 ethernet eth0 /etc/NetworkManager/system-connections/eth0.nmconnection
eth1 0523c0a1-5f5e-5603-bcf2-68155d5d322e ethernet eth1 /etc/NetworkManager/system-connections/eth1.nmconnection13.5.7.3 配置第三个节点 #
让我们创建虚拟机:
virt-install --name node3 --ram 10000 --vcpus 6 --disk path=node3.raw,format=raw --osinfo detect=on,name=sle-unknown --graphics none --console pty,target_type=serial --network default,mac=34:8A:B1:4B:16:E5 --virt-type kvm --import一旦虚拟机启动并运行,我们就可以确认该节点正在使用网络桥接:
node3:~ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast master linux-br0 state UP group default qlen 1000
link/ether 34:8a:b1:4b:16:e5 brd ff:ff:ff:ff:ff:ff
altname enp0s2
altname ens2
3: linux-br0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether 34:8a:b1:4b:16:e5 brd ff:ff:ff:ff:ff:ff
inet 192.168.122.70/24 brd 192.168.122.255 scope global noprefixroute linux-br0
valid_lft forever preferred_lft forever确认路由正在使用该网桥:
node3:~ # ip r
default via 192.168.122.1 dev linux-br0 proto static metric 100
192.168.122.0/24 dev linux-br0 proto static scope link metric 100
192.168.122.0/24 dev linux-br0 proto kernel scope link src 192.168.122.70 metric 425确保正确使用了静态连接文件:
node3:~ # nmcli -f NAME,UUID,TYPE,DEVICE,FILENAME con show
NAME UUID TYPE DEVICE FILENAME
linux-br0 1f8f1469-ed20-5f2c-bacb-a6767bee9bc0 bridge linux-br0 /etc/NetworkManager/system-connections/linux-br0.nmconnection
eth0 dfd202f5-562f-5f07-8f2a-a7717756fb70 ethernet eth0 /etc/NetworkManager/system-connections/eth0.nmconnection13.5.7.4 配置第四个节点 #
最后,我们将配置一个节点,该节点的 MAC 地址与任何预定义的配置均不匹配。 在这些情况下,我们将默认使用 DHCP 来配置网络接口。
让我们创建虚拟机:
virt-install --name node4 --ram 10000 --vcpus 6 --disk path=node4.raw,format=raw --osinfo detect=on,name=sle-unknown --graphics none --console pty,target_type=serial --network default --virt-type kvm --import一旦虚拟机启动并运行,我们就可以确认该节点正在为其网络接口使用随机 IP 地址:
localhost:~ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 52:54:00:56:63:71 brd ff:ff:ff:ff:ff:ff
altname enp0s2
altname ens2
inet 192.168.122.86/24 brd 192.168.122.255 scope global dynamic noprefixroute eth0
valid_lft 3542sec preferred_lft 3542sec
inet6 fe80::5054:ff:fe56:6371/64 scope link noprefixroute
valid_lft forever preferred_lft forever验证 nmc 是否未能为此节点应用静态配置:
localhost:~ # journalctl -u combustion | grep nmc
Apr 23 12:15:45 localhost.localdomain combustion[1357]: [2024-04-23T12:15:45Z ERROR nmc] Applying config failed: None of the preconfigured hosts match local NICs验证以太网接口是否已通过 DHCP 配置:
localhost:~ # journalctl | grep eth0
Apr 23 12:15:29 localhost.localdomain NetworkManager[704]: <info> [1713874529.7801] manager: (eth0): new Ethernet device (/org/freedesktop/NetworkManager/Devices/2)
Apr 23 12:15:29 localhost.localdomain NetworkManager[704]: <info> [1713874529.7802] device (eth0): state change: unmanaged -> unavailable (reason 'managed', sys-iface-state: 'external')
Apr 23 12:15:29 localhost.localdomain NetworkManager[704]: <info> [1713874529.7929] device (eth0): carrier: link connected
Apr 23 12:15:29 localhost.localdomain NetworkManager[704]: <info> [1713874529.7931] device (eth0): state change: unavailable -> disconnected (reason 'carrier-changed', sys-iface-state: 'managed')
Apr 23 12:15:29 localhost.localdomain NetworkManager[704]: <info> [1713874529.7944] device (eth0): Activation: starting connection 'Wired Connection' (300ed658-08d4-4281-9f8c-d1b8882d29b9)
Apr 23 12:15:29 localhost.localdomain NetworkManager[704]: <info> [1713874529.7945] device (eth0): state change: disconnected -> prepare (reason 'none', sys-iface-state: 'managed')
Apr 23 12:15:29 localhost.localdomain NetworkManager[704]: <info> [1713874529.7947] device (eth0): state change: prepare -> config (reason 'none', sys-iface-state: 'managed')
Apr 23 12:15:29 localhost.localdomain NetworkManager[704]: <info> [1713874529.7953] device (eth0): state change: config -> ip-config (reason 'none', sys-iface-state: 'managed')
Apr 23 12:15:29 localhost.localdomain NetworkManager[704]: <info> [1713874529.7964] dhcp4 (eth0): activation: beginning transaction (timeout in 90 seconds)
Apr 23 12:15:33 localhost.localdomain NetworkManager[704]: <info> [1713874533.1272] dhcp4 (eth0): state changed new lease, address=192.168.122.86
localhost:~ # nmcli -f NAME,UUID,TYPE,DEVICE,FILENAME con show
NAME UUID TYPE DEVICE FILENAME
Wired Connection 300ed658-08d4-4281-9f8c-d1b8882d29b9 ethernet eth0 /var/run/NetworkManager/system-connections/default_connection.nmconnection13.5.8 统一节点配置 #
在某些情况下,无法依赖已知的 MAC 地址。在这些情况下,我们可以选择所谓的 统一配置,它允许我们在 _all.yaml 文件中指定设置,然后将其应用于所有已配置的节点。
我们将使用不同的配置结构构建并配置边缘节点。按照从 第 13.5.3 节 “创建映像配置目录” 到 第 13.5.5 节 “定义网络配置” 的所有步骤操作。
在此示例中,我们定义了两个以太网接口(eth0 和 eth1)的期望状态——一个使用 DHCP,另一个分配了静态 IP 地址。
mkdir -p $CONFIG_DIR/network
cat <<- EOF > $CONFIG_DIR/network/_all.yaml
interfaces:
- name: eth0
type: ethernet
state: up
ipv4:
dhcp: true
enabled: true
ipv6:
enabled: false
- name: eth1
type: ethernet
state: up
ipv4:
address:
- ip: 10.0.0.1
prefix-length: 24
enabled: true
dhcp: false
ipv6:
enabled: false
EOF让我们构建镜像:
podman run --rm -it -v $CONFIG_DIR:/eib registry.suse.com/edge/3.7/edge-image-builder:1.3.4 build --definition-file definition.yaml镜像构建成功后,让我们使用它创建一个虚拟机:
virt-install --name node1 --ram 10000 --vcpus 6 --disk path=$CONFIG_DIR/modified-image.raw,format=raw --osinfo detect=on,name=sle-unknown --graphics none --console pty,target_type=serial --network default --network default --virt-type kvm --import配置过程可能需要几分钟。完成后,使用提供的凭据登录系统。
验证路由配置是否正确:
localhost:~ # ip r
default via 192.168.122.1 dev eth0 proto dhcp src 192.168.122.100 metric 100
10.0.0.0/24 dev eth1 proto kernel scope link src 10.0.0.1 metric 101
192.168.122.0/24 dev eth0 proto kernel scope link src 192.168.122.100 metric 100验证互联网连接是否可用:
localhost:~ # ping google.com
PING google.com (142.250.72.46) 56(84) bytes of data.
64 bytes from den16s08-in-f14.1e100.net (142.250.72.46): icmp_seq=1 ttl=56 time=14.3 ms
64 bytes from den16s08-in-f14.1e100.net (142.250.72.46): icmp_seq=2 ttl=56 time=14.2 ms
^C
--- google.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 14.196/14.260/14.324/0.064 ms验证以太网接口是否已配置并处于活动状态:
localhost:~ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 52:54:00:26:44:7a brd ff:ff:ff:ff:ff:ff
altname enp1s0
inet 192.168.122.100/24 brd 192.168.122.255 scope global dynamic noprefixroute eth0
valid_lft 3505sec preferred_lft 3505sec
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 52:54:00:ec:57:9e brd ff:ff:ff:ff:ff:ff
altname enp7s0
inet 10.0.0.1/24 brd 10.0.0.255 scope global noprefixroute eth1
valid_lft forever preferred_lft forever
localhost:~ # nmcli -f NAME,UUID,TYPE,DEVICE,FILENAME con show
NAME UUID TYPE DEVICE FILENAME
eth0 dfd202f5-562f-5f07-8f2a-a7717756fb70 ethernet eth0 /etc/NetworkManager/system-connections/eth0.nmconnection
eth1 0523c0a1-5f5e-5603-bcf2-68155d5d322e ethernet eth1 /etc/NetworkManager/system-connections/eth1.nmconnection
localhost:~ # cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
autoconnect=true
autoconnect-slaves=-1
id=eth0
interface-name=eth0
type=802-3-ethernet
uuid=dfd202f5-562f-5f07-8f2a-a7717756fb70
[ipv4]
dhcp-client-id=mac
dhcp-send-hostname=true
dhcp-timeout=2147483647
ignore-auto-dns=false
ignore-auto-routes=false
method=auto
never-default=false
[ipv6]
addr-gen-mode=0
dhcp-timeout=2147483647
method=disabled
localhost:~ # cat /etc/NetworkManager/system-connections/eth1.nmconnection
[connection]
autoconnect=true
autoconnect-slaves=-1
id=eth1
interface-name=eth1
type=802-3-ethernet
uuid=0523c0a1-5f5e-5603-bcf2-68155d5d322e
[ipv4]
address0=10.0.0.1/24
dhcp-timeout=2147483647
method=manual
[ipv6]
addr-gen-mode=0
dhcp-timeout=2147483647
method=disabled13.5.9 自定义网络配置 #
我们已经介绍了 Edge Image Builder 的默认网络配置,它依赖于 NetworkManager Configurator。 不过,也可以选择通过自定义脚本进行修改。虽然此选项非常灵活且不依赖于 MAC 地址,但其局限性在于,当使用单个镜像引导多个节点时,使用它会很不方便。
注意建议通过
/network目录下描述所需网络状态的文件来使用默认网络配置。 仅当该行为不适用于您的用例时,才选择自定义脚本。
我们将使用不同的配置结构构建并配置边缘节点。按照从 第 13.5.3 节 “创建映像配置目录” 到 第 13.5.5 节 “定义网络配置” 的所有步骤操作。
在此示例中,我们将创建一个自定义脚本,为所有已配置节点上的 eth0 接口应用静态配置,并删除和禁用 NetworkManager 自动创建的有线连接。这在您希望确保集群中的每个节点都具有相同网络配置的情况下非常有用,因此您无需在创建镜像之前关注每个节点的 MAC 地址。
让我们首先将连接文件存储在 /custom/files 目录中:
mkdir -p $CONFIG_DIR/custom/files
cat << EOF > $CONFIG_DIR/custom/files/eth0.nmconnection
[connection]
autoconnect=true
autoconnect-slaves=-1
autoconnect-retries=1
id=eth0
interface-name=eth0
type=802-3-ethernet
uuid=dfd202f5-562f-5f07-8f2a-a7717756fb70
wait-device-timeout=60000
[ipv4]
dhcp-timeout=2147483647
method=auto
[ipv6]
addr-gen-mode=eui64
dhcp-timeout=2147483647
method=disabled
EOF现在静态配置已创建,我们还将创建自定义网络脚本:
mkdir -p $CONFIG_DIR/network
cat << EOF > $CONFIG_DIR/network/configure-network.sh
#!/bin/bash
set -eux
# Remove and disable wired connections
mkdir -p /etc/NetworkManager/conf.d/
printf "[main]\nno-auto-default=*\n" > /etc/NetworkManager/conf.d/no-auto-default.conf
rm -f /var/run/NetworkManager/system-connections/* || true
# Copy pre-configured network configuration files into NetworkManager
mkdir -p /etc/NetworkManager/system-connections/
cp eth0.nmconnection /etc/NetworkManager/system-connections/
chmod 600 /etc/NetworkManager/system-connections/*.nmconnection
EOF
chmod a+x $CONFIG_DIR/network/configure-network.sh注意nmc 二进制文件仍将默认包含,因此如有必要,它也可以在
configure-network.sh脚本中使用。
自定义脚本必须始终放置在配置目录下的 /network/configure-network.sh 中。如果存在,所有其他文件都将被忽略。
无法同时使用 YAML 格式的静态配置和自定义脚本来配置网络。
此时,配置目录应如下所示:
├── definition.yaml
├── custom/
│ └── files/
│ └── eth0.nmconnection
├── network/
│ └── configure-network.sh
└── base-images/
└── SL-Micro.x86_64-6.2-Base-GM.raw让我们构建镜像:
podman run --rm -it -v $CONFIG_DIR:/eib registry.suse.com/edge/3.7/edge-image-builder:1.3.4 build --definition-file definition.yaml镜像构建成功后,让我们使用它创建一个虚拟机:
virt-install --name node1 --ram 10000 --vcpus 6 --disk path=$CONFIG_DIR/modified-image.raw,format=raw --osinfo detect=on,name=sle-unknown --graphics none --console pty,target_type=serial --network default --virt-type kvm --import配置过程可能需要几分钟。完成后,使用提供的凭据登录系统。
验证路由配置是否正确:
localhost:~ # ip r
default via 192.168.122.1 dev eth0 proto dhcp src 192.168.122.185 metric 100
192.168.122.0/24 dev eth0 proto kernel scope link src 192.168.122.185 metric 100验证互联网连接是否可用:
localhost:~ # ping google.com
PING google.com (142.250.72.78) 56(84) bytes of data.
64 bytes from den16s09-in-f14.1e100.net (142.250.72.78): icmp_seq=1 ttl=56 time=13.6 ms
64 bytes from den16s09-in-f14.1e100.net (142.250.72.78): icmp_seq=2 ttl=56 time=13.6 ms
^C
--- google.com ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 13.592/13.599/13.606/0.007 ms验证以太网接口是否使用我们的连接文件进行了静态配置且处于活动状态:
localhost:~ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
link/ether 52:54:00:31:d0:1b brd ff:ff:ff:ff:ff:ff
altname enp0s2
altname ens2
inet 192.168.122.185/24 brd 192.168.122.255 scope global dynamic noprefixroute eth0
localhost:~ # nmcli -f NAME,UUID,TYPE,DEVICE,FILENAME con show
NAME UUID TYPE DEVICE FILENAME
eth0 dfd202f5-562f-5f07-8f2a-a7717756fb70 ethernet eth0 /etc/NetworkManager/system-connections/eth0.nmconnection
localhost:~ # cat /etc/NetworkManager/system-connections/eth0.nmconnection
[connection]
autoconnect=true
autoconnect-slaves=-1
autoconnect-retries=1
id=eth0
interface-name=eth0
type=802-3-ethernet
uuid=dfd202f5-562f-5f07-8f2a-a7717756fb70
wait-device-timeout=60000
[ipv4]
dhcp-timeout=2147483647
method=auto
[ipv6]
addr-gen-mode=eui64
dhcp-timeout=2147483647
method=disabled14 RKE2 #
请参阅 RKE2 官方文档。
RKE2 是一款完全合规的 Kubernetes 发行版,通过以下方式专注于安全性和合规性:
提供默认设置和配置选项,使集群在仅需最小化运维干预的情况下即可通过 CIS Kubernetes Benchmark v1.6 或 v1.23
启用 FIPS 140-2 合规性
在 RKE2 构建流水线中使用 trivy 定期扫描组件的 CVE
RKE2 将控制平面组件作为静态 Pod 启动,并由 kubelet 管理。内置的容器运行时是 containerd。
注意:RKE2 也被称为 RKE Government,以传达其目前针对的另一个用例和领域。
14.1 RKE2 vs K3s #
K3s 是一款完全合规且轻量级的 Kubernetes 发行版,专注于边缘计算、物联网和 ARM 架构,针对易用性和资源受限的环境进行了优化。
RKE2 结合了 RKE 1.x 版本(以下简称 RKE1)和 K3s 的优点。
它继承了 K3s 的可用性、易操作性和部署模型。
它继承了 RKE1 与上游 Kubernetes 的紧密一致性。在某些方面,K3s 为了优化边缘部署而偏离了上游 Kubernetes,但 RKE1 和 RKE2 可以与上游保持高度一致。
14.2 SUSE Telco Cloud 如何使用 RKE2? #
RKE2 是 SUSE Telco Cloud 技术栈的基础组成部分。它位于SUSE Linux Micro (第 10 章 “SUSE Linux Micro”)之上,提供部署边缘工作负载所需的标准 Kubernetes 接口。
14.3 最佳实践 #
14.3.1 安装 #
将 RKE2 作为 SUSE Telco Cloud 技术栈的一部分进行安装的推荐方法是使用 Edge Image Builder (EIB)。有关如何配置它以部署 RKE2 的更多详细信息,请参阅EIB 文档 (第 12 章 “Edge Image Builder”)。
EIB 非常灵活,足以支持 RKE2 所需的任何参数,例如指定 RKE2 版本、 服务器或 代理配置,涵盖了所有边缘用例。
对于涉及 Metal3 的其他用例,RKE2 也正在被使用和安装。在这些特定情况下, Cluster API Provider RKE2 会自动在使用边缘堆栈通过 Metal3 配置的集群上部署 RKE2。
在这些情况下,必须在所涉及的不同 CRD 上应用 RKE2 配置。关于如何使用 RKE2ControlPlane CRD 提供不同 CNI 的示例如下:
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: single-node-cluster
namespace: default
spec:
serverConfig:
cni: calico
cniMultusEnable: true
...有关 Metal3 用例的更多信息,请参阅 第 11 章 “Metal3”。
14.3.2 高可用性 #
对于高可用性部署,EIB 会自动部署并配置 MetalLB (第 17 章 “MetalLB”) 和 Endpoint Copier Operator (第 18 章 “端点复制器操作员”),以在外部公开 RKE2 API 端点。
14.3.3 网络 #
SUSE Telco Cloud 堆栈支持 Cilium、 Calico,并以 Cilium 作为其默认 CNI。当 Pod 需要多个网络接口时,也可以使用 Multus元插件。RKE2 独立版支持 更广泛的 CNI 选项。
14.3.4 存储 #
RKE2 不提供任何类型的持久存储类或操作器。对于跨多个节点的集群,建议使用SUSE Storage (第 15 章 “SUSE Storage”)。
15 SUSE Storage #
SUSE Storage 是适用于 Kubernetes 的轻量级、可靠且易于使用的分布式块存储系统。它是一款基于 Longhorn 的产品,Longhorn 是最初由 Rancher Labs 开发并目前在 CNCF 下孵化的开源项目。
15.1 先决条件 #
如果您正在阅读本指南,则假定您已具备以下条件:
至少安装有一台 SUSE Linux Micro 6.2 的主机;可以是物理机或虚拟机
已安装 Kubernetes 集群;K3s 或 RKE2 均可
Helm
15.2 手动安装 SUSE Storage #
15.2.1 安装 Open-iSCSI #
部署和使用 SUSE Storage 的核心要求是在所有 Kubernetes 节点上安装 open-iscsi 软件包并运行 iscsid 守护程序。
这是必要的,因为 Longhorn 依赖主机上的 iscsiadm 来为 Kubernetes 提供持久卷。
让我们安装它:
transactional-update pkg install open-iscsi需要注意的是,操作完成后,由于 SUSE Linux Micro 是不可变操作系统,该软件包仅安装到新的快照中。
为了加载它并使 iscsid 守护程序开始运行,我们必须重启进入刚才创建的新快照。
准备好后,发出重启命令:
reboot15.2.2 安装 SUSE Storage #
有几种方法可以在您的 Kubernetes 集群上安装 SUSE Storage。 本指南将介绍 Helm 安装方式,但如果您希望使用其他方法,请随时参考 官方文档。
从SUSE Telco Cloud 3.7开始,建议对新卷使用 V2 数据引擎。 在启用它之前,请准备所需的块设备并查看 第 66 章 “SUSE Storage V2 Data Engine”。
登录 Rancher 应用合集:
helm registry login dp.apps.rancher.io --username $APPS.RANCHER.IO_USERNAME --password $APPS.RANCHER.IO_ACCESS_TOKEN在
longhorn-system名称空间中安装 SUSE Storage 并添加您的容器镜像仓库凭据:helm install longhorn oci://dp.apps.rancher.io/charts/suse-storage \ --version 1.12.1 \ --namespace longhorn-system \ --create-namespace \ --set privateRegistry.createSecret=true \ --set privateRegistry.registryUrl=dp.apps.rancher.io \ --set privateRegistry.registryUser=$APPS.RANCHER.IO_USERNAME \ --set privateRegistry.registryPasswd=$APPS.RANCHER.IO_ACCESS_TOKEN \ --set privateRegistry.registrySecret=application-collection \ --set defaultSettings.v1DataEngine=false \ --set defaultSettings.v2DataEngine=true \ --set persistence.dataEngine=v2确认部署成功:
kubectl -n longhorn-system get podslocalhost:~ # kubectl -n longhorn-system get pods NAME READY STATUS RESTARTS AGE csi-attacher-7656559cf4-pkhh6 1/1 Running 0 103s csi-attacher-7656559cf4-pnzw5 1/1 Running 0 103s csi-attacher-7656559cf4-z94mm 1/1 Running 0 103s csi-provisioner-6d9cf6456d-kcwtq 1/1 Running 0 103s csi-provisioner-6d9cf6456d-mvvml 1/1 Running 0 103s csi-provisioner-6d9cf6456d-q4f88 1/1 Running 0 103s csi-resizer-f587cd467-clr2n 1/1 Running 0 103s csi-resizer-f587cd467-z28v4 1/1 Running 0 103s csi-resizer-f587cd467-zxmtx 1/1 Running 0 103s csi-snapshotter-6dcdf78684-757mg 1/1 Running 0 103s csi-snapshotter-6dcdf78684-8ktgc 1/1 Running 0 103s csi-snapshotter-6dcdf78684-ffsqr 1/1 Running 0 103s engine-image-ei-099f845a-lvdtr 1/1 Running 0 2m21s instance-manager-4adffddaffe02374cd5635b8a6113de7 1/1 Running 0 111s longhorn-csi-plugin-w7pwr 3/3 Running 0 103s longhorn-driver-deployer-6886fb84bc-wm9h6 1/1 Running 2 (2m32s ago) 2m45s longhorn-manager-zblbl 2/2 Running 0 2m45s longhorn-ui-6bcc65d4bd-mcn6r 1/1 Running 0 2m45s longhorn-ui-6bcc65d4bd-rwf97 1/1 Running 0 2m45s
15.3 创建 SUSE Storage 卷 #
SUSE Storage 利用名为 StorageClass 的 Kubernetes 资源,以便为 Pod 自动配置 PersistentVolume 对象。
可以将 StorageClass 视为管理员描述其提供的存储 类 或 控制文件 的一种方式。
以下示例将创建 V2 StorageClass。
必须按照 第 66 章 “SUSE Storage V2 Data Engine” 中的说明配置 V2 数据引擎和可调度的块磁盘。
kubectl apply -f - <<EOF
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: longhorn-v2-example
provisioner: driver.longhorn.io
allowVolumeExpansion: true
parameters:
dataEngine: "v2"
numberOfReplicas: "3"
staleReplicaTimeout: "2880" # 48 hours in minutes
fromBackup: ""
fsType: "ext4"
EOF现在我们已经有了 StorageClass,我们需要一个引用它的 PersistentVolumeClaim。
PersistentVolumeClaim (PVC) 是用户对存储的请求。PVC 会消耗 PersistentVolume 资源。
声明可以请求特定的存储大小和访问模式(例如,可以一次以读/写模式挂载,或多次以只读模式挂载)。
让我们创建一个 PersistentVolumeClaim:
kubectl apply -f - <<EOF
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: longhorn-volv-pvc
namespace: longhorn-system
spec:
accessModes:
- ReadWriteOnce
storageClassName: longhorn-v2-example
resources:
requests:
storage: 2Gi
EOF就是这样!一旦创建了 PersistentVolumeClaim,我们就可以继续将其附加到 Pod。
当 Pod 部署完成后,Kubernetes 会创建 Longhorn 卷,并在存储可用时将其绑定到 Pod。
kubectl apply -f - <<EOF
apiVersion: v1
kind: Pod
metadata:
name: volume-test
namespace: longhorn-system
spec:
containers:
- name: volume-test
image: nginx:stable-alpine
imagePullPolicy: IfNotPresent
volumeMounts:
- name: volv
mountPath: /data
ports:
- containerPort: 80
volumes:
- name: volv
persistentVolumeClaim:
claimName: longhorn-volv-pvc
EOF在此示例中,结果应如下所示:
localhost:~ # kubectl get storageclass
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE
longhorn (default) driver.longhorn.io Delete Immediate true 12m
longhorn-v2-example driver.longhorn.io Delete Immediate true 24s
localhost:~ # kubectl get pvc -n longhorn-system
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
longhorn-volv-pvc Bound pvc-f663a92e-ac32-49ae-b8e5-8a6cc29a7d1e 2Gi RWO longhorn-v2-example 54s
localhost:~ # kubectl get pods -n longhorn-system
NAME READY STATUS RESTARTS AGE
csi-attacher-5c4bfdcf59-qmjtz 1/1 Running 0 14m
csi-attacher-5c4bfdcf59-s7n65 1/1 Running 0 14m
csi-attacher-5c4bfdcf59-w9xgs 1/1 Running 0 14m
csi-provisioner-667796df57-fmz2d 1/1 Running 0 14m
csi-provisioner-667796df57-p7rjr 1/1 Running 0 14m
csi-provisioner-667796df57-w9fdq 1/1 Running 0 14m
csi-resizer-694f8f5f64-2rb8v 1/1 Running 0 14m
csi-resizer-694f8f5f64-z9v9x 1/1 Running 0 14m
csi-resizer-694f8f5f64-zlncz 1/1 Running 0 14m
csi-snapshotter-959b69d4b-5dpvj 1/1 Running 0 14m
csi-snapshotter-959b69d4b-lwwkv 1/1 Running 0 14m
csi-snapshotter-959b69d4b-tzhwc 1/1 Running 0 14m
engine-image-ei-5cefaf2b-hvdv5 1/1 Running 0 14m
instance-manager-0ee452a2e9583753e35ad00602250c5b 1/1 Running 0 14m
longhorn-csi-plugin-gd2jx 3/3 Running 0 14m
longhorn-driver-deployer-9f4fc86-j6h2b 1/1 Running 0 15m
longhorn-manager-z4lnl 1/1 Running 0 15m
longhorn-ui-5f4b7bbf69-bln7h 1/1 Running 3 (14m ago) 15m
longhorn-ui-5f4b7bbf69-lh97n 1/1 Running 3 (14m ago) 15m
volume-test 1/1 Running 0 26s15.4 访问 UI #
如果您使用 kubectl 或 Helm 安装了 SUSE Storage,则需要设置 Ingress 控制器以允许外部流量进入集群。默认情况下未启用身份验证。如果使用了 Rancher 应用合集,Rancher 会自动创建一个带有访问控制(rancher-proxy)的 Ingress 控制器。
获取 Longhorn 的外部服务 IP 地址:
kubectl -n longhorn-system get svc获取
longhorn-frontendIP 地址后,您可以通过在浏览器中导航至该地址来开始使用 UI。
15.5 使用 Edge Image Builder 进行安装 #
SUSE Telco Cloud 正在使用 第 12 章 “Edge Image Builder” 来定制基础 SUSE Linux Micro OS 镜像。 我们将演示如何执行此操作,以便在其上部署带有 SUSE Storage 的 RKE2 集群。
让我们创建定义文件:
export CONFIG_DIR=$HOME/eib
mkdir -p $CONFIG_DIR
cat << EOF > $CONFIG_DIR/iso-definition.yaml
apiVersion: 1.3
image:
imageType: iso
baseImage: SL-Micro.x86_64-6.2-Base-SelfInstall-GM.install.iso
arch: x86_64
outputImageName: eib-image.iso
kubernetes:
version: v1.36.3+rke2r1
helm:
charts:
- name: suse-storage
releaseName: longhorn
version: 1.12.1
repositoryName: rancher-application-collection
targetNamespace: longhorn-system
createNamespace: true
installationNamespace: kube-system
repositories:
- name: rancher-application-collection
url: oci://dp.apps.rancher.io/charts
authentication:
username: $APPS.RANCHER.IO_USERNAME
password: $APPS.RANCHER.IO_ACCESS_TOKEN
embeddedArtifactRegistry:
registries:
- uri: dp.apps.rancher.io
authentication:
username: $APPS.RANCHER.IO_USERNAME
password: $APPS.RANCHER.IO_ACCESS_TOKEN
images:
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-attacher:4.12.0-17.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-provisioner:5.3.0-17.8
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-resizer:2.2.1-10.8
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-snapshotter:8.6.0-17.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-livenessprobe:2.19.0-17.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-node-driver-registrar:2.17.0-17.6
- name: dp.apps.rancher.io/containers/longhorn-backing-image-manager:1.12.1-1.5
- name: dp.apps.rancher.io/containers/longhorn-engine:1.12.1-1.6
- name: dp.apps.rancher.io/containers/longhorn-instance-manager:1.12.1-1.7
- name: dp.apps.rancher.io/containers/longhorn-manager:1.12.1-1.5
- name: dp.apps.rancher.io/containers/longhorn-share-manager:1.12.1-1.5
- name: dp.apps.rancher.io/containers/longhorn-ui:1.12.1-1.3
- name: dp.apps.rancher.io/containers/rancher-support-bundle-kit:0.0.92-13.12
operatingSystem:
packages:
sccRegistrationCode: <reg-code>
packageList:
- open-iscsi
users:
- username: root
encryptedPassword: \$6\$jHugJNNd3HElGsUZ\$eodjVe4te5ps44SVcWshdfWizrP.xAyd71CVEXazBJ/.v799/WRCBXxfYmunlBO2yp1hm/zb4r8EmnrrNCF.P/
EOF可以通过 helm.charts[].valuesFile 下提供的单独文件来自定义任何 Helm chart 值。
请参考 上游文档 以获取详细信息。
要使用 V2 数据引擎,请包含 V2 值并确保按照 第 66 章 “SUSE Storage V2 Data Engine” 中的说明准备并注册所需的原始块设备。
让我们构建镜像:
podman run --rm --privileged -it -v $CONFIG_DIR:/eib registry.suse.com/edge/3.7/edge-image-builder:1.3.4 build --definition-file $CONFIG_DIR/iso-definition.yaml镜像构建完成后,您可以使用它在物理主机或虚拟机上安装操作系统。
配置完成后,您可以使用 root:eib 所提供的凭据登录系统。
确保 SUSE Storage 已成功部署:
localhost:~ # /var/lib/rancher/rke2/bin/kubectl --kubeconfig /etc/rancher/rke2/rke2.yaml -n longhorn-system get pods
NAME READY STATUS RESTARTS AGE
csi-attacher-5c4bfdcf59-qmjtz 1/1 Running 0 103s
csi-attacher-5c4bfdcf59-s7n65 1/1 Running 0 103s
csi-attacher-5c4bfdcf59-w9xgs 1/1 Running 0 103s
csi-provisioner-667796df57-fmz2d 1/1 Running 0 103s
csi-provisioner-667796df57-p7rjr 1/1 Running 0 103s
csi-provisioner-667796df57-w9fdq 1/1 Running 0 103s
csi-resizer-694f8f5f64-2rb8v 1/1 Running 0 103s
csi-resizer-694f8f5f64-z9v9x 1/1 Running 0 103s
csi-resizer-694f8f5f64-zlncz 1/1 Running 0 103s
csi-snapshotter-959b69d4b-5dpvj 1/1 Running 0 103s
csi-snapshotter-959b69d4b-lwwkv 1/1 Running 0 103s
csi-snapshotter-959b69d4b-tzhwc 1/1 Running 0 103s
engine-image-ei-5cefaf2b-hvdv5 1/1 Running 0 109s
instance-manager-0ee452a2e9583753e35ad00602250c5b 1/1 Running 0 109s
longhorn-csi-plugin-gd2jx 3/3 Running 0 103s
longhorn-driver-deployer-9f4fc86-j6h2b 1/1 Running 0 2m28s
longhorn-manager-z4lnl 1/1 Running 0 2m28s
longhorn-ui-5f4b7bbf69-bln7h 1/1 Running 3 (2m7s ago) 2m28s
longhorn-ui-5f4b7bbf69-lh97n 1/1 Running 3 (2m10s ago) 2m28s16 SUSE Security #
SUSE Security 是一款适用于 Kubernetes 的安全解决方案,它在一个统一的软件包中提供 L7 网络安全、运行时安全、供应链安全和合规性检查。
SUSE Security 是一款以多个容器组成的平台形式部署的安全产品,每个容器通过各种端口和接口进行通信。在底层,它使用 NeuVector 作为其基础容器安全组件。SUSE Security 平台由以下容器组成:
Manager。一个提供基于 Web 的控制台的无状态容器。通常只需要一个,并且可以在任何地方运行。Manager 的故障不会影响控制器或 Enforcer 的任何操作。但是,某些通知(事件)和最近的连接数据由 Manager 缓存在内存中,因此查看这些数据会受到影响。
控制器。SUSE Security 的“控制平面”必须部署在高可用性 (HA) 配置中,以确保在节点故障时不会丢失配置。它们可以在任何地方运行,尽管客户通常因为其关键性而选择将它们放置在“管理”、主节点或基础架构节点上。
Enforcer。此容器作为 DaemonSet 部署,因此每个要保护的节点上都有一个 Enforcer。通常部署到每个工作节点,但也可以启用主节点和基础架构节点的调度以将其部署到这些节点上。注意:如果 Enforcer 不在集群节点上,并且连接来自该节点上的 Pod,SUSE Security 会将其标记为“非托管”工作负载。
扫描程序。在控制器的指导下,使用内置的 CVE 数据库执行漏洞扫描。可以部署多个扫描程序以提高扫描容量。扫描程序可以在任何地方运行,但通常在控制器运行的节点上运行。有关扫描程序节点的规模调整注意事项,请参见下文。当用于构建阶段扫描时,扫描程序也可以独立调用,例如在触发扫描、检索结果并停止扫描程序的流水线中。扫描程序包含最新的 CVE 数据库,因此应每天更新。
更新程序。当需要更新 CVE 数据库时,更新程序会通过 Kubernetes 定时任务触发扫描程序的更新。请务必针对您的环境进行配置。
更深入的 SUSE Security 入门和最佳实践文档可以在 这里找到。
16.1 SUSE Telco Cloud 如何使用 SUSE Security? #
SUSE Telco Cloud 为边缘部署提供了一个更精简的 SUSE Security 配置作为起点。
16.2 重要注意事项 #
Scanner容器必须有足够的内存,以便将要扫描的镜像拉取到内存中并展开。要扫描超过 1 GB 的镜像,请将扫描程序的内存增加到略高于预期最大镜像大小的值。在保护模式下预计会有大量的网络连接。
Enforcer在保护(内联防火墙拦截)模式下需要处理器和内存来保持和检查连接以及可能的有效负载(DLP)。增加内存并为Enforcer专用一个处理器核心可以确保足够的包过滤能力。
16.3 使用 Edge Image Builder 进行安装 #
SUSE Telco Cloud 正在使用 第 12 章 “Edge Image Builder” 以自定义基础 SUSE Linux Micro OS 镜像。 请遵循 第 64.7 节 “SUSE Security 安装” 以在 EIB 配置的 Kubernetes 集群之上进行 SUSE Security 的隔离的安装。
17 MetalLB #
请参阅 MetalLB 官方文档。
MetalLB 是一种用于裸机 Kubernetes 集群的负载均衡器实现,使用标准路由协议。
在裸机环境中,设置网络负载均衡器比在云环境中要复杂得多。与云设置中简单的 API 调用不同,裸机需要专用网络设备或负载均衡器与虚拟 IP (VIP) 配置的组合,以管理高可用性 (HA) 或解决单节点负载均衡器中固有的潜在单点故障 (SPOF) 问题。这些配置不易自动化,给组件动态扩缩容的 Kubernetes 部署带来了挑战。
MetalLB 通过利用 Kubernetes 模型来创建 LoadBalancer 类型服务,从而解决了这些挑战,即使在裸机设置中也能像在云环境中一样运行。
有两种不同的方法,通过 L2 模式(使用 ARP 技巧)或通过 BGP。主要是 L2 不需要任何特殊的网络设备,但 BGP 通常更好。这取决于使用场景。
17.1 SUSE Telco Cloud 如何使用 MetalLB? #
SUSE Telco Cloud 以三种关键方式使用 MetalLB:
作为负载均衡器解决方案:MetalLB 用作裸机的负载均衡解决方案。
对于 HA K3s/RKE2 设置:MetalLB 允许使用虚拟 IP 地址对 Kubernetes API 进行负载均衡。
作为一种L3 BGP解决方案,MetalLB将服务IP的路由通告给附近的路由器。
为了能够暴露 API,使用Endpoint Copier Operator (第 18 章 “端点复制器操作员”)将K8s API端点从`kubernetes`服务同步到`kubernetes-vip` LoadBalancer服务。
17.2 最佳实践 #
L2模式下MetalLB的安装在第 61 章 “K3s 上的 MetalLB(使用层 2 模式)”中描述,L3模式的安装在第 62 章 “K3s 上的 MetalLB(使用层 3 模式)”中描述。
关于在`kube-api-server`前端安装 MetalLB 以实现高可用性拓扑的指南,可以在第 63 章 “Kubernetes API 服务器前的 MetalLB”中找到。
17.3 已知问题 #
K3s自带其名为`Klipper`的负载均衡器解决方案。要使用MetalLB,必须禁用`Klipper`。这可以通过使用`--disable servicelb`选项启动K3s服务器来完成,如 K3s文档中所述。
18 端点复制器操作员 #
端点复制器操作员 是一个 Kubernetes 操作员,其目的是创建 Kubernetes 服务和端点的副本并保持它们同步。
18.1 SUSE Telco Cloud 如何使用端点复制器操作员? #
在 SUSE Telco Cloud,端点复制器操作员在实现 K3s/RKE2 集群的高可用性设置方面发挥着至关重要的作用。这是通过创建一个 kubernetes-vip 类型为 LoadBalancer 的服务来实现的,确保其端点与 Kubernetes 端点保持持续同步。利用 MetalLB (第 17 章 “MetalLB”) 来管理 kubernetes-vip 服务,因为从其他节点加入集群时会使用暴露的 IP 地址。
18.2 最佳实践 #
有关使用端点复制器操作员的完整文档可以在 此处 找到。
此外,请参阅 我们的指南 (第 61 章 “K3s 上的 MetalLB(使用层 2 模式)”),了解如何使用端点复制器操作员和 MetalLB 实现 K3s/RKE2 高可用性设置。
18.3 已知问题 #
目前,端点复制器操作员仅限于处理一个服务/端点。未来计划进行增强以支持多个服务/端点。
19 边缘虚拟化 #
本节介绍如何使用边缘虚拟化在边缘节点上运行虚拟机。边缘虚拟化专为轻量级虚拟化用例而设计,旨在利用通用的工作流程来部署和管理虚拟化及容器化应用程序。
SUSE Telco Cloud 虚拟化支持两种运行虚拟机的方法:
通过 libvirt+qemu-kvm 在主机级别手动部署虚拟机(不涉及 Kubernetes)
部署 KubeVirt 操作器以实现基于 Kubernetes 的虚拟机管理
这两种选项均有效,但下文仅介绍第二种。如果您想使用 SUSE Linux Micro 提供的标准开箱即用虚拟化机制,可以在 此处 找到综合指南,虽然它主要是为 SUSE Linux Enterprise Server 编写的,但其概念几乎相同。
本指南首先说明如何将额外的虚拟化组件部署到已预先部署的系统上,随后介绍如何通过 Edge Image Builder 将此配置嵌入到初始部署中。如果您不想了解基础知识并手动进行设置,请直接跳至该部分。
19.1 KubeVirt 概述 #
KubeVirt 允许在 Kubernetes 中与您的其他容器化工作负载一起管理虚拟机。它通过在容器中运行 Linux 虚拟化堆栈的用户空间部分来实现这一点。这最大限度地减少了对主机系统的要求,从而简化了设置和管理。
有关 KubeVirt 架构的详细信息,请参阅 上游文档。
19.2 先决条件 #
如果您正在遵循本指南,我们假设您已具备以下条件:
19.3 手动安装边缘虚拟化 #
本指南不会引导您完成 Kubernetes 的部署,但它假设您已经安装了 SUSE Telco Cloud 对应版本的 K3s 或 RKE2,并且您已相应地配置了 kubeconfig,以便可以以超级用户身份执行标准的 kubectl 命令。我们假设您的节点构成一个单节点集群,尽管对于多节点部署,预计不会有重大差异。
SUSE Telco Cloud 虚拟化通过三个独立的 Helm chart 进行部署,具体如下:
KubeVirt:核心虚拟化组件,即启用 Kubernetes 部署和管理虚拟机所需的 Kubernetes CRDs、Operator 和其他组件。
KubeVirt Dashboard Extension:一个可选的 Rancher UI 扩展,允许进行基本的虚拟机管理,例如启动/停止虚拟机以及访问控制台。
Containerized Data Importer (CDI):一个额外的组件,为 KubeVirt 启用持久存储集成,使虚拟机能够使用现有的 Kubernetes 存储后端来存储数据,同时也允许用户为虚拟机导入或克隆数据卷。
这些 Helm chart 中的每一个都根据您当前使用的 SUSE Telco Cloud 版本进行版本控制。对于生产/受支持的使用场景,请使用可在 SUSE Registry 中找到的制品。
首先,确保您的 kubectl 访问正常:
$ kubectl get nodes这应该显示类似于以下内容:
NAME STATUS ROLES AGE VERSION
node1.edge.rdo.wales Ready control-plane,etcd,master 4h20m v1.30.5+rke2r1
node2.edge.rdo.wales Ready control-plane,etcd,master 4h15m v1.30.5+rke2r1
node3.edge.rdo.wales Ready control-plane,etcd,master 4h15m v1.30.5+rke2r1现在,您可以继续安装 KubeVirt 和 Containerized Data Importer (CDI) Helm chart:
$ helm install kubevirt oci://registry.suse.com/edge/charts/kubevirt --namespace kubevirt-system --create-namespace
$ helm install cdi oci://registry.suse.com/edge/charts/cdi --namespace cdi-system --create-namespace几分钟后,您应该就部署好了所有 KubeVirt 和 CDI 组件。您可以通过检查 kubevirt-system 和 cdi-system 名称空间中所有已部署的资源来验证这一点。
验证 KubeVirt 资源:
$ kubectl get all -n kubevirt-system这应该显示类似于以下内容:
NAME READY STATUS RESTARTS AGE
pod/virt-operator-5fbcf48d58-p7xpm 1/1 Running 0 2m24s
pod/virt-operator-5fbcf48d58-wnf6s 1/1 Running 0 2m24s
pod/virt-handler-t594x 1/1 Running 0 93s
pod/virt-controller-5f84c69884-cwjvd 1/1 Running 1 (64s ago) 93s
pod/virt-controller-5f84c69884-xxw6q 1/1 Running 1 (64s ago) 93s
pod/virt-api-7dfc54cf95-v8kcl 1/1 Running 1 (59s ago) 118s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubevirt-prometheus-metrics ClusterIP None <none> 443/TCP 2m1s
service/virt-api ClusterIP 10.43.56.140 <none> 443/TCP 2m1s
service/kubevirt-operator-webhook ClusterIP 10.43.201.121 <none> 443/TCP 2m1s
service/virt-exportproxy ClusterIP 10.43.83.23 <none> 443/TCP 2m1s
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
daemonset.apps/virt-handler 1 1 1 1 1 kubernetes.io/os=linux 93s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/virt-operator 2/2 2 2 2m24s
deployment.apps/virt-controller 2/2 2 2 93s
deployment.apps/virt-api 1/1 1 1 118s
NAME DESIRED CURRENT READY AGE
replicaset.apps/virt-operator-5fbcf48d58 2 2 2 2m24s
replicaset.apps/virt-controller-5f84c69884 2 2 2 93s
replicaset.apps/virt-api-7dfc54cf95 1 1 1 118s
NAME AGE PHASE
kubevirt.kubevirt.io/kubevirt 2m24s Deployed验证 CDI 资源:
$ kubectl get all -n cdi-system这应该显示类似于以下内容:
NAME READY STATUS RESTARTS AGE
pod/cdi-operator-55c74f4b86-692xb 1/1 Running 0 2m24s
pod/cdi-apiserver-db465b888-62lvr 1/1 Running 0 2m21s
pod/cdi-deployment-56c7d74995-mgkfn 1/1 Running 0 2m21s
pod/cdi-uploadproxy-7d7b94b968-6kxc2 1/1 Running 0 2m22s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/cdi-uploadproxy ClusterIP 10.43.117.7 <none> 443/TCP 2m22s
service/cdi-api ClusterIP 10.43.20.101 <none> 443/TCP 2m22s
service/cdi-prometheus-metrics ClusterIP 10.43.39.153 <none> 8080/TCP 2m21s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/cdi-operator 1/1 1 1 2m24s
deployment.apps/cdi-apiserver 1/1 1 1 2m22s
deployment.apps/cdi-deployment 1/1 1 1 2m21s
deployment.apps/cdi-uploadproxy 1/1 1 1 2m22s
NAME DESIRED CURRENT READY AGE
replicaset.apps/cdi-operator-55c74f4b86 1 1 1 2m24s
replicaset.apps/cdi-apiserver-db465b888 1 1 1 2m21s
replicaset.apps/cdi-deployment-56c7d74995 1 1 1 2m21s
replicaset.apps/cdi-uploadproxy-7d7b94b968 1 1 1 2m22s要验证 VirtualMachine 自定义资源定义 (CRD) 是否已部署,您可以使用以下命令进行验证:
$ kubectl explain virtualmachine这应该会打印出 VirtualMachine 对象的定义,其打印结果如下:
GROUP: kubevirt.io
KIND: VirtualMachine
VERSION: v1
DESCRIPTION:
VirtualMachine handles the VirtualMachines that are not running or are in a
stopped state The VirtualMachine contains the template to create the
VirtualMachineInstance. It also mirrors the running state of the created
VirtualMachineInstance in its status.
(snip)19.4 部署虚拟机 #
现在 KubeVirt 和 CDI 已经部署完毕,让我们定义一个基于 openSUSE Tumbleweed 的简单虚拟机。此虚拟机具有最简单的配置,使用标准的“pod 网络”来实现与任何其他 pod 相同的网络配置。它还采用了非持久性存储,确保存储是临时的,就像任何没有 PVC 的容器一样。
$ cat <<EOF > user-data.yaml
#cloud-config
disable_root: false
ssh_pwauth: True
users:
- default
- name: suse
groups: sudo
shell: /bin/bash
sudo: ALL=(ALL) NOPASSWD:ALL
lock_passwd: False
plain_text_passwd: 'suse'
EOF
$ kubectl apply -f - <<EOF
apiVersion: kubevirt.io/v1
kind: VirtualMachine
metadata:
name: tumbleweed
namespace: default
spec:
runStrategy: Always
template:
spec:
domain:
devices: {}
machine:
type: q35
memory:
guest: 2Gi
resources: {}
volumes:
- containerDisk:
image: quay.io/containerdisks/opensuse-tumbleweed:1.0.0
name: tumbleweed-containerdisk-0
- cloudInitNoCloud:
userDataBase64: $(cat user-data.yaml | base64 -w 0)
name: cloudinitdisk
EOF这应该会打印出已创建 VirtualMachine 的信息:
virtualmachine.kubevirt.io/tumbleweed created此 VirtualMachine 定义非常简单,几乎没有指定任何配置。它只是简单地概述了它是一种内存为 2 GB 的“ q35”机器类型,使用基于临时 containerDisk 的磁盘镜像(即存储在远程镜像仓库的容器镜像中的磁盘镜像),并指定了一个 base64 编码的 cloudInit 磁盘,我们仅将其用于在启动时创建用户和强制执行密码(使用 base64 -d 进行解码)。
注意此虚拟机镜像仅用于测试。该镜像不受官方支持,仅作为文档示例。
这台机器需要几分钟才能启动,因为它需要下载 openSUSE Tumbleweed 磁盘镜像,但一旦下载完成,您可以通过查看虚拟机信息来了解有关该虚拟机的更多详细信息:
$ kubectl get vmi这应该会打印出启动该虚拟机的节点以及该虚拟机的 IP 地址。请记住,由于它使用 pod 网络,报告的 IP 地址将与任何其他 pod 一样,并且可以进行相应的路由:
NAME AGE PHASE IP NODENAME READY
tumbleweed 4m24s Running 10.42.2.98 node3.edge.rdo.wales True当在 Kubernetes 集群节点本身上运行这些命令,且 CNI 将流量直接路由到 pod(例如 Cilium)时,您应该能够直接 ssh 到机器本身。将以下 IP 地址替换为您分配给虚拟机的 IP 地址:
$ ssh suse@10.42.2.98
(password is "suse")进入此虚拟机后,您可以随意操作,但请记住它的资源有限,且仅有 1 GB 磁盘空间。完成后,Ctrl-D 或 exit 以断开 SSH 会话。
虚拟机进程仍然封装在标准的 Kubernetes pod 中。VirtualMachine CRD 是所需虚拟机的表示,但实际启动虚拟机的过程是通过 virt-launcher pod(一个标准的 Kubernetes pod,就像任何其他应用程序一样)进行的。对于启动的每个虚拟机,您可以看到有一个 virt-launcher pod:
$ kubectl get pods这应该会显示我们定义的 Tumbleweed 机器的那个 virt-launcher pod:
NAME READY STATUS RESTARTS AGE
virt-launcher-tumbleweed-8gcn4 3/3 Running 0 10m如果我们查看这个 virt-launcher pod,您会发现它正在执行 libvirt 和 qemu-kvm 进程。我们可以进入 pod 本身并查看其内部,请注意您需要根据您的 pod 名称调整以下命令:
$ kubectl exec -it virt-launcher-tumbleweed-8gcn4 -- bash进入 pod 后,尝试运行 virsh 命令并查看处理。您将看到正在运行的 qemu-system-x86_64 二进制文件,以及用于监控虚拟机的某些处理。您还将看到磁盘镜像的位置以及网络是如何连接的(作为 tap 设备):
qemu@tumbleweed:/> ps ax
PID TTY STAT TIME COMMAND
1 ? Ssl 0:00 /usr/bin/virt-launcher-monitor --qemu-timeout 269s --name tumbleweed --uid b9655c11-38f7-4fa8-8f5d-bfe987dab42c --namespace default --kubevirt-share-dir /var/run/kubevirt --ephemeral-disk-dir /var/run/kubevirt-ephemeral-disks --container-disk-dir /var/run/kube
12 ? Sl 0:01 /usr/bin/virt-launcher --qemu-timeout 269s --name tumbleweed --uid b9655c11-38f7-4fa8-8f5d-bfe987dab42c --namespace default --kubevirt-share-dir /var/run/kubevirt --ephemeral-disk-dir /var/run/kubevirt-ephemeral-disks --container-disk-dir /var/run/kubevirt/con
24 ? Sl 0:00 /usr/sbin/virtlogd -f /etc/libvirt/virtlogd.conf
25 ? Sl 0:01 /usr/sbin/virtqemud -f /var/run/libvirt/virtqemud.conf
83 ? Sl 0:31 /usr/bin/qemu-system-x86_64 -name guest=default_tumbleweed,debug-threads=on -S -object {"qom-type":"secret","id":"masterKey0","format":"raw","file":"/var/run/kubevirt-private/libvirt/qemu/lib/domain-1-default_tumbleweed/master-key.aes"} -machine pc-q35-7.1,usb
286 pts/0 Ss 0:00 bash
320 pts/0 R+ 0:00 ps ax
qemu@tumbleweed:/> virsh list --all
Id Name State
------------------------------------
1 default_tumbleweed running
qemu@tumbleweed:/> virsh domblklist 1
Target Source
---------------------------------------------------------------------------------------------
sda /var/run/kubevirt-ephemeral-disks/disk-data/tumbleweed-containerdisk-0/disk.qcow2
sdb /var/run/kubevirt-ephemeral-disks/cloud-init-data/default/tumbleweed/noCloud.iso
qemu@tumbleweed:/> virsh domiflist 1
Interface Type Source Model MAC
------------------------------------------------------------------------------
tap0 ethernet - virtio-non-transitional e6:e9:1a:05:c0:92
qemu@tumbleweed:/> exit
exit最后,让我们删除此虚拟机以进行清理:
$ kubectl delete vm/tumbleweed
virtualmachine.kubevirt.io "tumbleweed" deleted19.5 使用 virtctl #
除了标准的 Kubernetes CLI 工具(即 kubectl)外,KubeVirt 还附带了一个 CLI 实用程序,它允许您以一种弥合虚拟化世界与 Kubernetes 设计初衷之间的某些差距的方式与集群进行交互。例如,virtctl 工具提供了管理虚拟机生命周期(启动、停止、重启等)、提供对虚拟控制台的访问、上传虚拟机镜像以及与 Kubernetes 结构(如服务)进行交互的功能,而无需直接使用 API 或 CRD。
让我们下载 virtctl 工具的最新稳定版本:
$ export VERSION=v1.8.3
$ wget https://github.com/kubevirt/kubevirt/releases/download/$VERSION/virtctl-$VERSION-linux-amd64如果您使用的是不同的架构或非 Linux 机器,可以在 此处找到其他版本。在继续之前,您需要使其可执行,将其移动到`$PATH`中的某个位置可能会很有用:
$ mv virtctl-$VERSION-linux-amd64 /usr/local/bin/virtctl
$ chmod a+x /usr/local/bin/virtctl然后,您可以使用 virtctl 命令行工具来创建虚拟机。让我们复制之前的虚拟机,注意我们将输出直接通过管道传输到`kubectl apply`:
$ cat <<EOF > user-data.yaml
#cloud-config
disable_root: false
ssh_pwauth: True
users:
- default
- name: suse
groups: sudo
shell: /bin/bash
sudo: ALL=(ALL) NOPASSWD:ALL
lock_passwd: False
plain_text_passwd: 'suse'
EOF
$ alias virtctl=echo
$ virtctl create vm --name virtctl-example --memory=1Gi \
--volume-containerdisk=src:quay.io/containerdisks/opensuse-tumbleweed:1.0.0 \
--cloud-init-user-data "$(cat user-data.yaml | base64 -w 0)"此时应该会显示虚拟机正在运行(鉴于容器镜像已被缓存,这次启动速度应该会快得多):
$ kubectl get vmi
NAME AGE PHASE IP NODENAME READY
virtctl-example 52s Running 10.42.2.29 node3.edge.rdo.wales True现在我们可以使用 virtctl 直接连接到虚拟机:
$ virtctl ssh suse@virtctl-example
(password is "suse" - Ctrl-D to exit)virtctl 还可以使用许多其他命令。例如,如果网络无法正常工作,virtctl console 可以让您访问串行控制台,并且您可以使用 virtctl guestosinfo 获取全面的操作系统信息,前提是客户机已安装并运行 qemu-guest-agent。
最后,让我们暂停并恢复虚拟机:
$ virtctl pause vm virtctl-example
VMI virtctl-example was scheduled to pause您会发现 VirtualMachine 对象显示为 Paused,而 VirtualMachineInstance 对象显示为 Running,但 READY=False:
$ kubectl get vm
NAME AGE STATUS READY
virtctl-example 8m14s Paused False
$ kubectl get vmi
NAME AGE PHASE IP NODENAME READY
virtctl-example 8m15s Running 10.42.2.29 node3.edge.rdo.wales False您还会发现无法再连接到该虚拟机:
$ virtctl ssh suse@virtctl-example
can't access VMI virtctl-example: Operation cannot be fulfilled on virtualmachineinstance.kubevirt.io "virtctl-example": VMI is paused让我们恢复虚拟机并重试:
$ virtctl unpause vm virtctl-example
VMI virtctl-example was scheduled to unpause现在我们应该能够重新建立连接:
$ virtctl ssh suse@virtctl-example
suse@vmi/virtctl-example.default's password:
suse@virtctl-example:~> exit
logout最后,让我们去除该虚拟机:
$ kubectl delete vm/virtctl-example
virtualmachine.kubevirt.io "virtctl-example" deleted19.6 简单的入口网络 #
在本节中,我们将展示如何将虚拟机作为标准 Kubernetes 服务公开,并通过 Kubernetes 入口服务使其可用,例如 Traefik with RKE2或 Traefik with K3s。本文档假设这些组件已正确配置,并且您拥有适当的 DNS 指针(例如通过通配符),指向您的 Kubernetes 服务器节点或入口虚拟 IP,以便进行正确的入口解析。
注意在 SUSE Telco Cloud 3.1+ 版本中,如果您在多服务器节点配置中使用 K3s,可能需要为 Ingress 配置基于 MetalLB 的 VIP;RKE2 则不需要这样做。
在示例环境中,部署了另一台 openSUSE Tumbleweed 虚拟机,使用 cloud-init 在启动时安装 NGINX 作为简单的 Web 服务器,并配置了一条简单的消息,以便在调用时验证其是否按预期工作。要了解具体操作,只需`base64 -d`下方输出中的 cloud-init 部分即可。
现在让我们创建这台虚拟机:
$ cat <<EOF > user-data.yaml
#cloud-config
disable_root: false
ssh_pwauth: True
users:
- default
- name: suse
groups: sudo
shell: /bin/bash
sudo: ALL=(ALL) NOPASSWD:ALL
lock_passwd: False
plain_text_passwd: 'suse'
EOF
$ kubectl apply -f - <<EOF
apiVersion: kubevirt.io/v1
kind: VirtualMachine
metadata:
name: ingress-example
namespace: default
spec:
runStrategy: Always
template:
metadata:
labels:
app: nginx
spec:
domain:
devices: {}
machine:
type: q35
memory:
guest: 2Gi
resources: {}
volumes:
- containerDisk:
image: quay.io/containerdisks/opensuse-tumbleweed:1.0.0
name: tumbleweed-containerdisk-0
- cloudInitNoCloud:
userDataBase64: $(cat user-data.yaml | base64 -w 0)
name: cloudinitdisk
EOF当该虚拟机成功启动后,我们可以使用 virtctl 命令来公开 VirtualMachineInstance,其外部端口为 8080,目标端口为 80(NGINX 默认侦听该端口)。我们在此处使用 virtctl 命令,因为它能够理解虚拟机对象与 Pod 之间的映射关系。这为我们创建了一个新服务:
$ virtctl expose vmi ingress-example --port=8080 --target-port=80 --name=ingress-example
Service ingress-example successfully exposed for vmi ingress-example然后,我们将自动创建一个相应的服务:
$ kubectl get svc/ingress-example
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
ingress-example ClusterIP 10.43.217.19 <none> 8080/TCP 9s接下来,如果您随后使用 kubectl create ingress,我们可以创建一个指向此服务的 ingress 对象。在此处调整 URL(在 ingress 对象中称为“host”),以匹配您的 DNS 配置,并确保将其指向端口 8080:
$ kubectl create ingress ingress-example --rule=ingress-example.suse.local/=ingress-example:8080在正确配置 DNS 后,您应该能够立即 curl 该 URL:
$ curl ingress-example.suse.local
It works!让我们通过去除此虚拟机及其服务和 ingress 资源来进行清理:
$ kubectl delete vm/ingress-example svc/ingress-example ingress/ingress-example
virtualmachine.kubevirt.io "ingress-example" deleted
service "ingress-example" deleted
ingress.networking.k8s.io "ingress-example" deleted19.7 使用 Rancher UI 扩展 #
SUSE Telco Cloud Virtualization 为 Rancher Manager 提供了一个 UI 扩展,支持使用 Rancher 仪表板 UI 进行基本的虚拟机管理。
19.7.1 安装 #
有关安装指南,请参阅 Rancher Dashboard Extensions (第 7 章 “Rancher 仪表板扩展”)。
19.7.2 使用 KubeVirt Rancher 仪表板扩展 #
该扩展在集群资源管理器中引入了一个新的 KubeVirt 部分。此部分将添加到任何安装了 KubeVirt 的托管集群中。
该扩展允许您直接与 KubeVirt 虚拟机资源交互,以管理虚拟机的生命周期。
19.7.2.1 创建虚拟机 #
导航至 Cluster Explorer,点击左侧导航栏中启用了 KubeVirt 的托管集群。
导航至 KubeVirt > Virtual Machines 页面,然后点击屏幕右上角的
Create from YAML。填写或粘贴虚拟机定义,然后按
Create。使用“部署虚拟机”部分中的虚拟机定义作为参考。
19.7.2.2 虚拟机操作 #
您可以使用每个虚拟机右侧 ⋮ 下拉列表中的操作菜单来执行启动、停止、暂停或软重启操作。或者,您也可以通过选择要对其执行操作的虚拟机,使用列表顶部的组操作。
执行这些操作可能会对虚拟机运行策略产生影响。 请参阅 KubeVirt 文档中的表格以了解更多详细信息。
19.7.2.3 访问虚拟机控制台 #
“虚拟机”列表提供了一个 Console 下拉列表,允许使用 VNC 或串行控制台 连接到机器。此操作仅适用于正在运行的机器。
在某些情况下,刚启动的虚拟机需要片刻时间才能访问控制台。
19.8 使用 Edge Image Builder 进行安装 #
SUSE Telco Cloud 正在使用 第 12 章 “Edge Image Builder” 来定制基础 SUSE Linux Micro OS 镜像。 请遵循 第 64.9 节 “KubeVirt 和 CDI 安装”,以便在 EIB 配置的 Kubernetes 集群之上进行 KubeVirt 和 CDI 的隔离的安装。
20 系统升级控制器 #
请参阅 系统升级控制器文档。
系统升级控制器 (SUC) 旨在提供一个通用的、Kubernetes 原生的升级控制器(针对节点)。它引入了一个新的 CRD,即 Plan,用于定义您的所有升级策略/要求。Plan 是对集群中节点进行变更的待处理意图。
20.1 SUSE Telco Cloud 如何使用系统升级控制器? #
SUSE Telco Cloud 使用 SUC 来促进与管理集群和下游集群上的操作系统及 Kubernetes 版本升级相关的各种“第 2 天”操作。
“第 2 天”操作通过 SUC Plans 定义。基于这些计划,SUC 在每个节点上部署工作负载以执行相应的“第 2 天”操作。
SUC 也用于 第 21 章 “升级控制器” 中。要了解有关 SUC 与 Upgrade Controller 之间主要区别的更多信息,请参阅 第 21.2 节 “升级控制器与系统升级控制器”。
20.2 安装系统升级控制器 #
从 Rancher v2.10.0 开始,System Upgrade Controller 会自动安装。
仅当您的环境 not 由 Rancher 管理,或者您的 Rancher 版本低于 v2.10.0 时,请遵循以下步骤 only。
我们建议您通过位于 suse-edge/fleet-examples 储存库中的 Fleet (第 9 章 “Fleet”) 安装 SUC。
suse-edge/fleet-examples 储存库提供的资源 必须 始终从有效的 fleet-examples 版本 中使用。要确定您需要使用哪个版本,请参阅 发行说明 (第 78 章 “发行说明”)。
如果您无法使用 Fleet 安装 SUC,则可以通过 Rancher 的 Helm chart 储存库进行安装,或者将 Rancher 的 Helm chart 合并到您自己的第三方 GitOps 工作流程中。
本节涵盖:
20.2.1 System Upgrade Controller Fleet 安装 #
使用 Fleet,有两种可能的资源可用于部署 SUC:
GitRepo 资源 - 适用于有外部/本地 Git 服务器可用的用例。有关安装说明,请参阅 System Upgrade Controller 安装 - GitRepo (第 20.2.1.1 节 “System Upgrade Controller 安装 - GitRepo”)。
Bundle 资源 - 适用于不支持本地 Git 服务器选项的隔离的用例。有关安装说明,请参阅 System Upgrade Controller 安装 - Bundle (第 20.2.1.2 节 “系统升级控制器安装 - Bundle”)。
20.2.1.1 System Upgrade Controller 安装 - GitRepo #
在您的 管理 集群中:
确定要在哪些集群上部署 SUC。这可以通过在您的 管理 集群上的正确 Fleet 工作区中部署 SUC
GitRepo资源来完成。默认情况下,Fleet 有两个工作区:fleet-local- 用于需要在 管理 集群上部署的资源。fleet-default- 用于需要部署在 下游 集群上的资源。有关 Fleet 工作区的更多信息,请参阅 上游 文档。
部署
GitRepo资源:要在您的管理集群上部署 SUC:
kubectl apply -n fleet-local -f - <<EOF apiVersion: fleet.cattle.io/v1alpha1 kind: GitRepo metadata: name: system-upgrade-controller spec: revision: release-3.7.0 paths: - fleets/day2/system-upgrade-controller repo: https://github.com/suse-edge/fleet-examples.git EOF要在您的下游集群上部署 SUC:
注意在部署以下资源之前,您 必须 提供有效的
targets配置,以便 Fleet 知道在哪些下游集群上部署您的资源。有关如何映射到下游集群的信息,请参阅 Mapping to Downstream Clusters。kubectl apply -n fleet-default -f - <<EOF apiVersion: fleet.cattle.io/v1alpha1 kind: GitRepo metadata: name: system-upgrade-controller spec: revision: release-3.7.0 paths: - fleets/day2/system-upgrade-controller repo: https://github.com/suse-edge/fleet-examples.git targets: - clusterSelector: CHANGEME # Example matching all clusters: # targets: # - clusterSelector: {} EOF
验证
GitRepo资源是否已部署:# Namespace will vary based on where you want to deploy SUC kubectl get gitrepo system-upgrade-controller -n <fleet-local/fleet-default> NAME REPO COMMIT BUNDLEDEPLOYMENTS-READY STATUS system-upgrade-controller https://github.com/suse-edge/fleet-examples.git release-3.7.0 1/1验证系统升级控制器部署:
kubectl get deployment system-upgrade-controller -n cattle-system NAME READY UP-TO-DATE AVAILABLE AGE system-upgrade-controller 1/1 1 1 2m20s
20.2.1.2 系统升级控制器安装 - Bundle #
本节说明如何使用 fleet-cli 从标准 Fleet 配置构建和部署 Bundle 资源。
在具有网络访问权限的机器上下载
fleet-cli:注意请确保您下载的 fleet-cli 版本与集群上部署的 Fleet 版本相匹配。
对于 Mac 用户,有一个 fleet-cli Homebrew 公式。
对于 Linux 和 Windows 用户,二进制文件作为每个 Fleet release 的 assets 提供。
Linux AMD:
curl -L -o fleet-cli https://github.com/rancher/fleet/releases/download/v0.16.1/fleet-linux-amd64Linux ARM:
curl -L -o fleet-cli https://github.com/rancher/fleet/releases/download/v0.16.1/fleet-linux-arm64
使
fleet-cli成为一个可执行程序:chmod +x fleet-cli克隆您希望使用的
suse-edge/fleet-examplesrelease:git clone -b release-3.7.0 https://github.com/suse-edge/fleet-examples.git导航到位于
fleet-examples储存库中的 SUC fleet:cd fleet-examples/fleets/day2/system-upgrade-controller确定要在哪些集群上部署 SUC。这可以通过在管理集群内的正确 Fleet 工作区中部署 SUC Bundle 来完成。默认情况下,Fleet 有两个工作区:
fleet-local- 用于需要在 管理 集群上部署的资源。fleet-default- 用于需要部署在 下游 集群上的资源。有关 Fleet 工作区的更多信息,请参阅 upstream 文档。
如果您打算仅在下游集群上部署 SUC,请创建一个与特定集群匹配的
targets.yaml文件:cat > targets.yaml <<EOF targets: - clusterSelector: CHANGEME EOF有关如何映射到下游集群的信息,请参阅 映射到下游集群。
继续构建 Bundle:
注意请确保您 not 在
fleet-examples/fleets/day2/system-upgrade-controller目录中下载 fleet-cli,否则它会被打包到 Bundle 中,这不被建议。要在您的管理集群上部署 SUC,请执行:
fleet-cli apply --compress -n fleet-local -o - system-upgrade-controller . > system-upgrade-controller-bundle.yaml要在您的下游集群上部署 SUC,请执行:
fleet-cli apply --compress --targets-file=targets.yaml -n fleet-default -o - system-upgrade-controller . > system-upgrade-controller-bundle.yaml有关此过程的更多信息,请参阅 将 Helm Chart 转换为 Bundle。
有关
fleet-cli apply命令的更多信息,请参阅 fleet apply。
将
system-upgrade-controller-bundle.yamlbundle 传输到您的管理集群机器:scp system-upgrade-controller-bundle.yaml <machine-address>:<filesystem-path>在您的管理集群上,部署
system-upgrade-controller-bundle.yamlBundle:kubectl apply -f system-upgrade-controller-bundle.yaml在您的管理集群上,验证 Bundle 是否已部署:
# Namespace will vary based on where you want to deploy SUC kubectl get bundle system-upgrade-controller -n <fleet-local/fleet-default> NAME BUNDLEDEPLOYMENTS-READY STATUS system-upgrade-controller 1/1根据您部署 Bundle 的 Fleet 工作区,导航至该集群并验证 SUC 部署:
注意SUC 始终部署在 cattle-system 名称空间中。
kubectl get deployment system-upgrade-controller -n cattle-system NAME READY UP-TO-DATE AVAILABLE AGE system-upgrade-controller 1/1 1 1 111s
20.2.2 System Upgrade Controller Helm 安装 #
添加 Rancher chart 储存库:
helm repo add rancher-charts https://charts.rancher.io/部署 SUC chart:
helm install system-upgrade-controller rancher-charts/system-upgrade-controller --version 110.0.0 --set global.cattle.psp.enabled=false -n cattle-system --create-namespace这将安装 Edge 3.7 平台所需的 SUC 版本 v0.20.1。
验证 SUC 部署:
kubectl get deployment system-upgrade-controller -n cattle-system NAME READY UP-TO-DATE AVAILABLE AGE system-upgrade-controller 1/1 1 1 37s
20.3 监控 System Upgrade Controller 计划 #
可以通过以下方式查看 SUC 计划:
通过 Rancher UI (第 20.3.1 节 “监控 System Upgrade Controller 计划 - Rancher UI”)。
通过集群内部的 manual monitoring (第 20.3.2 节 “监控 System Upgrade Controller 计划 - 手动”)。
为 SUC 计划部署的 Pod 在成功执行后会保持存活 15 分钟。此后,它们将由创建它们的相应 Job 移除。若要在此时间段后访问 Pod 的日志,您应该为集群启用日志记录。有关如何在 Rancher 中执行此操作的信息,请参阅 Rancher Integration with Logging Services。
20.3.1 监控 System Upgrade Controller 计划 - Rancher UI #
要检查特定 SUC 计划的 Pod 日志:
在左上角,☰ → <your-cluster-name>
选择 Workloads → Pods
选择
Only User Namespaces下拉菜单并添加cattle-system名称空间在 Pod 筛选栏中,输入您的 SUC 计划 Pod 的名称。名称将采用以下模板格式:
apply-<plan_name>-on-<node_name>注意对于特定的 SUC 计划,可能同时存在
Completed和UnknownPod。这是预期情况,由某些升级的性质导致。选择您要查看日志的 Pod,然后导航至 ⋮ → View Logs
20.3.2 监控 System Upgrade Controller 计划 - 手动 #
以下步骤假设 kubectl 已配置为连接到部署了 SUC 计划 的集群。
列出已部署的 SUC 计划:
kubectl get plans -n cattle-system获取 SUC 计划的 Pod:
kubectl get pods -l upgrade.cattle.io/plan=<plan_name> -n cattle-system注意对于特定的 SUC 计划,可能同时存在
Completed和UnknownPods。这是预期的情况,由于某些升级的性质所致。获取 Pod 的日志:
kubectl logs <pod_name> -n cattle-system
21 升级控制器 #
一种能够对以下 SUSE Telco Cloud 平台组件执行升级的 Kubernetes 控制器:
操作系统 (SUSE Linux Micro)
Kubernetes (K3s & RKE2)
其他组件(Rancher、Elemental、SUSE Security 等)
升级控制器通过将上述组件的复杂性封装在单个`user-facing`资源中,简化了它们的升级过程,该资源可作为升级的*触发器*。用户只需配置此资源,其余工作均由`Upgrade Controller`处理。
21.1 SUSE Telco Cloud如何使用升级控制器? #
*升级控制器*对于自动化(以前需要手动执行的)将管理集群从一个SUSE Telco Cloud发布版本升级到下一个版本所需的“第 2 天”操作至关重要。
为了实现这种自动化,升级控制器利用了诸如系统升级控制器 (第 20 章 “系统升级控制器”)和Helm 控制器等工具。
有关升级控制器工作原理的更多详细信息,请参见第 21.5 节 “升级控制器如何工作?”。
有关升级控制器的已知限制,请参见第 21.8 节 “已知限制”。
有关升级控制器与系统升级控制器之间区别的信息,请参见第 21.2 节 “升级控制器与系统升级控制器”。
21.2 升级控制器与系统升级控制器 #
系统升级控制器 (SUC) (第 20 章 “系统升级控制器”) 是一种通用工具,用于将升级指令传播到特定的 Kubernetes 节点。
虽然它支持 SUSE Telco Cloud 平台的某些“第 2 天”操作,但它 并不 涵盖所有操作。此外,即使对于受支持的操作,用户也必须手动配置、维护和部署多个 SUC Plans —— 这是一个容易出错的过程,可能会导致意外问题。
这导致需要一种工具来 自动化 并 抽象 管理 SUSE Telco Cloud 平台各种“第 2 天”操作的复杂性。因此,开发了 Upgrade Controller。它通过引入一个驱动升级的单一 user-facing resource 来简化升级过程。用户只需管理此资源,其余工作由 Upgrade Controller 处理。
21.3 安装升级控制器 #
21.3.1 先决条件 #
系统升级控制器 (第 20.2 节 “安装系统升级控制器”)
一个 Kubernetes 集群;K3s 或 RKE2 均可
21.3.2 步骤 #
在您的管理集群上安装 Upgrade Controller Helm chart:
helm install upgrade-controller oci://registry.suse.com/edge/charts/upgrade-controller --version 307.0.4+up0.1.3 --create-namespace --namespace upgrade-controller-system验证 Upgrade Controller 部署:
kubectl get deployment -n upgrade-controller-system验证 Upgrade Controller Pod:
kubectl get pods -n upgrade-controller-system验证 Upgrade Controller Pod 日志:
kubectl logs <pod_name> -n upgrade-controller-system
21.4 通过 Edge Image Builder 安装 Upgrade Controller #
作为上述手动安装的替代方案,可以在Edge Image Builder (第 12 章 “Edge Image Builder”)编排的初始部署中安装 Upgrade Controller。
在这种情况下,需要将以下 Helm chart 配置添加到 EIB 配置文件中:
kubernetes:
helm:
charts:
- name: cert-manager
repositoryName: jetstack
version: {version-cert-manager}
targetNamespace: cert-manager
valuesFile: certmanager-values.yaml
createNamespace: true
installationNamespace: kube-system
- name: upgrade-controller
version: {version-upgrade-controller-chart}
repositoryName: suse-edge-charts
targetNamespace: upgrade-controller-system
createNamespace: true
installationNamespace: kube-system21.5 升级控制器如何工作? #
为了执行 Edge 版本升级,Upgrade Controller 引入了两个新的 Kubernetes 自定义资源:
UpgradePlan (第 21.6.1 节 “UpgradePlan”) - 由用户创建;包含有关 Edge 版本升级的配置。
ReleaseManifest (第 21.6.2 节 “ReleaseManifest”) - 由 Upgrade Controller 创建;包含特定于某个 Edge 发布版本的组件版本。此文件不得由用户编辑。
Upgrade Controller 随后会创建一个 ReleaseManifest 资源,其中包含用户在 UpgradePlan 资源的 releaseVersion 属性下指定的 Edge 发布版本的组件数据。
使用来自 ReleaseManifest 的组件数据,Upgrade Controller 按以下顺序升级 Edge 发布组件:
操作系统 (OS) (第 21.5.1 节 “操作系统升级”)。
Kubernetes (第 21.5.2 节 “Kubernetes 升级”)。
附加组件 (第 21.5.3 节 “附加组件升级”)。
在升级过程中,Upgrade Controller 会持续将升级信息输出到所创建的 UpgradePlan 中。有关如何跟踪升级过程的更多信息,请参阅跟踪升级过程 (第 21.7 节 “跟踪升级过程”)。
21.5.1 操作系统升级 #
为了升级操作系统,Upgrade Controller 会创建具有以下命名模板的SUC (第 20 章 “系统升级控制器”)计划:
对于与控制平面节点操作系统升级相关的 SUC 计划 -
control-plane-<os-name>-<os-version>-<suffix>。对于与工作节点操作系统升级相关的 SUC 计划 -
workers-<os-name>-<os-version>-<suffix>。
基于这些计划,SUC 会在集群的每个节点上创建执行实际操作系统升级的工作负载。
根据 ReleaseManifest,操作系统升级可能包括:
仅软件包更新 - 用于 Edge 版本之间操作系统版本不发生变化的使用场景。
完整操作系统迁移 - 用于 Edge 版本之间操作系统版本发生变化的使用场景。
升级按*one*节点的顺序执行,首先从控制平面节点开始。只有在控制平面节点升级完成后,工作节点才会开始升级。
Upgrade Controller 会配置 OS SUC 计划,如果集群中指定类型的节点超过*one*,则对集群节点执行排空操作。
对于控制平面节点*greater than* one且只有*only one*工作节点的集群,仅会对控制平面节点执行排空操作,反之亦然。
有关如何完全禁用节点排空的信息,请参阅UpgradePlan (第 21.6.1 节 “UpgradePlan”)部分。
21.5.2 Kubernetes 升级 #
要升级集群的 Kubernetes 发行版,升级控制器会创建具有以下命名模板的SUC (第 20 章 “系统升级控制器”)计划:
对于与控制平面节点 Kubernetes 升级相关的 SUC 计划 -
control-plane-<k8s-version>-<suffix>。对于与工作节点 Kubernetes 升级相关的 SUC 计划 -
workers-<k8s-version>-<suffix>。
基于这些计划,SUC 将继续在集群的每个节点上创建执行实际 Kubernetes 升级的工作负载。
Kubernetes 升级将按*one*节点的顺序执行,首先从控制平面节点开始。只有在控制平面节点升级完成后,工作节点才会开始升级。
升级控制器会配置 Kubernetes SUC 计划,如果集群中指定类型的节点超过*one*,则对集群节点执行排空操作。
对于控制平面节点*greater than* one且只有*only one*工作节点的集群,仅会对控制平面节点执行排空操作,反之亦然。
有关如何完全禁用节点排空的信息,请参阅 第 21.6.1 节 “UpgradePlan”。
21.5.3 附加组件升级 #
目前,所有附加组件均通过 Helm 图表安装。有关特定版本组件的完整列表,请参阅Release Notes (第 78 章 “发行说明”)。
对于通过EIB (第 12 章 “Edge Image Builder”)部署的 Helm 图表,升级控制器会更新每个组件现有的HelmChart CR。
对于在 EIB 之外部署的 Helm 图表,升级控制器会为每个组件创建一个 HelmChart 资源。
在创建/更新 HelmChart 资源后,升级控制器会依赖 helm-controller 来获取此更改并继续进行实际的组件升级。
图表将根据其在 ReleaseManifest 中的顺序依次升级。还可以通过 UpgradePlan 传递其他值。如果图表的版本在新的 SUSE Telco Cloud 发行版中保持不变,则不会对其进行升级。有关更多信息,请参见第 21.6.1 节 “UpgradePlan”。
21.6 Kubernetes API 扩展 #
由升级控制器引入的 Kubernetes API 扩展。
21.6.1 UpgradePlan #
升级控制器引入了一种新的 Kubernetes 自定义资源,称为 UpgradePlan。
UpgradePlan 用作升级控制器的指令机制,它支持以下配置:
releaseVersion- 集群应升级到的 Edge 发行版本。发行版本必须遵循semantic版本控制,并应从Release Notes (第 78 章 “发行说明”)中获取。disableDrain- 可选;指示升级控制器是否禁用节点 驱逐。适用于您拥有带有 中断预算 的工作负载的情况。禁用控制平面节点驱逐的示例:
spec: disableDrain: controlPlane: true禁用控制平面和工作节点驱逐的示例:
spec: disableDrain: controlPlane: true worker: true
helm- 可选;指定通过 Helm 安装的组件的其他值。警告仅建议将此字段用于对升级至关重要的值。标准的 Chart 值更新应在相应的 Chart 升级到下一个版本后执行。
示例:
spec: helm: - chart: foo values: bar: baz
21.6.2 ReleaseManifest #
升级控制器引入了一种新的 Kubernetes 自定义资源,称为 ReleaseManifest。
ReleaseManifest 资源由升级控制器创建,并保存 一个 特定 Edge 发行版本的数据。这意味着每个 Edge 发行版本的升级都将由不同的 ReleaseManifest 资源表示。
发布清单应始终由升级控制器创建。
不建议手动创建或编辑 ReleaseManifest 资源。决定这样做的用户应 自行承担风险。
发布清单附带的组件数据包括但不限于:
有关发布清单外观的示例,请参阅 上游 文档。请注意,这仅是一个示例,并非旨在创建为有效的 ReleaseManifest 资源。
21.7 跟踪升级过程 #
本节旨在跟踪和调试用户创建 UpgradePlan 资源后由升级控制器启动的升级过程。
21.7.1 通用 #
有关升级过程状态的一般信息可以在升级计划的状态条件中查看。
可以通过以下方式查看升级计划资源的状态:
kubectl get upgradeplan <upgradeplan_name> -n upgrade-controller-system -o yamlapiVersion: lifecycle.suse.com/v1alpha1
kind: UpgradePlan
metadata:
name: upgrade-plan-mgmt
namespace: upgrade-controller-system
spec:
releaseVersion: 3.7
status:
conditions:
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: Control plane nodes are being upgraded
reason: InProgress
status: "False"
type: OSUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: Kubernetes upgrade is not yet started
reason: Pending
status: Unknown
type: KubernetesUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: Rancher upgrade is not yet started
reason: Pending
status: Unknown
type: RancherUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: Longhorn upgrade is not yet started
reason: Pending
status: Unknown
type: LonghornUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: MetalLB upgrade is not yet started
reason: Pending
status: Unknown
type: MetalLBUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: CDI upgrade is not yet started
reason: Pending
status: Unknown
type: CDIUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: KubeVirt upgrade is not yet started
reason: Pending
status: Unknown
type: KubeVirtUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: NeuVector upgrade is not yet started
reason: Pending
status: Unknown
type: NeuVectorUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: EndpointCopierOperator upgrade is not yet started
reason: Pending
status: Unknown
type: EndpointCopierOperatorUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: Elemental upgrade is not yet started
reason: Pending
status: Unknown
type: ElementalUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: SRIOV upgrade is not yet started
reason: Pending
status: Unknown
type: SRIOVUpgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: Metal3 upgrade is not yet started
reason: Pending
status: Unknown
type: Metal3Upgraded
- lastTransitionTime: "2024-10-01T06:26:27Z"
message: RancherTurtles upgrade is not yet started
reason: Pending
status: Unknown
type: RancherTurtlesUpgraded
observedGeneration: 1
sucNameSuffix: 90315a2b6d在这里,您可以查看升级控制器将尝试为其安排升级的每个组件。每个条件都遵循以下模板:
lastTransitionTime- 此组件条件上一次从一种状态转换为另一种状态的时间。message- 指示特定组件条件的当前升级状态的消息。reason- 特定组件条件的当前升级状态。可能的reasons包括:Succeeded- 特定组件升级成功。Failed- 特定组件升级失败。InProgress- 特定组件升级正在进行中。Pending- 特定组件升级尚未安排。Skipped- 在集群上未找到特定组件,因此将跳过其升级。Error- 特定组件遇到瞬态错误。
status- 当前条件type的状态,属于True、False、Unknown之一。type- 当前升级组件的指示器。
升级控制器为类型为 OSUpgraded 和 KubernetesUpgraded 的组件条件创建 SUC 计划。要进一步跟踪为这些组件创建的 SUC 计划,请参阅 第 20.3 节 “监控 System Upgrade Controller 计划”。
所有其他组件条件类型可以通过查看由 helm-controller 为其创建的资源来进一步跟踪。有关详细信息,请参见 第 21.7.2 节 “Helm Controller”。
由升级控制器调度的升级计划可以在满足以下条件时标记为 successful:
不存在
Pending或InProgress组件条件。lastSuccessfulReleaseVersion属性指向升级计划配置中指定的releaseVersion。一旦升级过程成功,此属性将由升级控制器添加到升级计划的状态中。
UpgradePlan 示例: #apiVersion: lifecycle.suse.com/v1alpha1
kind: UpgradePlan
metadata:
name: upgrade-plan-mgmt
namespace: upgrade-controller-system
spec:
releaseVersion: 3.7
status:
conditions:
- lastTransitionTime: "2024-10-01T06:26:48Z"
message: All cluster nodes are upgraded
reason: Succeeded
status: "True"
type: OSUpgraded
- lastTransitionTime: "2024-10-01T06:26:59Z"
message: All cluster nodes are upgraded
reason: Succeeded
status: "True"
type: KubernetesUpgraded
- lastTransitionTime: "2024-10-01T06:27:13Z"
message: Chart rancher upgrade succeeded
reason: Succeeded
status: "True"
type: RancherUpgraded
- lastTransitionTime: "2024-10-01T06:27:13Z"
message: Chart longhorn is not installed
reason: Skipped
status: "False"
type: LonghornUpgraded
- lastTransitionTime: "2024-10-01T06:27:13Z"
message: Specified version of chart metallb is already installed
reason: Skipped
status: "False"
type: MetalLBUpgraded
- lastTransitionTime: "2024-10-01T06:27:13Z"
message: Chart cdi is not installed
reason: Skipped
status: "False"
type: CDIUpgraded
- lastTransitionTime: "2024-10-01T06:27:13Z"
message: Chart kubevirt is not installed
reason: Skipped
status: "False"
type: KubeVirtUpgraded
- lastTransitionTime: "2024-10-01T06:27:13Z"
message: Chart neuvector-crd is not installed
reason: Skipped
status: "False"
type: NeuVectorUpgraded
- lastTransitionTime: "2024-10-01T06:27:14Z"
message: Specified version of chart endpoint-copier-operator is already installed
reason: Skipped
status: "False"
type: EndpointCopierOperatorUpgraded
- lastTransitionTime: "2024-10-01T06:27:14Z"
message: Chart elemental-operator upgrade succeeded
reason: Succeeded
status: "True"
type: ElementalUpgraded
- lastTransitionTime: "2024-10-01T06:27:15Z"
message: Chart sriov-crd is not installed
reason: Skipped
status: "False"
type: SRIOVUpgraded
- lastTransitionTime: "2024-10-01T06:27:19Z"
message: Chart metal3 is not installed
reason: Skipped
status: "False"
type: Metal3Upgraded
- lastTransitionTime: "2024-10-01T06:27:27Z"
message: Chart rancher-turtles is not installed
reason: Skipped
status: "False"
type: RancherTurtlesUpgraded
lastSuccessfulReleaseVersion: 3.7
observedGeneration: 1
sucNameSuffix: 90315a2b6d21.7.2 Helm Controller #
本节介绍如何跟踪由 helm-controller 创建的资源。
以下步骤假设 kubectl 已配置为连接到部署了升级控制器的集群。
找到特定组件的
HelmChart资源:kubectl get helmcharts -n kube-system使用
HelmChart资源的名称,找到由helm-controller创建的升级 Pod:kubectl get pods -l helmcharts.helm.cattle.io/chart=<helmchart_name> -n kube-system # Example for Rancher kubectl get pods -l helmcharts.helm.cattle.io/chart=rancher -n kube-system NAME READY STATUS RESTARTS AGE helm-install-rancher-tv9wn 0/1 Completed 0 16m查看组件特定 Pod 的日志:
kubectl logs <pod_name> -n kube-system
21.8 已知限制 #
升级控制器要求通过 EIB (第 12 章 “Edge Image Builder”) 部署的任何额外 SUSE Telco Cloud Helm chart 必须将其 HelmChart CR 部署在
kube-system名称空间中.为此,请在您的 EIB 定义文件中配置installationNamespace属性。有关详细信息,请参见 上游 文档。目前,升级控制器无法确定管理集群上当前运行的 Edge 发行版本。请确保提供的 Edge 发行版本高于集群上当前运行的 Edge 发行版本.
目前,升级控制器仅支持 非隔离的 环境升级。隔离的 升级尚不可行。
第 IV 部分 要求和假设 #
- 22 硬件
SUSE Telco Cloud 的硬件要求如下:
- 23 网络
作为网络架构的参考,下图显示了电信环境的典型网络架构:
- 24 端口要求
为了正常运行,SUSE Telco Cloud 部署要求管理节点和下游 Kubernetes 集群节点上的多个端口可达。
- 25 服务(DHCP、DNS 等)
根据部署环境的类型,可能需要一些外部服务,如
DHCP、DNS等:- 26 禁用 systemd 服务
对于电信工作负载,禁用或正确配置在节点上运行的某些服务非常重要,以避免对在节点上运行的工作负载性能(延迟)产生任何影响。
22 硬件 #
SUSE Telco Cloud 的硬件要求如下:
管理群集:管理群集包含
SUSE Linux Micro、RKE2、SUSE Rancher Prime、Metal3等组件,用于管理多个下游集群。根据要管理的下游集群数量,服务器的硬件要求可能会有所不同。服务器(
VM或bare-metal)的最低要求为:RAM:最低 8 GB(我们建议至少 16 GB)
CPU:最低 2 个(我们建议至少 4 个处理器)
下游集群:下游集群是为运行电信工作负载而部署的集群。需要特定要求才能启用某些电信功能,例如
SR-IOV、CPU Performance Optimization等。SR-IOV:要以直通模式将 VF(虚拟功能)附加到 CNF/VNF,NIC 必须支持 SR-IOV,并且必须在 BIOS 中启用 VT-d/AMD-Vi。
CPU 处理器:要运行特定的电信工作负载,应调整 CPU 处理器型号,以启用此参考 表 (第 VI 部分 “电信功能配置”) 中提供的大多数功能。
使用虚拟媒体进行安装的固件要求:
服务器硬件 BMC 型号 管理 Dell 硬件
第 15 代
iDRAC9
Supermicro 硬件
01.00.25
Supermicro SMC - redfish
HPE 硬件
1.50
iLO6
23 网络 #
作为网络架构的参考,下图显示了电信环境的典型网络架构:
网络架构基于以下组件:
管理网络:此网络用于管理下游集群节点。它用于带外管理。通常,此网络也连接到单独的管理交换机,但也可以使用 VLAN 将其连接到同一服务交换机以隔离流量。
控制平面网络:此网络用于下游集群节点与其上运行的服务之间的通信。此网络还用于节点与外部服务(如
DHCP或DNS服务器)之间的通信。在某些情况下,对于已连接的环境,交换机/路由器可以通过 Internet 处理流量。其他网络:在某些情况下,节点可以出于特定目的连接到其他网络。
要使用定向网络配置工作流,管理集群必须具备与下游集群服务器基板管理控制器 (BMC) 的网络连接,以便实现主机准备和配置的自动化。
24 端口要求 #
为了正常运行,SUSE Telco Cloud 部署要求管理节点和下游 Kubernetes 集群节点上的多个端口可达。
确切列表取决于所部署的可选组件和所选的部署选项(例如 CNI 插件)。
24.1 管理节点 #
下表列出了运行管理集群的节点中开放的端口:
| 协议 | 端口 | 源 | 说明 |
|---|---|---|---|
TCP | 22 | 任何需要 SSH 访问的源 | 对管理集群节点的 SSH 访问 |
TCP | 80 | 执行外部 TLS 终止的负载均衡器/代理 | 使用外部 TLS 终止时的 Rancher UI/API |
TCP | 443 | 任何需要 TLS 访问 Rancher UI/API 的源 | Rancher 代理,Rancher UI/API |
TCP | 2379 | RKE2(管理集群)服务器节点 |
|
TCP | 2380 | RKE2(管理集群)服务器节点 |
|
TCP | 6180 | 任何先前由 |
|
TCP | 6185 | 任何先前由 |
|
TCP | 6385 | 任何在“已注册” | Ironic API |
TCP | 6443 | 任何管理集群节点;任何(管理集群之外的)外部 Kubernetes 客户端 | Kubernetes API |
TCP | 6545 | 任何管理集群节点 | 从符合 OCI 标准的注册表(Hauler)拉取制品 |
TCP | 9345 | RKE2 服务器和代理节点(管理集群) | 用于节点注册的 RKE2 supervisor API(在所有 RKE2 服务器节点中开放的端口) |
TCP | 10250 | 任何管理集群节点 |
|
TCP/UDP/SCTP | 30000-32767 | 任何(管理集群之外的)外部源通过 | 可用的 |
(1) BMC:基板管理控制器
(2) IPA:Ironic Python Agent
24.2 下游节点 #
在 SUSE Telco Cloud 中,在任何(下游)服务器成为运行中的下游 Kubernetes 集群的一部分(或其自身运行单节点下游 Kubernetes 集群)之前,必须经历一些 裸机主机配置状态。
刚声明的下游服务器的基板管理控制器 (BMC) 必须可以通过带外网络访问。BMC 会收到(来自管理集群上运行的 ironic 服务)关于要采取的初始步骤的指令:
拉取并加载 BMC 提供的
virtual media中指定的 IPA ramdisk 镜像。开启服务器电源。
预期 BMC 会开放以下端口(具体端口可能因硬件而异):
| 协议 | 端口 | 源 | 说明 |
|---|---|---|---|
TCP | 80 | Ironic conductor(来自管理集群) | Redfish API 访问 (HTTP) |
TCP | 443 | Ironic conductor(来自管理集群) | Redfish API 访问 (HTTPS) |
一旦加载到 BMC
virtual media上的 IPA ramdisk 镜像被用于启动下游服务器镜像,硬件检查阶段即开始。下表列出了正在运行的 IPA ramdisk 镜像所暴露的端口:
Metal3/Ironic 配置阶段 #| 协议 | 端口 | 源 | 说明 |
|---|---|---|---|
TCP | 22 | 任何需要 SSH 访问 IPA ramdisk 镜像的源 | 对正在进行检查的下游集群节点的 SSH 访问 |
TCP | 9999 | Ironic conductor(来自管理集群) | 针对正在运行的 ramdisk 镜像的 Ironic 命令 |
一旦裸机主机被正确配置并加入了下游 Kubernetes 集群,它将暴露以下端口:
| 协议 | 端口 | 源 | 说明 |
|---|---|---|---|
TCP | 22 | 任何需要 SSH 访问的源 | 对下游集群节点的 SSH 访问 |
TCP | 80 | 执行外部 TLS 终止的负载均衡器/代理 | 使用外部 TLS 终止时的 Rancher UI/API |
TCP | 443 | 任何需要 TLS 访问 Rancher UI/API 的源 | Rancher 代理,Rancher UI/API |
TCP | 2379 | RKE2(下游集群)服务器节点 |
|
TCP | 2380 | RKE2(下游集群)服务器节点 |
|
TCP | 6443 | 任何下游集群节点;任何外部(下游集群之外的)Kubernetes 客户端。 | Kubernetes API |
TCP | 9345 | RKE2 服务器和代理节点(下游集群) | 用于节点注册的 RKE2 supervisor API(在所有 RKE2 服务器节点中开放的端口) |
TCP | 10250 | 任何下游集群节点 |
|
TCP | 10255 | 任何下游集群节点 |
|
TCP/UDP/SCTP | 30000-32767 | 任何通过 | 可用的 |
24.3 CNI 特定端口要求 #
每种受支持的 CNI 变体都有其自己的一套端口要求。有关更多详细信息,请参阅 RKE2 文档中的 CNI 特定入站网络规则。
当 cilium 被设置为默认/主 CNI 插件时,如果配置了 cilium-operator 工作负载以在部署它的 Kubernetes 集群之外暴露指标,则会额外暴露以下 TCP 端口。这确保了在 Kubernetes 集群外运行的外部 Prometheus 服务器实例仍然可以收集这些指标。
这是通过 rke2-cilium Helm chart 部署 cilium 时的默认选项。
cilium-operator 的外部指标暴露 #| 协议 | 端口 | 源 | 说明 |
|---|---|---|---|
TCP | 9963 | 外部(Kubernetes 集群之外的)指标收集器 | cilium-operator 指标暴露 |
25 服务(DHCP、DNS 等) #
根据部署环境的类型,可能需要一些外部服务,如 DHCP、DNS 等:
已连接环境:在这种情况下,节点将连接到互联网(通过路由 L3 协议),外部服务将由客户提供。
断开连接 / 隔离环境:在这种情况下,节点将没有互联网 IP 连接,并且需要额外的服务来在本地镜像定向网络配置工作流所需的内容。
文件服务器:文件服务器用于存储在定向网络配置工作流期间要在下游集群节点上配置的操作系统镜像。
Metal3Helm chart 可以部署一个媒体服务器来存储操作系统镜像——请查看以下 章节 (注意),但也可以使用现有的本地 Web 服务器。
26 禁用 systemd 服务 #
对于电信工作负载,禁用或正确配置在节点上运行的某些服务非常重要,以避免对在节点上运行的工作负载性能(延迟)产生任何影响。
rebootmgr是一项服务,允许在系统有待处理更新时配置重启策略。 对于电信工作负载,禁用或正确配置rebootmgr服务非常重要,以避免在系统调度更新时重启节点,从而避免对在节点上运行的服务产生任何影响。
通过运行以下命令验证正在使用的策略:
cat /etc/rebootmgr.conf
[rebootmgr]
window-start=03:30
window-duration=1h30m
strategy=best-effort
lock-group=default您可以通过运行以下命令来禁用它:
sed -i 's/strategy=best-effort/strategy=off/g' /etc/rebootmgr.conf或者使用 rebootmgrctl 命令:
rebootmgrctl strategy offtransactional-update是一项允许由系统控制自动更新的服务。对于电信工作负载,禁用自动更新以避免对节点上运行的服务产生任何影响非常重要。
要禁用自动更新,您可以运行:
systemctl --now disable transactional-update.timer
systemctl --now disable transactional-update-cleanup.timerfstrim是一项允许每周自动修剪文件系统的服务。对于电信工作负载,禁用自动修剪以避免对节点上运行的服务产生任何影响非常重要。
要禁用自动修剪,您可以运行:
systemctl --now disable fstrim.timer第 V 部分 设置管理集群 #
- 27 简介
管理集群是 SUSE Telco Cloud 中用于管理运行时堆栈的供应和生命周期的部分。 从技术角度来看,管理集群包含以下组件:
- 28 设置管理集群的步骤
设置管理集群(使用单个节点)需要执行以下步骤:
- 29 联网环境的映像准备
Edge Image Builder 用于为管理集群创建映像,本文档涵盖了设置管理集群所需的最简配置。
- 30 隔离环境的镜像准备
本节介绍了如何为隔离环境准备镜像,仅显示与前几节的不同之处。为隔离环境准备镜像,需要对上一节(连接环境的镜像准备 (第 29 章 “联网环境的映像准备”))进行以下更改:
- 31 映像创建
在按照前几节准备好目录结构(针对连接和隔离两种场景)后,运行以下命令来构建映像:
- 32 配置管理集群
之前的映像包含上述所有组件,可用于使用虚拟机或裸机服务器(使用虚拟媒体功能)来配置管理集群。
- 33 双栈注意事项和配置
前几节中显示的示例提供了关于如何设置单栈 IPv4 管理集群的指导和示例。此类管理集群独立于下游集群的运行状态,下游集群在部署后可单独配置为以 IPv4/IPv6 单栈或双栈配置运行。然而,管理集群的配置方式对配置阶段可以使用的通信协议有直接影响,其中带内和带外通信都必须根据管理集群和下游主机支持的协议进行。如果预期部分或全部 BMC 和/或下游集群节点使用 IPv6,则需要为管理集群设置双栈。
27 简介 #
管理集群是 SUSE Telco Cloud 中用于管理运行时堆栈的供应和生命周期的部分。 从技术角度来看,管理集群包含以下组件:
SUSE Linux Micro作为操作系统。根据用例的不同,可以自定义网络、存储、用户和内核参数等某些配置。RKE2作为 Kubernetes 集群。根据用例的不同,可以将其配置为使用特定的 CNI 插件,例如Multus、Cilium、Calico等。Rancher作为管理平台,用于管理集群的生命周期。Metal3作为管理裸机节点生命周期的组件。CAPI作为管理 Kubernetes 集群(下游集群)生命周期的组件。RKE2 CAPI Provider用于管理 RKE2 集群的生命周期。
借助上述所有组件,管理集群可以采用声明式方法管理基础设施和应用程序,并管理下游集群的生命周期。
有关 SUSE Linux Micro 的详细信息,请参见:SUSE Linux Micro (第 10 章 “SUSE Linux Micro”)
有关 RKE2 的详细信息,请参见:RKE2 (第 14 章 “RKE2”)
有关 Rancher 的详细信息,请参见:Rancher (第 6 章 “Rancher”)
有关 Metal3 的详细信息,请参见:Metal3 (第 11 章 “Metal3”)
28 设置管理集群的步骤 #
设置管理集群(使用单个节点)需要执行以下步骤:
以下是使用声明式方法设置管理集群的主要步骤:
联网环境的镜像准备 (第 29 章 “联网环境的映像准备”):第一步是准备清单和文件,其中包含要在连接环境中使用的所有必要配置。
联网环境的目录结构 (第 29.1 节 “目录结构”):此步骤创建了一个目录结构,供 Edge Image Builder 用于存储配置文件和镜像本身。
管理集群定义文件 (第 29.2 节 “管理集群定义文件”):
mgmt-cluster.yaml文件是管理集群的主要定义文件。它包含有关要创建的镜像的以下信息:镜像信息:与使用基础镜像创建的镜像相关的信息。
操作系统:要在镜像中使用的操作系统配置。
Kubernetes:Helm chart 和存储库、Kubernetes 版本、网络配置以及集群中要使用的节点。
自定义文件夹 (第 29.3 节 “自定义文件夹”):
custom文件夹包含 Edge Image Builder 用于部署功能齐全的管理集群的配置文件和脚本。文件:包含管理集群要使用的配置文件。
脚本:包含管理集群要使用的脚本。
Kubernetes 文件夹 (第 29.4 节 “Kubernetes 文件夹”):
kubernetes文件夹包含管理集群要使用的配置文件。清单:包含管理集群要使用的清单。
Helm:包含管理集群要使用的 Helm 值文件。
配置:包含管理集群要使用的配置文件。
网络文件夹 (第 29.5 节 “Networking 文件夹”):
network文件夹包含管理集群节点将使用的网络配置文件。
隔离环境的映像准备 (第 30 章 “隔离环境的镜像准备”):此步骤旨在展示准备隔离场景中所用清单和文件的差异。
定义文件中的修改 (第 30.1 节 “定义文件中的修改”):必须修改
mgmt-cluster.yaml文件以包含embeddedArtifactRegistry部分,并将images字段设置为要包含在 EIB 输出映像中的所有容器映像。自定义文件夹中的修改 (第 30.2 节 “自定义文件夹中的修改”):必须修改
custom文件夹以包含在隔离环境中运行管理集群所需的资源。注册脚本:使用隔离环境时,必须去除
custom/scripts/99-register.sh脚本。
映像创建 (第 31 章 “映像创建”):此步骤涵盖使用 Edge Image Builder 工具创建映像的过程(适用于联网和隔离两种场景)。请检查在您的系统上运行 Edge Image Builder 工具的 先决条件 (第 12 章 “Edge Image Builder”)。
管理集群预配 (第 32 章 “配置管理集群”):此步骤涵盖使用上一步中创建的映像来预配管理集群的过程(适用于联网和隔离两种场景)。此步骤可以使用笔记本电脑、服务器、虚拟机或任何其他带有 USB 端口的 AMD64/Intel 64 系统来完成。
有关 Edge Image Builder 的更多信息,请参阅 Edge Image Builder (第 12 章 “Edge Image Builder”) 和 Edge Image Builder 快速入门 (第 5 章 “使用 Edge Image Builder 的独立集群”)。
29 联网环境的映像准备 #
Edge Image Builder 用于为管理集群创建映像,本文档涵盖了设置管理集群所需的最简配置。
Edge Image Builder 在容器内运行,因此需要容器运行时,例如 Podman 或 Rancher Desktop。在本指南中,我们假设 podman 可用。
此外,作为部署高可用管理集群的先决条件,您需要在网络中预留三个 IP:
apiVIP用于 API VIP 地址(用于访问 Kubernetes API 服务器)。ingressVIP用于 Ingress VIP 地址(例如,由 Rancher UI 使用)。metal3VIP用于 Metal3 VIP 地址。
29.1 目录结构 #
运行 EIB 时,会从主机挂载一个目录,因此首先要做的是创建一个目录结构,供 EIB 用于存储配置文件和镜像本身。 此目录有以下结构:
eib
├── mgmt-cluster.yaml
├── network
│ └── mgmt-cluster-node1.yaml
├── os-files
│ └── var
│ └── lib
│ └── rancher
│ └── rke2
│ └── server
│ └── manifests
│ └── rke2-ingress-config.yaml
├── kubernetes
│ ├── manifests
│ │ ├── neuvector-namespace.yaml
│ │ ├── ingress-l2-adv.yaml
│ │ └── ingress-ippool.yaml
│ ├── helm
│ │ └── values
│ │ ├── rancher.yaml
│ │ ├── neuvector.yaml
│ │ ├── longhorn.yaml
│ │ ├── metal3.yaml
│ │ └── certmanager.yaml
│ └── config
│ └── server.yaml
├── custom
│ ├── scripts
│ │ ├── 99-register.sh
│ │ ├── 99-mgmt-setup.sh
│ │ └── 99-alias.sh
│ └── files
│ ├── rancher.sh
│ ├── mgmt-stack-setup.service
│ ├── metal3.sh
│ └── basic-setup.sh
└── base-images镜像 SL-Micro.x86_64-6.2-Base-SelfInstall-GM.install.iso 必须从 SUSE 客户中心 或 SUSE 下载页面 下载,并且必须位于 base-images 文件夹下。
您应该检查镜像的 SHA256 校验和,以确保其未被篡改。校验和可以在下载镜像的同一位置找到。
目录结构的示例可以在 SUSE Telco Cloud GitHub 储存库的“telco-examples”文件夹下找到。
29.2 管理集群定义文件 #
mgmt-cluster.yaml 文件是管理集群的主要定义文件。它包含以下信息:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: SL-Micro.x86_64-6.2-Base-SelfInstall-GM.install.iso
outputImageName: eib-mgmt-cluster-image.iso
operatingSystem:
isoConfiguration:
installDevice: /dev/sda
users:
- username: root
encryptedPassword: $ROOT_PASSWORD
packages:
packageList:
- jq
- open-iscsi
sccRegistrationCode: $SCC_REGISTRATION_CODE
kubernetes:
version: v1.36.3+rke2r1
helm:
charts:
- name: cert-manager
repositoryName: jetstack
version: 1.20.1
targetNamespace: cert-manager
valuesFile: certmanager.yaml
createNamespace: true
installationNamespace: kube-system
- name: suse-storage
releaseName: longhorn
version: 1.12.1
repositoryName: rancher-application-collection
targetNamespace: longhorn-system
createNamespace: true
installationNamespace: kube-system
valuesFile: longhorn.yaml
- name: metallb
version: 307.0.3+up0.16.1
targetNamespace: metallb-system
createNamespace: true
repositoryName: suse-edge-charts
installationNamespace: kube-system
- name: metal3
version: 307.0.31+up0.16.0
repositoryName: suse-edge-charts
targetNamespace: metal3-system
createNamespace: true
installationNamespace: kube-system
valuesFile: metal3.yaml
- name: rancher-turtles-providers
version: 307.0.8+up0.27.0
repositoryName: suse-edge-charts
targetNamespace: cattle-turtles-system
createNamespace: true
installationNamespace: kube-system
- name: neuvector-crd
version: 110.0.1+up2.11.1
repositoryName: rancher-charts
targetNamespace: neuvector
createNamespace: true
installationNamespace: kube-system
valuesFile: neuvector.yaml
- name: neuvector
version: 110.0.1+up2.11.1
repositoryName: rancher-charts
targetNamespace: neuvector
createNamespace: true
installationNamespace: kube-system
valuesFile: neuvector.yaml
- name: rancher
version: 2.15.1
repositoryName: rancher-prime
targetNamespace: cattle-system
createNamespace: true
installationNamespace: kube-system
valuesFile: rancher.yaml
repositories:
- name: jetstack
url: https://charts.jetstack.io
- name: rancher-charts
url: https://charts.rancher.io/
- name: suse-edge-charts
url: oci://registry.suse.com/edge/charts
- name: rancher-prime
url: https://charts.rancher.com/server-charts/prime
- name: rancher-application-collection
url: oci://dp.apps.rancher.io/charts
authentication:
username: $\{APPS.RANCHER.IO_USERNAME\}
password: $\{APPS.RANCHER.IO_ACCESS_TOKEN\}
network:
apiHost: $API_HOST
apiVIP: $API_VIP
nodes:
- hostname: mgmt-cluster-node1
initializer: true
type: server
# - hostname: mgmt-cluster-node2
# type: server
# - hostname: mgmt-cluster-node3
# type: server为了解释 mgmt-cluster.yaml 定义文件中的字段和值,我们将其分为以下几个部分。
镜像部分(定义文件):
image:
imageType: iso
arch: x86_64
baseImage: SL-Micro.x86_64-6.2-Base-SelfInstall-GM.install.iso
outputImageName: eib-mgmt-cluster-image.iso其中 baseImage 是您从 SUSE 客户中心或 SUSE 下载页面下载的原始镜像。outputImageName 是将用于置备管理集群的新镜像的名称。
操作系统部分(定义文件):
operatingSystem:
isoConfiguration:
installDevice: /dev/sda
users:
- username: root
encryptedPassword: $ROOT_PASSWORD
packages:
packageList:
- jq
sccRegistrationCode: $SCC_REGISTRATION_CODE其中 installDevice 是用于安装操作系统的设备,username 和 encryptedPassword 是用于访问系统的凭据,packageList 是要安装的软件包列表(jq 在安装过程中内部需要),而 sccRegistrationCode 是在构建时用于获取软件包和依赖项的注册代码,可从 SUSE 客户中心获得。
加密密码可以使用 openssl 命令生成,如下所示:
openssl passwd -6 MyPassword!123这将输出类似于以下内容的内容:
$6$UrXB1sAGs46DOiSq$HSwi9GFJLCorm0J53nF2Sq8YEoyINhHcObHzX2R8h13mswUIsMwzx4eUzn/rRx0QPV4JIb0eWCoNrxGiKH4R31Kubernetes 部分(定义文件):
kubernetes:
version: v1.36.3+rke2r1
helm:
charts:
- name: cert-manager
repositoryName: jetstack
version: 1.20.1
targetNamespace: cert-manager
valuesFile: certmanager.yaml
createNamespace: true
installationNamespace: kube-system
- name: suse-storage
releaseName: longhorn
version: 1.12.1
repositoryName: rancher-application-collection
targetNamespace: longhorn-system
createNamespace: true
installationNamespace: kube-system
valuesFile: longhorn.yaml
- name: metal3
version: 307.0.31+up0.16.0
repositoryName: suse-edge-charts
targetNamespace: metal3-system
createNamespace: true
installationNamespace: kube-system
valuesFile: metal3.yaml
- name: metallb
version: 307.0.3+up0.16.1
targetNamespace: metallb-system
createNamespace: true
repositoryName: suse-edge-charts
installationNamespace: kube-system
- name: rancher-turtles-providers
version: 307.0.8+up0.27.0
repositoryName: suse-edge-charts
targetNamespace: cattle-turtles-system
createNamespace: true
installationNamespace: kube-system
- name: neuvector-crd
version: 110.0.1+up2.11.1
repositoryName: rancher-charts
targetNamespace: neuvector
createNamespace: true
installationNamespace: kube-system
valuesFile: neuvector.yaml
- name: neuvector
version: 110.0.1+up2.11.1
repositoryName: rancher-charts
targetNamespace: neuvector
createNamespace: true
installationNamespace: kube-system
valuesFile: neuvector.yaml
- name: rancher
version: 2.15.1
repositoryName: rancher-prime
targetNamespace: cattle-system
createNamespace: true
installationNamespace: kube-system
valuesFile: rancher.yaml
repositories:
- name: jetstack
url: https://charts.jetstack.io
- name: rancher-charts
url: https://charts.rancher.io/
- name: suse-edge-charts
url: oci://registry.suse.com/edge/charts
- name: rancher-prime
url: https://charts.rancher.com/server-charts/prime
- name: rancher-application-collection
url: oci://dp.apps.rancher.io/charts
authentication:
username: $\{APPS.RANCHER.IO_USERNAME\}
password: $\{APPS.RANCHER.IO_ACCESS_TOKEN\}
network:
apiHost: $API_HOST
apiVIP: $API_VIP
nodes:
- hostname: mgmt-cluster-node1
initializer: true
type: server
# - hostname: mgmt-cluster-node2
# type: server
# - hostname: mgmt-cluster-node3
# type: serverhelm 部分包含要安装的 Helm chart 列表、要使用的存储库以及所有这些内容的版本配置。
network 部分包含网络配置,例如 RKE2 组件要使用的 apiHost 和 apiVIP。
apiVIP 应为网络中未使用的 IP 地址,且不应属于 DHCP 池(如果我们使用 DHCP 的话)。此外,当我们在多节点集群中使用 apiVIP 时,它用于访问 Kubernetes API 服务器。
apiHost 是 RKE2 组件要使用的 apiVIP 的名称解析。
nodes 部分包含集群中要使用的节点列表。在此示例中,使用的是单节点集群,但可以通过向列表中添加更多节点(取消注释行)来将其扩展为多节点集群。
集群中的节点名称必须唯一。
(可选)使用
initializer字段指定启动主机,否则它将是列表中的第一个节点。当需要网络配置时,节点名称必须与 网络文件夹 (第 29.5 节 “Networking 文件夹”) 中定义的主机名相同。
29.3 自定义文件夹 #
custom 文件夹包含以下子文件夹:
...
├── custom
│ ├── scripts
│ │ ├── 99-register.sh
│ │ ├── 99-mgmt-setup.sh
│ │ └── 99-alias.sh
│ └── files
│ ├── rancher.sh
│ ├── mgmt-stack-setup.service
│ ├── metal3.sh
│ └── basic-setup.sh
...custom/files文件夹包含管理集群要使用的配置文件。custom/scripts文件夹包含管理集群要使用的脚本。
custom/files 文件夹包含以下文件:
basic-setup.sh:包含Metal3、Rancher和MetalLB的配置参数。仅当您想要更改要使用的名称空间时才修改此文件。#!/bin/bash # Pre-requisites. Cluster already running export KUBECTL="/var/lib/rancher/rke2/bin/kubectl" export KUBECONFIG="/etc/rancher/rke2/rke2.yaml" ################## # METAL3 DETAILS # ################## export METAL3_CHART_TARGETNAMESPACE="metal3-system" ########### # METALLB # ########### export METALLBNAMESPACE="metallb-system" ########### # RANCHER # ########### export RANCHER_CHART_TARGETNAMESPACE="cattle-system" export RANCHER_FINALPASSWORD="adminadminadmin" die(){ echo ${1} 1>&2 exit ${2} }metal3.sh:包含要使用的Metal3组件的配置(无需修改)。在未来的版本中,此脚本将被替换为使用Rancher Turtles,以简化操作。#!/bin/bash set -euo pipefail BASEDIR="$(dirname "$0")" source ${BASEDIR}/basic-setup.sh METAL3LOCKNAMESPACE="default" METAL3LOCKCMNAME="metal3-lock" trap 'catch $? $LINENO' EXIT catch() { if [ "$1" != "0" ]; then echo "Error $1 occurred on $2" ${KUBECTL} delete configmap ${METAL3LOCKCMNAME} -n ${METAL3LOCKNAMESPACE} fi } # Get or create the lock to run all those steps just in a single node # As the first node is created WAY before the others, this should be enough # TODO: Investigate if leases is better if [ $(${KUBECTL} get cm -n ${METAL3LOCKNAMESPACE} ${METAL3LOCKCMNAME} -o name | wc -l) -lt 1 ]; then ${KUBECTL} create configmap ${METAL3LOCKCMNAME} -n ${METAL3LOCKNAMESPACE} --from-literal foo=bar else exit 0 fi # Wait for metal3 while ! ${KUBECTL} wait --for condition=ready -n ${METAL3_CHART_TARGETNAMESPACE} $(${KUBECTL} get pods -n ${METAL3_CHART_TARGETNAMESPACE} -l app.kubernetes.io/name=metal3-ironic -o name) --timeout=10s; do sleep 2 ; done # Get the ironic IP IRONICIP=$(${KUBECTL} get cm -n ${METAL3_CHART_TARGETNAMESPACE} ironic -o jsonpath='{.data.IRONIC_IP}') # If LoadBalancer, use metallb, else it is NodePort if [ $(${KUBECTL} get svc -n ${METAL3_CHART_TARGETNAMESPACE} metal3-metal3-ironic -o jsonpath='{.spec.type}') == "LoadBalancer" ]; then # Wait for metallb while ! ${KUBECTL} wait --for condition=ready -n ${METALLBNAMESPACE} $(${KUBECTL} get pods -n ${METALLBNAMESPACE} -l app.kubernetes.io/component=controller -o name) --timeout=10s; do sleep 2 ; done # Do not create the ippool if already created ${KUBECTL} get ipaddresspool -n ${METALLBNAMESPACE} ironic-ip-pool -o name || cat <<-EOF | ${KUBECTL} apply -f - apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: ironic-ip-pool namespace: ${METALLBNAMESPACE} spec: addresses: - ${IRONICIP}/32 serviceAllocation: priority: 100 serviceSelectors: - matchExpressions: - {key: app.kubernetes.io/name, operator: In, values: [metal3-ironic]} EOF # Same for L2 Advs ${KUBECTL} get L2Advertisement -n ${METALLBNAMESPACE} ironic-ip-pool-l2-adv -o name || cat <<-EOF | ${KUBECTL} apply -f - apiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: ironic-ip-pool-l2-adv namespace: ${METALLBNAMESPACE} spec: ipAddressPools: - ironic-ip-pool EOF fi # Clean up the lock cm ${KUBECTL} delete configmap ${METAL3LOCKCMNAME} -n ${METAL3LOCKNAMESPACE}rancher.sh:包含要使用的Rancher组件的配置(无需修改)。#!/bin/bash set -euo pipefail BASEDIR="$(dirname "$0")" source ${BASEDIR}/basic-setup.sh RANCHERLOCKNAMESPACE="default" RANCHERLOCKCMNAME="rancher-lock" if [ -z "${RANCHER_FINALPASSWORD}" ]; then # If there is no final password, then finish the setup right away exit 0 fi trap 'catch $? $LINENO' EXIT catch() { if [ "$1" != "0" ]; then echo "Error $1 occurred on $2" ${KUBECTL} delete configmap ${RANCHERLOCKCMNAME} -n ${RANCHERLOCKNAMESPACE} fi } # Get or create the lock to run all those steps just in a single node # As the first node is created WAY before the others, this should be enough # TODO: Investigate if leases is better if [ $(${KUBECTL} get cm -n ${RANCHERLOCKNAMESPACE} ${RANCHERLOCKCMNAME} -o name | wc -l) -lt 1 ]; then ${KUBECTL} create configmap ${RANCHERLOCKCMNAME} -n ${RANCHERLOCKNAMESPACE} --from-literal foo=bar else exit 0 fi # Wait for rancher to be deployed while ! ${KUBECTL} wait --for condition=ready -n ${RANCHER_CHART_TARGETNAMESPACE} $(${KUBECTL} get pods -n ${RANCHER_CHART_TARGETNAMESPACE} -l app=rancher -o name) --timeout=10s; do sleep 2 ; done until ${KUBECTL} get ingress -n ${RANCHER_CHART_TARGETNAMESPACE} rancher > /dev/null 2>&1; do sleep 10; done RANCHERBOOTSTRAPPASSWORD=$(${KUBECTL} get secret -n ${RANCHER_CHART_TARGETNAMESPACE} bootstrap-secret -o jsonpath='{.data.bootstrapPassword}' | base64 -d) RANCHERHOSTNAME=$(${KUBECTL} get ingress -n ${RANCHER_CHART_TARGETNAMESPACE} rancher -o jsonpath='{.spec.rules[0].host}') # Skip the whole process if things have been set already if [ -z $(${KUBECTL} get settings.management.cattle.io first-login -ojsonpath='{.value}') ]; then # Add the protocol RANCHERHOSTNAME="https://${RANCHERHOSTNAME}" TOKEN="" while [ -z "${TOKEN}" ]; do # Get token sleep 2 TOKEN=$(curl -sk -X POST ${RANCHERHOSTNAME}/v3-public/localProviders/local?action=login -H 'content-type: application/json' -d "{\"username\":\"admin\",\"password\":\"${RANCHERBOOTSTRAPPASSWORD}\"}" | jq -r .token) done # Set password curl -sk ${RANCHERHOSTNAME}/v3/users?action=changepassword -H 'content-type: application/json' -H "Authorization: Bearer $TOKEN" -d "{\"currentPassword\":\"${RANCHERBOOTSTRAPPASSWORD}\",\"newPassword\":\"${RANCHER_FINALPASSWORD}\"}" # Create a temporary API token (ttl=60 minutes) APITOKEN=$(curl -sk ${RANCHERHOSTNAME}/v3/token -H 'content-type: application/json' -H "Authorization: Bearer ${TOKEN}" -d '{"type":"token","description":"automation","ttl":3600000}' | jq -r .token) curl -sk ${RANCHERHOSTNAME}/v3/settings/server-url -H 'content-type: application/json' -H "Authorization: Bearer ${APITOKEN}" -X PUT -d "{\"name\":\"server-url\",\"value\":\"${RANCHERHOSTNAME}\"}" curl -sk ${RANCHERHOSTNAME}/v3/settings/telemetry-opt -X PUT -H 'content-type: application/json' -H 'accept: application/json' -H "Authorization: Bearer ${APITOKEN}" -d '{"value":"out"}' fi # Clean up the lock cm ${KUBECTL} delete configmap ${RANCHERLOCKCMNAME} -n ${RANCHERLOCKNAMESPACE}mgmt-stack-setup.service:包含在首次启动期间运行脚本以创建 systemd 服务的配置(无需修改)。[Unit] Description=Setup Management stack components Wants=network-online.target # It requires rke2 or k3s running, but it will not fail if those services are not present After=network.target network-online.target rke2-server.service k3s.service # At least, the basic-setup.sh one needs to be present ConditionPathExists=/opt/mgmt/bin/basic-setup.sh [Service] User=root Type=forking # Metal3 can take A LOT to download the IPA image TimeoutStartSec=1800 ExecStartPre=/bin/sh -c "echo 'Setting up Management components...'" # Scripts are executed in StartPre because Start can only run a single one ExecStartPre=/opt/mgmt/bin/rancher.sh ExecStartPre=/opt/mgmt/bin/metal3.sh ExecStart=/bin/sh -c "echo 'Finished setting up Management components'" RemainAfterExit=yes KillMode=process # Disable & delete everything ExecStartPost=rm -f /opt/mgmt/bin/rancher.sh ExecStartPost=rm -f /opt/mgmt/bin/metal3.sh ExecStartPost=rm -f /opt/mgmt/bin/basic-setup.sh ExecStartPost=/bin/sh -c "systemctl disable mgmt-stack-setup.service" ExecStartPost=rm -f /etc/systemd/system/mgmt-stack-setup.service [Install] WantedBy=multi-user.target
custom/scripts 文件夹包含以下文件:
99-alias.sh脚本:包含管理集群在首次启动时用于加载 kubeconfig 文件的别名(无需修改)。#!/bin/bash echo "alias k=kubectl" >> /etc/profile.local echo "alias kubectl=/var/lib/rancher/rke2/bin/kubectl" >> /etc/profile.local echo "export KUBECONFIG=/etc/rancher/rke2/rke2.yaml" >> /etc/profile.local99-mgmt-setup.sh脚本:包含在首次启动期间复制脚本的配置(无需修改)。#!/bin/bash # Copy the scripts from combustion to the final location mkdir -p /opt/mgmt/bin/ for script in basic-setup.sh rancher.sh metal3.sh; do cp ${script} /opt/mgmt/bin/ done # Copy the systemd unit file and enable it at boot cp mgmt-stack-setup.service /etc/systemd/system/mgmt-stack-setup.service systemctl enable mgmt-stack-setup.service99-register.sh脚本:包含使用 SCC 注册代码注册系统的配置。必须正确设置${SCC_ACCOUNT_EMAIL}和${SCC_REGISTRATION_CODE}才能使用您的帐户注册系统。#!/bin/bash set -euo pipefail # Registration https://www.suse.com/support/kb/doc/?id=000018564 if ! which SUSEConnect > /dev/null 2>&1; then zypper --non-interactive install suseconnect-ng fi SUSEConnect --email "${SCC_ACCOUNT_EMAIL}" --url "https://scc.suse.com" --regcode "${SCC_REGISTRATION_CODE}"
29.4 Kubernetes 文件夹 #
kubernetes 文件夹包含以下子文件夹:
...
├── kubernetes
│ ├── manifests
│ │ ├── rke2-ingress-config.yaml
│ │ ├── neuvector-namespace.yaml
│ │ ├── ingress-l2-adv.yaml
│ │ └── ingress-ippool.yaml
│ ├── helm
│ │ └── values
│ │ ├── rancher.yaml
│ │ ├── neuvector.yaml
│ │ ├── metal3.yaml
│ │ └── certmanager.yaml
│ └── config
│ └── server.yaml
...kubernetes/config 文件夹包含以下文件:
server.yaml:默认安装的CNI插件是Cilium,因此您无需创建此文件夹和文件来进行设置。如果您需要自定义CNI插件,可以使用kubernetes/config文件夹下的server.yaml文件。它包含以下信息:cni: - multus - cilium write-kubeconfig-mode: '0644' selinux: true system-default-registry: registry.rancher.com
os-files/var/lib/rancher/rke2/server/manifests 文件夹包含以下文件:
rke2-ingress-config.yaml:包含为管理集群创建(基于 Traefik 的)Ingress服务的配置(除了.providers节外无需修改:如果未部署/不打算部署在其Ingress节中包含ingress-nginx注释的.metadataAPI 对象,则需将其去除)。apiVersion: helm.cattle.io/v1 kind: HelmChartConfig metadata: name: rke2-traefik namespace: kube-system spec: valuesContent: |- ingressClass: isDefaultClass: true ports: web: hostPort: null # disallow hostPort exposedPort: 80 websecure: hostPort: null # disallow hostPort exposedPort: 443 service: enabled: true spec: type: LoadBalancer externalTrafficPolicy: Local allocateLoadBalancerNodePorts: false providers: kubernetesIngressNGINX: # this provider allows traefik to "understand" most of the ingress-nginx annotations enabled: true ingressClass: "rke2-ingress-nginx-migration" controllerClass: "rke2.cattle.io/ingress-nginx-migration"
HelmChartConfig 必须通过 os-files 包含到 /var/lib/rancher/rke2/server/manifests 目录中,而不是像以前版本中描述的那样通过 kubernetes/manifests 包含。
kubernetes/manifests 文件夹包含以下文件:
neuvector-namespace.yaml:包含创建NeuVector名称空间的配置(无需修改)。apiVersion: v1 kind: Namespace metadata: labels: pod-security.kubernetes.io/enforce: privileged name: neuvectoringress-l2-adv.yaml:包含为MetalLB组件创建L2Advertisement的配置(无需修改)。apiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: ingress-l2-adv namespace: metallb-system spec: ipAddressPools: - ingress-ippoolingress-ippool.yaml:包含为rke2-traefik组件创建 MetalLBIPAddressPool对象的配置。必须将${INGRESS_VIP}设置为预留给rke2-traefik负载均衡器服务的外部(虚拟)IP 地址。apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: ingress-ippool namespace: metallb-system spec: addresses: - ${INGRESS_VIP}/32 serviceAllocation: priority: 100 serviceSelectors: - matchExpressions: - {key: app.kubernetes.io/name, operator: In, values: [rke2-traefik]}
kubernetes/helm/values 文件夹包含以下文件:
rancher.yaml:包含创建Rancher组件的配置。必须正确设置${INGRESS_VIP},以定义要由Rancher组件使用的 IP 地址。访问Rancher组件的 URL 将为https://rancher-${INGRESS_VIP}.sslip.io。hostname: rancher-${INGRESS_VIP}.sslip.io bootstrapPassword: "foobar" replicas: 1 global: cattle: systemDefaultRegistry: "registry.rancher.com"neuvector.yaml:包含创建NeuVector组件的配置(无需修改)。controller: replicas: 1 ranchersso: enabled: true manager: enabled: false cve: scanner: enabled: false replicas: 1 k3s: enabled: true crdwebhook: enabled: false registry: "registry.rancher.com" global: cattle: systemDefaultRegistry: "registry.rancher.com"longhorn.yaml:包含创建Longhorn组件的配置。为确保在引导时下载必要的容器镜像,请添加您的 Rancher 应用程序集合凭据。privateRegistry: createSecret: true registryUrl: dp.apps.rancher.io registryUser: $\{APPS.RANCHER.IO_USERNAME\} registryPasswd: $\{APPS.RANCHER.IO_ACCESS_TOKEN\} registrySecret: rancher-app-collectionmetal3.yaml:包含创建Metal3组件的配置。必须正确设置${METAL3_VIP},以定义要由Metal3组件使用的 IP 地址。global: ironicIP: ${METAL3_VIP} enable_vmedia_tls: false predictableNicNames: "true" # trustedCAs: tls-ca-bundle # Optional: Uncomment and set to ConfigMap name for additional trusted CAs metal3-ironic: ipa: useHauler: false persistence: ironic: size: "5Gi"重要metal3-ironic.ipa.useHaulerHelm chart 参数 must 在隔离的环境中设置为true(布尔数据类型);这指示 Metal3 从嵌入式制品仓库中检索ironic-python-agent(IPA) 容器镜像,而不是尝试从互联网下载它。此 IPA 容器镜像必须额外包含在 EIB 隔离环境镜像定义文件 (第 30.1 节 “定义文件中的修改”)的embeddedArtifactRegistry.images列表中。
媒体服务器是 Metal3 中包含的一项可选功能(默认情况下处于禁用状态)。要使用 Metal3 功能,您需要在之前的清单中对其进行配置。 要使用 Metal3 媒体服务器,请指定以下变量:
将
enable_metal3_media_server添加到true以在全局部分启用媒体服务器功能。包含有关媒体服务器的以下配置,其中 $\{MEDIA_VOLUME_PATH} 是媒体中的媒体卷路径(例如
/home/metal3/bmh-image-cache)。metal3-media: mediaVolume: hostPath: ${MEDIA_VOLUME_PATH}
可以使用外部媒体服务器来存储镜像,如果您希望将其与 TLS 一起使用,则需要为 Metal3 提供受信任的 CA 捆绑包。
准备 CA 捆绑包:
首先,准备您的 CA 捆绑包文件,其中包含 Metal3 所需的所有证书。这包括您的外部媒体服务器的 CA 证书。
+ *可选 - 系统 CA 捆绑包:*如果 Metal3还需要信任公共 CA(例如,在访问外部 HTTPS 资源时),您可以包含系统 CA 捆绑包。从容器镜像中提取它,并将其与您的自定义证书连接起来:
+
# Extract system CAs from a container image
podman run --rm registry.suse.com/bci/bci-base:latest cat /etc/ssl/certs/ca-certificates.crt > system-cas.pem
# Concatenate system CAs with your custom CA
cat system-cas.pem your-custom-ca.crt > ca-bundle.pem+ 或者,如果您只需要您的自定义 CA:
+
cp your-custom-ca.crt ca-bundle.pem+
如果您包含系统 CA 捆绑包,则有责任使其保持最新。容器镜像中的系统 CA 捆绑包可能会随着证书过期或被吊销而过时。通过从更新的容器镜像中重新提取来定期刷新捆绑包。
创建 ConfigMap:
您可以通过两种方式创建 ConfigMap:
*使用清单文件(推荐用于 EIB):*创建文件
kubernetes/manifests/metal3-cacert-configmap.yaml并以内联方式包含 CA 证书包内容。您需要使用 4 个空格正确缩进证书的每一行:apiVersion: v1 kind: Namespace metadata: name: metal3-system --- apiVersion: v1 kind: ConfigMap metadata: name: tls-ca-bundle namespace: metal3-system data: ca-bundle.pem: | -----BEGIN CERTIFICATE----- MIIDXTCCAkWgAwIBAgIJAKJ... (your certificate content here) ... -----END CERTIFICATE----- -----BEGIN CERTIFICATE----- MIIEkjCCA3qgAwIBAgIQCgF... (additional certificates if any) ... -----END CERTIFICATE-----要从您的
ca-bundle.pem自动填充此文件,可以使用:cat > kubernetes/manifests/metal3-cacert-configmap.yaml <<EOF apiVersion: v1 kind: Namespace metadata: name: metal3-system --- apiVersion: v1 kind: ConfigMap metadata: name: tls-ca-bundle namespace: metal3-system data: ca-bundle.pem: | $(sed 's/^/ /' ca-bundle.pem) EOF*使用 kubectl 直接操作(适用于手动部署):*如果您不使用 EIB 并希望直接在集群上创建 ConfigMap:
kubectl -n metal3-system create configmap tls-ca-bundle --from-file=ca-bundle.pem=./ca-bundle.pem将
metal3.yaml文件中的global.trustedCAs值设置为引用 ConfigMap 名称:global: trustedCAs: tls-ca-bundle
certmanager.yaml:包含创建Cert-Manager组件的配置(无需修改)。installCRDs: true
29.5 Networking 文件夹 #
network 文件夹包含的文件数量与管理集群中的节点数量相同。在本例中,我们只有一个节点,因此只有一个名为 mgmt-cluster-node1.yaml 的文件。
文件名必须与上述 network/node 部分中 mgmt-cluster.yaml 定义文件中定义的主机名相匹配。
如果您需要自定义网络配置,例如使用特定的静态 IP 地址(无 DHCP 场景),则可以使用 network 文件夹下的 mgmt-cluster-node1.yaml 文件。它包含以下信息:
${MGMT_GATEWAY}:网关 IP 地址。${MGMT_DNS}:DNS 服务器 IP 地址。${MGMT_MAC}:网络接口的 MAC 地址。${MGMT_NODE_IP}:管理集群的 IP 地址。
routes:
config:
- destination: 0.0.0.0/0
metric: 100
next-hop-address: ${MGMT_GATEWAY}
next-hop-interface: eth0
table-id: 254
dns-resolver:
config:
server:
- ${MGMT_DNS}
- 8.8.8.8
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: ${MGMT_MAC}
ipv4:
address:
- ip: ${MGMT_NODE_IP}
prefix-length: 24
dhcp: false
enabled: true
ipv6:
enabled: false如果您想使用 DHCP 获取 IP 地址,可以使用以下配置(必须使用 ${MGMT_MAC} 变量正确设置 MAC 地址):
## This is an example of a dhcp network configuration for a management cluster
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: ${MGMT_MAC}
ipv4:
dhcp: true
enabled: true
ipv6:
enabled: false根据管理集群中的节点数量,您可以创建更多类似
mgmt-cluster-node2.yaml、mgmt-cluster-node3.yaml等的文件来配置其余节点。routes部分用于定义管理集群的路由表。
30 隔离环境的镜像准备 #
本节介绍了如何为隔离环境准备镜像,仅显示与前几节的不同之处。为隔离环境准备镜像,需要对上一节(连接环境的镜像准备 (第 29 章 “联网环境的映像准备”))进行以下更改:
必须修改
mgmt-cluster.yaml文件以包含embeddedArtifactRegistry部分,并将images字段设置为要包含在 EIB 输出镜像中的所有容器镜像。在隔离环境中使用时,必须删除
custom/scripts/99-register.sh脚本。
若要在管理集群中包含 SUSE Private Registry 以供将来进行下游部署,还需要进行以下更改:
必须修改
mgmt-cluster.yaml文件以包含 helm chart 部分以及带有新镜像的嵌入式工件,以便将它们包含在 EIB 输出镜像中。kubernetes/values和kubernetes/manifests文件夹必须包含额外的清单文件,以便在管理集群中正确配置 SUSE Private Registry。
30.1 定义文件中的修改 #
必须修改 mgmt-cluster.yaml 文件以包含 embeddedArtifactRegistry 部分。
在本节中,images 字段必须包含要包含在输出镜像中的所有容器镜像的列表。
以下示例 mgmt-cluster.yaml 文件同时包含了 embeddedArtifactRegistry 部分和 SUSE Private Registry 功能。
请确保所列镜像包含您需要的组件版本。
此镜像列表是本示例中所示管理集群组件的经过验证的基准,而非详尽的目录。任何额外或动态预配的工作负载(例如额外的 Rancher 目录应用程序或针对特定硬件的组件,如 SR-IOV 设备插件)都会在运行时拉取各自的容器镜像。在部署到完全隔离的环境之前,请独立识别这些镜像并将其添加到 embeddedArtifactRegistry.images 列表中。
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: SL-Micro.x86_64-6.2-Base-SelfInstall-GM.install.iso
outputImageName: eib-mgmt-cluster-image.iso
operatingSystem:
isoConfiguration:
installDevice: /dev/sda
users:
- username: root
encryptedPassword: $ROOT_PASSWORD
packages:
packageList:
- jq
sccRegistrationCode: $SCC_REGISTRATION_CODE
kubernetes:
version: v1.36.3+rke2r1
helm:
charts:
- name: private-registry-helm
createNamespace: true
installationNamespace: kube-system
repositoryName: privateregistry
targetNamespace: suse-private-registry
valuesFile: privateregistry.yaml
version: 1.1.1
- name: cert-manager
repositoryName: jetstack
version: 1.20.1
targetNamespace: cert-manager
valuesFile: certmanager.yaml
createNamespace: true
installationNamespace: kube-system
- name: suse-storage
releaseName: longhorn
version: 1.12.1
repositoryName: rancher-application-collection
targetNamespace: longhorn-system
createNamespace: true
installationNamespace: kube-system
valuesFile: longhorn.yaml
- name: metallb
version: 307.0.3+up0.16.1
targetNamespace: metallb-system
createNamespace: true
repositoryName: suse-edge-charts
installationNamespace: kube-system
- name: metal3
version: 307.0.31+up0.16.0
repositoryName: suse-edge-charts
targetNamespace: metal3-system
createNamespace: true
installationNamespace: kube-system
valuesFile: metal3.yaml
- name: rancher-turtles-providers
version: 307.0.8+up0.27.0
repositoryName: suse-edge-charts
targetNamespace: cattle-turtles-system
createNamespace: true
installationNamespace: kube-system
- name: neuvector-crd
version: 110.0.1+up2.11.1
repositoryName: rancher-charts
targetNamespace: neuvector
createNamespace: true
installationNamespace: kube-system
valuesFile: neuvector.yaml
- name: neuvector
version: 110.0.1+up2.11.1
repositoryName: rancher-charts
targetNamespace: neuvector
createNamespace: true
installationNamespace: kube-system
valuesFile: neuvector.yaml
- name: rancher
version: 2.15.1
repositoryName: rancher-prime
targetNamespace: cattle-system
createNamespace: true
installationNamespace: kube-system
valuesFile: rancher.yaml
repositories:
- name: jetstack
url: https://charts.jetstack.io
- name: rancher-charts
url: https://charts.rancher.io/
- name: suse-edge-charts
url: oci://registry.suse.com/edge/charts
- name: rancher-prime
url: https://charts.rancher.com/server-charts/prime
- name: rancher-application-collection
url: oci://dp.apps.rancher.io/charts
authentication:
username: $\{APPS.RANCHER.IO_USERNAME\}
password: $\{APPS.RANCHER.IO_ACCESS_TOKEN\}
- name: privateregistry
authentication:
username: ${PRIVATE_REGISTRY_USERNAME}
password: ${PRIVATE_REGISTRY_PASSWORD}
plainHTTP: false
skipTLSVerify: false
url: oci://registry.suse.com/private-registry
network:
apiHost: $API_HOST
apiVIP: $API_VIP
nodes:
- hostname: mgmt-cluster-node1
initializer: true
type: server
# - hostname: mgmt-cluster-node2
# type: server
# - hostname: mgmt-cluster-node3
# type: server
embeddedArtifactRegistry:
registries:
- uri: dp.apps.rancher.io
authentication:
username: $\{APPS.RANCHER.IO_USERNAME\}
password: $\{APPS.RANCHER.IO_ACCESS_TOKEN\}
- uri: registry.suse.com
authentication:
username: ${PRIVATE_REGISTRY_USERNAME}
password: ${PRIVATE_REGISTRY_PASSWORD}
images:
- name: registry.suse.com/private-registry/harbor-core:1.1.1-1.19
- name: registry.suse.com/private-registry/harbor-jobservice:1.1.1-1.19
- name: registry.suse.com/private-registry/harbor-portal:1.1.1-1.20
- name: registry.suse.com/private-registry/harbor-registry:1.1.1-1.19
- name: registry.suse.com/private-registry/harbor-registryctl:1.1.1-1.19
- name: registry.suse.com/private-registry/harbor-trivy-adapter:1.1.1-1.24
- name: registry.rancher.com/rancher/hardened-cluster-autoscaler:v1.10.3-build20260717
- name: registry.rancher.com/rancher/hardened-cni-plugins:v1.9.1-build20260717
- name: registry.rancher.com/rancher/hardened-coredns:v1.14.6-build20260722
- name: registry.rancher.com/rancher/hardened-k8s-metrics-server:v0.9.0-build20260722
- name: registry.rancher.com/rancher/hardened-multus-cni:v4.3.0-build20260722
- name: registry.rancher.com/rancher/hardened-traefik:v3.7.8-build20260717
- name: registry.rancher.com/rancher/klipper-helm:v0.13.3-build20260727
- name: registry.rancher.com/rancher/mirrored-cilium-cilium:v1.19.6
- name: registry.rancher.com/rancher/mirrored-cilium-operator-generic:v1.19.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-attacher:4.12.0-17.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-provisioner:5.3.0-17.8
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-resizer:2.2.1-10.8
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-snapshotter:8.6.0-17.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-livenessprobe:2.19.0-17.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-node-driver-registrar:2.17.0-17.6
- name: dp.apps.rancher.io/containers/longhorn-backing-image-manager:1.12.1-1.5
- name: dp.apps.rancher.io/containers/longhorn-engine:1.12.1-1.6
- name: dp.apps.rancher.io/containers/longhorn-instance-manager:1.12.1-1.7
- name: dp.apps.rancher.io/containers/longhorn-manager:1.12.1-1.5
- name: dp.apps.rancher.io/containers/longhorn-share-manager:1.12.1-1.5
- name: dp.apps.rancher.io/containers/longhorn-ui:1.12.1-1.3
- name: dp.apps.rancher.io/containers/rancher-support-bundle-kit:0.0.92-13.12
- name: registry.rancher.com/rancher/mirrored-sig-storage-snapshot-controller:v8.2.0
- name: registry.rancher.com/rancher/neuvector-compliance-config:1.0.16
- name: registry.rancher.com/rancher/neuvector-controller:5.6.1
- name: registry.rancher.com/rancher/neuvector-enforcer:5.6.1
- name: registry.rancher.com/rancher/neuvector-updater:0.0.14
- name: registry.rancher.com/rancher/nginx-ingress-controller:v1.14.5-hardened2
- name: registry.suse.com/rancher/cluster-api-addon-provider-fleet:v0.15.0
- name: registry.rancher.com/rancher/fleet-agent:v0.16.1
- name: registry.rancher.com/rancher/fleet:v0.16.1
- name: registry.rancher.com/rancher/rancher-webhook:v0.11.1
- name: registry.rancher.com/rancher/turtles:v0.27.1
- name: registry.rancher.com/rancher/rancher:v2.15.1
- name: registry.rancher.com/rancher/rancher-agent:v2.15.1
- name: registry.rancher.com/rancher/shell:v0.8.1
- name: registry.rancher.com/rancher/system-upgrade-controller:v0.20.1
- name: registry.rancher.com/rancher/cluster-api-controller:v1.13.3
- name: registry.suse.com/rancher/cluster-api-provider-metal3:v1.13.2
- name: registry.suse.com/rancher/cluster-api-provider-rke2-bootstrap:v0.25.0
- name: registry.suse.com/rancher/cluster-api-provider-rke2-controlplane:v0.25.0
- name: registry.rancher.com/rancher/ip-address-manager:v1.13.2
- name: registry.rancher.com/rancher/kubectl:v1.35.2
- name: registry.rancher.com/rancher/scc-operator:v0.5.1
- name: registry.suse.com/edge/3.7/ironic-python-agent:3.0.10
- name: registry.suse.com/edge/3.7/node-feature-discovery:v0.18.2
- name: registry.suse.com/edge/3.7/ib-sriov-cni:v1.3.030.2 自定义文件夹中的修改 #
在隔离环境中使用时,必须删除
custom/scripts/99-register.sh脚本。正如您在目录结构中所见,99-register.sh脚本未包含在custom/scripts文件夹中。
30.3 kubernetes 文件夹中的修改 #
更新
kubernetes/helm/values/metal3.yaml文件,将metal3-ironic.ipa.useHaulerHelm chart 参数设置为true(布尔数据类型)。global: ironicIP: ${METAL3_VIP} enable_vmedia_tls: false predictableNicNames: "true" # trustedCAs: tls-ca-bundle # Optional: Uncomment and set to ConfigMap name for additional trusted CAs metal3-ironic: ipa: useHauler: true persistence: ironic: size: "5Gi"更新
kubernetes/helm/values/rancher.yaml文件以修改hostname参数。在隔离的环境中,无法访问类似sslip.io的外部 DNS 解析服务。您有两个选择:选项 1:使用内部 DNS(推荐):配置您的内部 DNS 服务器以解析 Rancher 主机名并相应地更新文件:
hostname: rancher.yourdomain.internal bootstrapPassword: "foobar" replicas: 1 global: cattle: systemDefaultRegistry: "registry.rancher.com"选项 2:使用 /etc/hosts 注入:如果您没有内部 DNS 服务器,则可以通过 EIB 注入静态
/etc/hosts条目。在您的 EIB 目录结构中的eib/os-files/etc/hosts处创建一个文件,其内容如下:# Static DNS resolution for Rancher in air-gapped environment ${INGRESS_VIP} rancher-${INGRESS_VIP}.sslip.io然后更新
rancher.yaml文件以使用此主机名:hostname: rancher-${INGRESS_VIP}.sslip.io bootstrapPassword: "foobar" replicas: 1 global: cattle: systemDefaultRegistry: "registry.rancher.com"重要使用选项 2 时,请记住
/etc/hosts文件需要存在于任何需要访问 Rancher UI 的系统上,而不仅仅是管理集群节点。
您需要在以下文件中修改
${MGMT_CLUSTER_REGISTRY_IP},并为 SUSE Private Registry 保留静态 IP:kubernetes/manifests/metallb-registry.yamlapiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: private-registry namespace: metallb-system spec: ipAddressPools: - private-registry-pool --- apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: private-registry-pool namespace: metallb-system spec: addresses: - ${MGMT_CLUSTER_REGISTRY_IP}/32 serviceAllocation: namespaces: - suse-private-registrykubernetes/helm/values/privateregistry.yamlcore: secretName: suse-registry-tls expose: tls: certSource: secret enabled: true secret: secretName: suse-registry-tls type: loadBalancer externalURL: https://${MGMT_CLUSTER_REGISTRY_IP} persistence: persistentVolumeClaim: registry: size: 20Gi
必须创建
kubernetes/manifests/suse-private-registry-creds.yaml并包含以下内容:
apiVersion: v1
kind: Secret
metadata:
name: suse-registry
namespace: suse-private-registry
type: kubernetes.io/dockerconfigjson
data:
.dockerconfigjson: ${DOCKER_CONFIG_JSON_BASE64}
---
apiVersion: v1
kind: Secret
metadata:
name: suse-registry-tls
namespace: suse-private-registry
type: kubernetes.io/tls
data:
tls.crt: ${TLS_CRT_BASE64}
tls.key: ${TLS_KEY_BASE64}您需要修改 ${DOCKER_CONFIG_JSON_BASE64}、${TLS_CRT_BASE64} 和 ${TLS_KEY_BASE64}。要正确配置 docker config json (base64),您可以执行以下操作:
# ${DOCKER_CONFIG_JSON_BASE64} CONTENT
echo -n '{"auths":{"<MGMT_CLUSTER_REGISTRY_IP>":{"username":"<USERNAME>","password":"<PASSWORD>","auth":"<AUTH>"}}}' | base64 -w 0其中 IP 与之前配置的 ${MGMT_CLUSTER_REGISTRY_IP} 相同,<USERNAME> 和 <PASSWORD> 值可以从 SUSE Private Registry 官方文档 中获取;在 auth 字段中设置的 <AUTH> 值是 <USERNAME>:<PASSWORD> 连接的 base64 编码。
要设置上述 suse-registry-tls Secret 清单中 tls.crt 和 tls.key 字段的内容,您可以通过运行以下命令生成自己的 TLS 自签名证书和相关的私钥:
# Generate a self-signed certificate and key
openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -sha256 -days 365 -nodes
# Convert them to base64 for the suse-private-registry-creds.yaml file
cat cert.pem | base64 -w 0
cat key.pem | base64 -w 031 映像创建 #
在按照前几节准备好目录结构(针对连接和隔离两种场景)后,运行以下命令来构建映像:
podman run --rm --privileged -it -v $PWD:/eib \
registry.suse.com/edge/3.7/edge-image-builder:1.3.4 \
build --definition-file mgmt-cluster.yaml这将创建 ISO 输出映像文件,在我们的例子中,基于上述描述的映像定义,该文件为 eib-mgmt-cluster-image.iso。
32 配置管理集群 #
之前的映像包含上述所有组件,可用于使用虚拟机或裸机服务器(使用虚拟媒体功能)来配置管理集群。
33 双栈注意事项和配置 #
前几节中显示的示例提供了关于如何设置单栈 IPv4 管理集群的指导和示例。此类管理集群独立于下游集群的运行状态,下游集群在部署后可单独配置为以 IPv4/IPv6 单栈或双栈配置运行。然而,管理集群的配置方式对配置阶段可以使用的通信协议有直接影响,其中带内和带外通信都必须根据管理集群和下游主机支持的协议进行。如果预期部分或全部 BMC 和/或下游集群节点使用 IPv6,则需要为管理集群设置双栈。
尚不支持单栈 IPv6 管理集群。
为了实现双栈功能,必须为 Kubernetes 提供用于 POD 和服务的 IPv4 和 IPv6 CIDR。然而,在构建带有 EIB 的管理集群映像之前,其他组件也需要进行特定的调整。Metal3 配置服务 (Ironic) 可以根据您的基础设施或需求以不同方式进行配置:
Ironic 服务可以配置为侦听系统上的所有接口,而不是单个 IP 地址,因此,只要管理集群主机具有分配给相关接口的 IPv4 和 IPv6 地址,它们中的任何一个都可能在配置期间被使用。请注意,目前只能选择其中一个地址用于 URL 生成(供其他服务使用,例如 Baremetal Operator、BMC 等);因此,为了启用与 BMC 的 IPv6 通信,可以在处理包含 IPv6 地址的 BMH 定义时,指示 Baremetal Operator 公开并传递 IPv6 URL。换句话说,当 BMC 被识别为支持 IPv6 时,配置将仅通过 IPv6 执行,而在所有其他情况下则通过 IPv4 执行。
单个主机名(解析为 IPv4 和 IPv6)可供 Metal3 使用,以让 Ironic 使用这些地址进行绑定和 URL 创建。这种方法允许简单的配置和灵活的行为(IPv4 和 IPv6 在每个配置步骤中均保持可用),但需要具备预先存在的 DNS 服务器、IP 分配和记录的基础设施。
在这两种情况下,Kubernetes 都需要知道要为 IPv4 和 IPv6 使用哪些 CIDR,因此您可以将以下行添加到 EIB 目录中的 kubernetes/config/server.yaml,并确保先列出 IPv4:
service-cidr: 10.96.0.0/12,fd12:4567:789c::/112
cluster-cidr: 193.168.0.0/18,fd12:4567:789b::/48部分容器利用主机网络,因此请修改 network 目录下主机(或多个主机)的网络配置,以启用 IPv6 连接:
routes:
config:
- destination: 0.0.0.0/0
next-hop-address: ${MGMT_GATEWAY_V4}
next-hop-interface: eth0
- destination: ::/0
next-hop-address: ${MGMT_GATEWAY_V6}
next-hop-interface: eth0
dns-resolver:
config:
server:
- ${MGMT_DNS}
- 8.8.8.8
- 2001:4860:4860::8888
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: ${MGMT_MAC}
ipv4:
address:
- ip: ${MGMT_CLUSTER_IP_V4}
prefix-length: 24
dhcp: false
enabled: true
ipv6:
address:
- ip: ${MGMT_CLUSTER_IP_V6}
prefix-length: 128
dhcp: false
autoconf: false
enabled: true将占位符替换为网关 IP 地址、额外的 DNS 服务器(如果需要)、网络接口的 MAC 地址以及管理集群的 IP 地址。如果首选地址自动配置,请参考以下摘录并仅设置 ${MGMT_MAC} 变量:
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: ${MGMT_MAC}
ipv4:
enabled: true
dhcp: true
ipv6:
enabled: false
dhcp: true
autoconf: true现在,我们可以从第一个选项开始,通过创建 kubernetes/helm/values/metal3.yaml 来定义单节点配置的其余文件,如下所示:
global:
ironicIP: ${MGMT_CLUSTER_IP_V4}
enable_vmedia_tls: false
# trustedCAs: tls-ca-bundle # Optional: Uncomment and set to ConfigMap name for trusted CA bundle
metal3-ironic:
global:
predictableNicNames: true
listenOnAll: true
persistence:
ironic:
size: "5Gi"
service:
type: NodePort
metal3-baremetal-operator:
baremetaloperator:
externalHttpIPv6: ${MGMT_CLUSTER_IP_V6}和 kubernetes/helm/values/rancher.yaml,如下所示:
hostname: rancher-${MGMT_CLUSTER_IP_V4}.sslip.io
bootstrapPassword: "foobar"
replicas: 1
global:
cattle:
systemDefaultRegistry: "registry.rancher.com"其中 ${MGMT_CLUSTER_IP_V4} 和 ${MGMT_CLUSTER_IP_V6} 是之前分配给主机的 IP 地址。
或者,若要使用主机名代替 IP 地址,请将 kubernetes/helm/values/metal3.yaml 修改为:
global:
provisioningHostname: `${MGMT_CLUSTER_HOSTNAME}`
enable_vmedia_tls: false
# trustedCAs: tls-ca-bundle # Optional: Uncomment and set to ConfigMap name for trusted CA bundle
metal3-ironic:
global:
predictableNicNames: true
persistence:
ironic:
size: "5Gi"
service:
type: NodePort并将 kubernetes/helm/values/rancher.yaml 修改为:
hostname: rancher-${MGMT_CLUSTER_HOSTNAME}.sslip.io
bootstrapPassword: "foobar"
replicas: 1
global:
cattle:
systemDefaultRegistry: "registry.rancher.com"其中 ${MGMT_CLUSTER_HOSTNAME} 应为解析为您主机 IP 地址的完全限定域名。
如需更多信息,请访问 SUSE Telco Cloud GitHub 储存库下的“dual-stack”文件夹,其中可以找到示例目录结构。
第 VI 部分 电信功能配置 #
本节记录并解释了通过 SUSE Telco Cloud 部署的集群上电信特定功能的配置。
使用了定向网络配置部署方法,如 自动配置 (第 VII 部分 “全自动定向网络配置”) 一节所述。
本节涵盖以下主题:
实时内核镜像 (第 34 章 “实时内核镜像”):实时内核使用的内核镜像。
低延迟和高性能的内核参数 (第 35 章 “用于低延迟和高性能的内核参数”):用于运行电信工作负载以实现最高性能和低延迟的内核参数。
主机上的 CPU 绑定 (第 36 章 “主机上的 CPU 绑定”):通过内核参数和 TuneD 控制文件隔离 CPU。
Kubernetes 上的 CPU 绑定 (第 37 章 “Kubernetes 上的 CPU 绑定”):通过 Kubelet 配置在 Kubernetes 上隔离 CPU。
网络参数 (第 38 章 “网络参数”):用于实现最佳性能和低延迟的网络调优参数。
CNI 配置 (第 39 章 “CNI 配置”):Kubernetes 集群使用的 CNI 配置。
SR-IOV 配置 (第 40 章 “SR-IOV”):Kubernetes 工作负载使用的 SR-IOV 配置。
DPDK 配置 (第 41 章 “DPDK”):系统使用的 DPDK 配置。
vRAN 加速 (第 42 章 “vRAN 加速 (
Intel ACC100/VRB1/VRB2)”):将 FEC 算法计算卸载到 vRAN 加速卡。大页 (第 43 章 “大页”):供 Kubernetes 工作负载使用的大页配置。
NUMA 感知调度配置 (第 44 章 “NUMA 感知调度”):供 Kubernetes 工作负载使用的 NUMA 感知调度配置。
Metal LB 配置 (第 45 章 “Metal LB”):供 Kubernetes 工作负载使用的 Metal LB 配置。
私有镜像仓库配置 (第 46 章 “私有镜像仓库配置”):供 Kubernetes 工作负载使用的私有镜像仓库配置。
精确时间协议配置 (第 47 章 “精确时间协议”):用于运行 PTP 电信控制文件的配置文件。
SCTP 配置 (第 48 章 “SCTP - 流控制传输协议”):在 Linux 内核 IP 协议栈中启用 SCTP 层。
- 34 实时内核镜像
实时内核镜像并不一定比标准内核更好。 它是一个针对特定用例进行调优的不同内核。实时内核针对更低的延迟进行了调优,但代价是吞吐量降低。不建议将实时内核用于通用目的,但在我们的案例中,这是延迟为关键因素的电信工作负载的推荐内核。
- 35 用于低延迟和高性能的内核参数
配置适当的内核参数对于优化性能、实现低延迟以及确保电信工作负载的集群部署成功至关重要。虽然某些参数是专门为使实时内核发挥最佳功能而设计的,但本节适用于 RT 和默认内核配置。此外,某些参数对于定向网络配置 (Directed Network Provisioning) 方法成功部署下游集群节点是强制性的。
- 36 主机上的 CPU 绑定
CPU 绑定(也称为处理器亲和性)是一种将进程或线程绑定到特定 CPU 内核的技术,可防止操作系统的调度程序对其进行移动。通过确保进程始终在同一个内核上运行,它能够受益于对保留在该内核缓存内存中的数据的更快访问。这种做法在高性能计算环境中很常见,因为它能显著提高性能并减少开销。
- 37 Kubernetes 上的 CPU 绑定
通过编辑 RKE2 配置文件,在您的 RKE2 集群中启用 CPU 绑定。在
/etc/rancher/rke2/config.yaml文件中添加以下 kubelet 参数。确保在kubelet-reserved和system-reserved参数中指定内务管理内核:- 38 网络参数
网络调优对于在电信工作负载中实现最佳性能至关重要。performance-settings.sh 脚本包含一个
configure_network_tuning函数,该函数设置各种内核网络参数以优化缓冲区大小、数据包处理和 UDP 性能。- 39 CNI 配置
Cilium是 SUSE Telco Cloud 的默认 CNI 插件。 要在 RKE2 集群上启用 Cilium 作为默认插件,需要在/etc/rancher/rke2/config.yaml文件中进行以下配置:- 40 SR-IOV
SR-IOV(单根 I/O 虚拟化)允许单个物理设备(例如网络适配器)将其资源分散到多个
PCIe硬件功能中。这使得各种应用程序能够直接访问资源。- 41 DPDK
DPDK(Data Plane Development Kit) 是一组用于快速数据包处理的库和驱动程序。它用于加速在各种 CPU 架构上运行的数据包处理工作负载。 DPDK 包括数据平面库和针对以下内容优化的网络接口卡 (NIC) 驱动程序:- 42 vRAN 加速 (
Intel ACC100/VRB1/VRB2) 随着通信服务提供商从 4G 网络转向 5G 网络,许多提供商正在采用虚拟化无线接入网 (vRAN) 架构,以实现更高的信道容量,并更轻松地部署基于边缘的服务和应用程序。vRAN 解决方案非常适合提供低延迟服务,并能够根据实时流量和网络需求灵活地增加或减少容量。
- 43 大页
当进程使用
RAM时,CPU标记了该进程所使用的确切部分。为了实现效率,CPU以称为pages的块分配RAM;在许多平台上,默认的page大小为4 KB。页面可以交换到磁盘(以及执行其他操作)。- 44 NUMA 感知调度
非一致性内存访问或非一致性内存架构 (
NUMA) 是一种用于SMP(多处理器)架构的物理内存设计,其中内存访问时间取决于内存相对于处理器的位置。在NUMA下,处理器访问其本地内存的速度比访问非本地内存(即另一个处理器的本地内存或处理器间共享的内存)要快。- 45 Metal LB
MetalLB是一种用于裸机 Kubernetes 集群的负载均衡器实现,使用L2和BGP等标准路由协议作为通告协议。它是一种网络负载均衡器,由于在裸机上需要使用 Kubernetes 服务类型LoadBalancer,因此可用于将 Kubernetes 集群中的服务暴露给外部世界。- 46 私有镜像仓库配置
可以配置
Containerd以连接到私有镜像仓库,并使用它们在每个节点上拉取私有镜像。- 47 精确时间协议
由 IEEE 1588 标准定义的精确时间协议 (PTP) 可在分组网络中分发高精度时间。当网络接口卡 (NIC) 在硬件中对 PTP 数据包进行时间戳标记时,其精度可达到亚微秒级,远超 NTP 所能提供的精度。在电信环境中,PTP 是 5G 无线接入网 (RAN) 的核心构建模块,其中无线单元需要严格的相位和时间对齐才能正确传输。SUSE Telco Cloud 通过
linuxptp软件包实现 PTP,并针对下述 ITU-T G.8275.1 和 ITU-T G.8275.2 电信控制文件。- 48 SCTP - 流控制传输协议
34 实时内核镜像 #
实时内核镜像并不一定比标准内核更好。 它是一个针对特定用例进行调优的不同内核。实时内核针对更低的延迟进行了调优,但代价是吞吐量降低。不建议将实时内核用于通用目的,但在我们的案例中,这是延迟为关键因素的电信工作负载的推荐内核。
有四大主要功能:
确定性执行:
获得更高的可预测性——确保关键业务流程始终能按时完成,并在系统负载较重时依然提供高质量服务。通过为高优先级进程屏蔽关键系统资源,您可以确保时间敏感型应用具有更高的可预测性。
低抖动:
建立在高度确定性技术之上的低抖动有助于保持应用与现实世界的同步。这有助于需要持续和重复计算的服务。
优先级继承:
优先级继承指的是较低优先级进程在存在一个较高优先级进程时,能够提升为较高优先级的能力,即当较高优先级进程需要较低优先级进程先完成任务后才能继续时,较低优先级进程可以临时获得较高优先级。SUSE Linux Enterprise Real Time 为关键任务进程解决了这些优先级反转问题。
线程中断:
在一般操作系统中以中断方式运行的进程是不可抢先的。借助 SUSE Linux Enterprise Real Time,这些中断已被内核线程封装,这些内核线程是可中断的,并允许硬件中断和软件中断被用户定义的更高优先级进程抢先。
在我们的案例中,如果您已安装类似
SUSE Linux Micro RT的实时镜像,则实时内核已安装。您可以从 SUSE Customer Center 下载实时内核镜像。
35 用于低延迟和高性能的内核参数 #
配置适当的内核参数对于优化性能、实现低延迟以及确保电信工作负载的集群部署成功至关重要。虽然某些参数是专门为使实时内核发挥最佳功能而设计的,但本节适用于 RT 和默认内核配置。此外,某些参数对于定向网络配置 (Directed Network Provisioning) 方法成功部署下游集群节点是强制性的。
使用 SUSE 实时内核时,请去除
kthread_cpus。此参数控制在哪些 CPU 上创建内核线程。它还控制允许 PID 1 和加载内核模块(kmod 用户空间辅助程序)使用哪些 CPU。此参数无法识别,且不起任何作用。使用
isolcpus、nohz_full、rcu_nocbs和irqaffinity隔离 CPU 核心。有关 CPU 绑定技术的完整列表,请参阅 CPU Pinning on Host (第 36 章 “主机上的 CPU 绑定”) 章节。将
domain,nohz,managed_irq标志添加到isolcpus内核参数中。在没有任何标志的情况下,isolcpus等同于仅指定domain标志。这会将指定的 CPU 从调度中隔离出来,包括内核任务。nohz标志会停止指定 CPU 上的调度程序节拍(如果 CPU 上只有一个可运行任务),而managed_irq标志则避免将受管外部(设备)中断路由到指定的 CPU。请注意,NVMe 设备的 IRQ 线路完全由内核管理,因此它们将被路由到非隔离(常规)核心。例如,本节末尾提供的命令行将导致系统上仅分配四个队列(外加一个管理/控制队列):for I in $(grep nvme0 /proc/interrupts | cut -d ':' -f1); do cat /proc/irq/${I}/effective_affinity_list; done | column 39 0 19 20 39此行为可防止磁盘 I/O 对运行在隔离核心上的任何时间敏感型应用程序造成干扰,但对于以存储为主的工作负载,可能需要特别关注并进行仔细设计。
调整时钟节拍(内核的周期性定时器中断):
skew_tick=1:时钟节拍有时会同时发生。skew_tick=1不会让所有 CPU 在同一时刻接收定时器节拍,而是使它们在略有偏差的时间发生。这有助于减少系统抖动,从而实现更一致且更低的中断响应时间(这是延迟敏感型应用程序的基本要求)。nohz=on:停止空闲 CPU 上的周期性定时器节拍。nohz_full=<cpu-cores>:停止专用于实时应用程序的指定 CPU 上的周期性定时器节拍。
通过指定
mce=off来禁用机器检查异常 (MCE) 处理。MCE 是处理器检测到的硬件错误,禁用它们可以避免产生冗余日志。添加
nowatchdog以禁用软锁定监视程序,该监视程序实现为在定时器硬中断上下文中运行的定时器。当它过期(即检测到软锁定)时,它将打印一条警告(在硬中断上下文中),从而影响任何延迟目标。即使它永不过期,它也会进入计时器列表,从而略微增加每次计时器中断的开销。此选项还会禁用 NMI 看门狗,因此 NMI 不会产生干扰。nmi_watchdog=0禁用 NMI(不可屏蔽中断)看门狗。使用nowatchdog时可以省略此项。RCU(读取-复制-更新)是一种内核机制,它使多个读取者能够对共享数据进行并发、无锁的访问。RCU 回调是一种在“宽限期”后触发的函数,它确保所有先前的读取者都已完成工作,以便可以安全地回收旧数据。我们对 RCU 进行微调,特别是针对敏感工作负载,将这些回调从专用(固定)CPU 上卸载,防止内核操作干扰关键的、时间敏感的任务。
在
rcu_nocbs中指定固定 CPU,以便 RCU 回调不会在这些 CPU 上运行。这有助于减少实时工作负载的抖动和延迟。rcu_nocb_poll使无回调 CPU 定期“轮询”以查看是否需要处理回调。这可以减少中断开销。rcupdate.rcu_cpu_stall_suppress=1禁止 RCU CPU 停滞警告,在负载繁重的实时系统中,这些警告有时可能是误报。rcupdate.rcu_expedited=1加快 RCU 操作的宽限期,使读取侧临界区响应更迅速。rcupdate.rcu_normal_after_boot=1当与 rcu_expedited 一起使用时,它允许 RCU 在系统引导后恢复为正常(非加速)操作。rcupdate.rcu_task_stall_timeout=0禁用 RCU 任务停滞检测器,防止因长时间运行的 RCU 任务而产生潜在的警告或系统挂起。rcutree.kthread_prio=99将 RCU 回调内核线程的优先级设置为最高值(99),确保在需要时它能被立即调度并及时处理回调。
添加
ignition.platform.id=openstack用于 Metal3 和 Cluster API,以成功部署或撤销部署集群。这由 Metal3 Python 代理使用,该代理源自 OpenStack Ironic。通过
net.ifnames=1启用 可预测网络接口命名。从 SUSE Linux Micro 6.2 开始,此功能默认启用,无需进行显式配置。对于 6.2 之前的版本,必须将其显式设置为内核参数。这与管理集群的 Metal3 Helm 图表中的predictableNicNames配置一致,这是定向网络配置正常运行所必需的。当使用 SR-IOV 时,一致的接口命名也至关重要。去除
intel_pstate=passive。此选项配置intel_pstate以与通用 cpufreq 调控器配合使用,但为了使其生效,它会产生禁用硬件管理的 P-states (HWP) 的副作用。为了减少硬件延迟,不建议将此选项用于实时工作负载。将
intel_idle.max_cstate=0 processor.max_cstate=1替换为idle=poll。为了避免 C-State 转换,使用idle=poll选项来禁用 C-State 转换并使 CPU 保持在最高 C-State。intel_idle.max_cstate=0选项禁用intel_idle,因此使用acpi_idle,然后acpi_idle.max_cstate=1为 acpi_idle 设置最大 C-state。 在 AMD64/Intel 64 架构上,第一个 ACPI C-State 始终是POLL,但它使用poll_idle()函数,该函数可能会通过定期读取时钟并在超时后在do_idle()中重新启动主循环来引入一些微小的延迟(这也涉及清除和设置TIF_POLL任务标志)。 相比之下,idle=poll在紧密循环中运行,忙等待任务被重新调度。这最大限度地减少了退出空闲状态的延迟,但代价是使 CPU 在空闲线程中全速运行。在 BIOS 中禁用 C1E。此选项对于在 BIOS 中禁用 C1E 状态非常重要,以避免 CPU 在空闲时进入 C1E 状态。C1E 状态是一种低功耗状态,在 CPU 空闲时可能会引入延迟。
本文档的其余部分涵盖了其他参数,包括大页和 IOMMU。
这提供了一个 32 核 Intel 服务器的内核参数示例,包括上述调整:
$ cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.4.0-9-rt root=UUID=77b713de-5cc7-4d4c-8fc6-f5eca0a43cf9 skew_tick=1 rd.timeout=60 rd.retry=45 console=ttyS1,115200 console=tty0 default_hugepagesz=1G hugepagesz=1G hugepages=40 hugepagesz=2M hugepages=0 ignition.platform.id=openstack net.ifnames=1 intel_iommu=on iommu=pt irqaffinity=0,31,32,63 isolcpus=domain,nohz,managed_irq,1-30,33-62 nohz_full=1-30,33-62 nohz=on mce=off nosoftlockup nowatchdog nmi_watchdog=0 quiet rcu_nocb_poll rcu_nocbs=1-30,33-62 rcupdate.rcu_cpu_stall_suppress=1 rcupdate.rcu_expedited=1 rcupdate.rcu_normal_after_boot=1 rcupdate.rcu_task_stall_timeout=0 rcutree.kthread_prio=99 security=selinux selinux=1 idle=poll这是另一个 64 核 AMD 服务器的配置示例。在 128 个逻辑处理器 (0-127) 中,前 8 个内核 (0-7) 被指定用于内务管理,而其余 120 个内核 (8-127) 则固定用于应用程序:
$ cat /proc/cmdline
BOOT_IMAGE=/boot/vmlinuz-6.4.0-9-rt root=UUID=575291cf-74e8-42cf-8f2c-408a20dc00b8 skew_tick=1 console=ttyS1,115200 console=tty0 default_hugepagesz=1G hugepagesz=1G hugepages=40 hugepagesz=2M hugepages=0 ignition.platform.id=openstack net.ifnames=1 amd_iommu=on iommu=pt irqaffinity=0-7 isolcpus=domain,nohz,managed_irq,8-127 nohz_full=8-127 rcu_nocbs=8-127 mce=off nohz=on nowatchdog nmi_watchdog=0 nosoftlockup quiet rcu_nocb_poll rcupdate.rcu_cpu_stall_suppress=1 rcupdate.rcu_expedited=1 rcupdate.rcu_normal_after_boot=1 rcupdate.rcu_task_stall_timeout=0 rcutree.kthread_prio=99 security=selinux selinux=1 idle=poll36 主机上的 CPU 绑定 #
CPU 绑定(也称为处理器亲和性)是一种将进程或线程绑定到特定 CPU 内核的技术,可防止操作系统的调度程序对其进行移动。通过确保进程始终在同一个内核上运行,它能够受益于对保留在该内核缓存内存中的数据的更快访问。这种做法在高性能计算环境中很常见,因为它能显著提高性能并减少开销。
36.1 通过 TuneD 隔离 CPU 内核 #
tuned 是一款系统调优工具,它通过监控系统状况并使用各种预定义的控制文件来优化性能。其一个关键特性是能够为特定工作负载(如实时应用程序)隔离 CPU 内核。这可以防止操作系统利用这些内核,从而避免潜在的延迟增加。
要启用和配置此功能,首先要为我们想要隔离的 CPU 内核创建一个控制文件。在此示例中,在 64 个内核中,我们分配 60 个内核 (1-30,33-62) 给应用程序,其余 4 个内核用于内务管理。请注意,隔离 CPU 的设计在很大程度上取决于实时应用程序。
$ echo "export tuned_params" >> /etc/grub.d/00_tuned
$ echo "isolated_cores=1-30,33-62" >> /etc/tuned/cpu-partitioning-variables.conf
$ tuned-adm profile cpu-partitioning
Tuned (re)started, changes applied.36.2 通过内核参数隔离 CPU 内核 #
然后,我们需要修改 GRUB 选项以隔离 CPU 内核以及其他用于 CPU 使用的重要参数。 以下选项对于根据您当前的硬件规格进行自定义非常重要:
| parameter | value | 描述 |
|---|---|---|
isolcpus | domain,nohz,managed_irq,1-30,33-62 | 隔离 1-30 和 33-62 号内核。 |
skew_tick | 1 | 此选项允许内核在隔离的 CPU 之间偏移计时器中断。 |
nohz | on | 启用后,内核的周期性计时器中断(“滴答”)将在任何变为空闲的处理器内核上停止。这主要使负责后台任务的处理器 ( |
nohz_full | 1-30,33-62 | 对于隔离的内核,即使 CPU 正在运行单个活动任务,这也会停止时钟滴答。这意味着它使 CPU 以完全无滴答模式(或“dyntick”)运行。内核仅在实际需要时才会发送定时器中断。 |
rcu_nocbs | 1-30,33-62 | 此选项将 RCU 回调处理从指定的 CPU 内核卸载。 |
rcu_nocb_poll | 设置此选项后,无 RCU 回调的 CPU 将定期“轮询”以查看是否需要处理回调,而不是被其他 CPU 显式唤醒。这可以减少中断开销。 | |
irqaffinity | 0,31,32,63 | 此选项允许内核将中断运行在内务管理核心上。 |
空闲 | 巡回检测 | 这最大限度地减少了退出空闲状态的延迟,但代价是使 CPU 在空闲线程中全速运行。 |
nmi_watchdog | 0 | 此选项仅禁用 NMI 看门狗。当设置 |
nowatchdog | 此选项禁用在定时器硬中断上下文中作为定时器运行的软锁定看门狗。 |
以下命令修改 GRUB 配置并应用上述更改,以便在下次启动时生效:
使用上述参数编辑 /etc/default/grub 文件,文件内容将如下所示:
GRUB_CMDLINE_LINUX="BOOT_IMAGE=/boot/vmlinuz-6.4.0-9-rt root=UUID=77b713de-5cc7-4d4c-8fc6-f5eca0a43cf9 skew_tick=1 rd.timeout=60 rd.retry=45 console=ttyS1,115200 console=tty0 default_hugepagesz=1G hugepagesz=1G hugepages=40 hugepagesz=2M hugepages=0 ignition.platform.id=openstack net.ifnames=1 intel_iommu=on iommu=pt irqaffinity=0,31,32,63 isolcpus=domain,nohz,managed_irq,1-30,33-62 nohz_full=1-30,33-62 nohz=on mce=off nosoftlockup nowatchdog nmi_watchdog=0 quiet rcu_nocb_poll rcu_nocbs=1-30,33-62 rcupdate.rcu_cpu_stall_suppress=1 rcupdate.rcu_expedited=1 rcupdate.rcu_normal_after_boot=1 rcupdate.rcu_task_stall_timeout=0 rcutree.kthread_prio=99 security=selinux selinux=1 idle=poll"更新 GRUB 配置:
$ transactional-update grub.cfg
$ reboot要验证参数在重启后是否已应用,可以使用以下命令检查内核命令行:
$ cat /proc/cmdline还有另一个脚本可用于调整处理器配置和网络参数,它基本上执行以下步骤:
将 CPU 调控器设置为
performance。取消定时器向隔离 CPU 的迁移。
将 kdaemon 线程迁移至内务管理内核。
将隔离 CPU 的延迟设置为尽可能低的值。
将 vmstat 更新延迟至 300 秒。
配置网络调优参数以实现最佳性能。
该脚本可在 SUSE Telco Cloud Examples 储存库 中找到。
37 Kubernetes 上的 CPU 绑定 #
37.1 RKE2 Versions < v1.32 #
通过编辑 RKE2 配置文件,在您的 RKE2 集群中启用 CPU 绑定。在 /etc/rancher/rke2/config.yaml 文件中添加以下 kubelet 参数。确保在 kubelet-reserved 和 system-reserved 参数中指定内务管理内核:
kubelet-arg:
- "cpu-manager-policy=static"
- "cpu-manager-policy-options=full-pcpus-only=true"
- "cpu-manager-reconcile-period=0s"
- "kubelet-reserved=cpu=0,31,32,63"
- "system-reserved=cpu=0,31,32,63"37.2 RKE2 Versions >= v1.32 #
如果您的 RKE2 版本为 v1.32 或更高版本,则无法使用命令行参数来配置 kubelet,这遵循了上游 Kubernetes 的做法。要设置 CPU 绑定,需要创建一个 kubelet 配置文件。请参阅 RKE2 文档。
创建一个新的 kubelet 配置文件(例如 01-cpu-pinning.conf)并将其放置在 /var/lib/rancher/rke2/agent/etc/kubelet.conf.d/ 目录中:
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cpuManagerPolicy: static
reservedSystemCPUs: 0,31,32,63
topologyManagerPolicy: single-numa-node要使配置更改生效,需要重启相应的 RKE2 服务(server 或 agent)。此操作将短暂中断主机上的 RKE2 服务。根据节点类型,仅运行以下命令之一:
# If the node is RKE2 agent
systemctl restart rke2-agent
# Else if the node is RKE2 server
systemctl restart rke2-server37.3 部署利用绑定 CPU 的工作负载 #
根据您在工作负载上定义的请求和限制,有三种方法可以使用 kubelet 中定义的 Static Policy 来使用此功能:
BestEffortQoS 类:如果您未为CPU定义任何请求或限制,则 Pod 将被调度到系统上第一个可用的CPU。使用
BestEffortQoS 类的一个示例如下:spec: containers: - name: nginx image: nginxBurstableQoS 类:如果您定义的 CPU 请求不等于限制,或者没有 CPU 请求。以下是使用
BurstableQoS 类的示例:spec: containers: - name: nginx image: nginx resources: limits: memory: "200Mi" requests: memory: "100Mi"或
spec: containers: - name: nginx image: nginx resources: limits: memory: "200Mi" cpu: "2" requests: memory: "100Mi" cpu: "1"GuaranteedQoS 类:如果您定义的 CPU 请求等于限制。使用
GuaranteedQoS 类的一个示例如下:spec: containers: - name: nginx image: nginx resources: limits: memory: "200Mi" cpu: "2" requests: memory: "200Mi" cpu: "2"
38 网络参数 #
网络调优对于在电信工作负载中实现最佳性能至关重要。performance-settings.sh 脚本包含一个 configure_network_tuning 函数,该函数设置各种内核网络参数以优化缓冲区大小、数据包处理和 UDP 性能。
所提供的网络调优值是经过测试和验证的示例。但是,应根据您的具体用例、工作负载要求和硬件配置进行调整。
脚本配置了以下网络参数:
38.1 核心网络参数 #
net.core.rmem_max(1342177280 字节):最大接收套接字缓冲区大小。此参数设置可为任何套接字上的数据接收分配的最大内存量。net.core.wmem_max(516777216 字节):最大发送套接字缓冲区大小。此参数设置可为任何套接字上的数据发送分配的最大内存量。net.core.rmem_default(10000000 字节):默认接收套接字缓冲区大小。这是在新套接字上接收数据的初始缓冲区大小。net.core.wmem_default(10000000 字节):默认发送套接字缓冲区大小。这是在新套接字上发送数据的初始缓冲区大小。net.core.netdev_max_backlog(416384 包):当接口接收数据包的速度快于内核处理速度时,输入端排队的最大数据包数。增加此值有助于防止流量突发期间的数据包丢失。net.core.optmem_max(25165824 字节):每个套接字允许的最大辅助缓冲区大小。这会影响选项内存缓冲区的大小。net.core.netdev_budget(1024 包):在一次软中断运行中可以处理的最大数据包数。这有助于控制数据包处理期间的处理器利用率。
38.2 UDP 特定参数 #
net.ipv4.udp_mem(11416320 15221760 22832640 页面):控制 UDP 使用的内存量(以页面为单位)。这三个值分别代表:最小阈值:低于此值时,UDP 不会受到压力
压力阈值:UDP 开始施加内存压力
最大阈值:UDP 的最大内存页数
net.ipv4.udp_rmem_min(16384 字节):UDP 套接字的最小接收缓冲区大小。确保 UDP 接收的基准缓冲区大小。net.ipv4.udp_wmem_min(16384 字节):UDP 套接字的最小发送缓冲区大小。确保 UDP 传输的基准缓冲区大小。
38.3 实时调度 #
kernel.sched_rt_runtime_us(-1):禁用实时节流机制。将其设置为 -1 可允许实时任务使用无限的处理器时间,这对于需要确定性延迟的电信工作负载至关重要。
当使用 SUSE Telco Cloud Examples 储存库中的 performance-settings.sh 脚本时,这些参数会自动配置。该脚本应集成到您的镜像构建过程中,如 自动化部署 (第 VII 部分 “全自动定向网络配置”) 部分所述。
39 CNI 配置 #
39.1 Cilium #
Cilium 是 SUSE Telco Cloud 的默认 CNI 插件。
要在 RKE2 集群上启用 Cilium 作为默认插件,需要在 /etc/rancher/rke2/config.yaml 文件中进行以下配置:
cni:
- cilium这也可以通过命令行参数指定,即将 --cni=cilium 添加到 /etc/systemd/system/rke2-server 文件的服务器行中。
要将 SR-IOV 中描述的 第 40.2 节 “选项 2(推荐):SR-IOV Network Operator” 网络与 Cilium 一起使用,请部署 multus 元插件。确保 multus 列在其他 CNI 之前。
cni:
- multus
- cilium39.2 Calico #
Calico 是用于 Telco 的 SUSE Telco Cloud 的另一个 CNI 插件。
要在 RKE2 集群上启用 Calico 作为默认插件,需要在 /etc/rancher/rke2/config.yaml 文件中进行以下配置:
cni:
- calico这也可以通过命令行参数指定,即将 --cni=calico 添加到 /etc/systemd/system/rke2-server 文件的服务器行中。
要将 SR-IOV 中描述的 第 40.2 节 “选项 2(推荐):SR-IOV Network Operator” 网络与 Calico 一起使用,请部署 multus 元插件。确保 multus 列在其他 CNI 之前。
cni:
- multus
- calico39.3 Bond CNI #
通常情况下,绑定提供了一种将多个网络接口聚合为单个逻辑“绑定”接口的方法。这通常用于通过引入冗余网络路径来提高服务可用性,但也可以用于通过某些绑定模式来增加带宽。 Bond CNI 插件结合 multus 支持以下 CNI 插件:
MACVLAN
主机设备
SR-IOV
39.3.1 使用 MACVLAN 的 Bond CNI #
要将 Bond CNI 插件与 MACVLAN 配合使用,容器中需要两个空闲接口。以下示例使用“enp8s0”和“enp9s0”。首先为它们创建网络附件定义:
NetworkAttachmentDefinition enp8s0
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: enp8s0-conf
spec:
config: '{
"cniVersion": "0.3.1",
"plugins": [
{
"type": "macvlan",
"capabilities": { "ips": true },
"master": "enp8s0",
"mode": "bridge",
"ipam": {}
}, {
"capabilities": { "mac": true },
"type": "tuning"
}
]
}'NetworkAttachmentDefinition enp9s0
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: enp9s0-conf
spec:
config: '{
"cniVersion": "0.3.1",
"plugins": [
{
"type": "macvlan",
"capabilities": { "ips": true },
"master": "enp9s0",
"mode": "bridge",
"ipam": {}
}, {
"capabilities": { "mac": true },
"type": "tuning"
}
]
}'此后,为绑定本身添加网络附件定义。
NetworkAttachmentDefinition bond
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: bond-net1
spec:
config: '{
"type": "bond",
"cniVersion": "0.3.1",
"name": "bond-net1",
"mode": "active-backup",
"failOverMac": 1,
"linksInContainer": true,
"miimon": "100",
"mtu": 1500,
"links": [
{"name": "net1"},
{"name": "net2"}
],
"ipam": {
"type": "static",
"addresses": [
{
"address": "192.168.200.100/24",
"gateway": "192.168.200.1"
}
],
"subnet": "192.168.200.0/24",
"routes": [{
"dst": "0.0.0.0/0"
}]
}
}'此处的 IP 地址分配是静态的,并将绑定地址定义为 /24 网络上的“192.168.200.100”,网关位于该网络第一个可用地址上。在绑定的网络附件中,我们还定义了所需的绑定类型。在本例中,它是主备模式 (active-backup)。
要使用此绑定,Pod 需要了解所有接口。Pod 定义示例如下:
apiVersion: v1
kind: Pod
metadata:
name: test-pod
annotations:
k8s.v1.cni.cncf.io/networks: '[
{"name": "enp8s0-conf",
"interface": "net1"
},
{"name": "enp9s0-conf",
"interface": "net2"
},
{"name": "bond-net1",
"interface": "bond0"
}]'
spec:
restartPolicy: Never
containers:
- name: bond-test
image: alpine:latest
command:
- /bin/sh
- "-c"
- "sleep 60m"
imagePullPolicy: IfNotPresent请注意注释如何引用所有网络,以及它如何定义接口“enp8s0 → net1”和“enp9s0→net2”之间的映射。
39.3.2 使用主机设备的 Bond CNI #
要将 Bond CNI 插件与主机设备配合使用,主机上需要两个空闲接口。然后,这些接口会被映射到容器中。以下示例使用“enp8s0”和“enp9s0”。首先为它们创建网络附件定义:
NetworkAttachmentDefinition enp8s0
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: enp8s0-hostdev
spec:
config: '{
"cniVersion": "0.3.1",
"plugins": [
{
"type": "host-device",
"name": "host0",
"device": "enp8s0",
"ipam": {}
}]
}'NetworkAttachmentDefinition enp9s0
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: enp9s0-hostdev
spec:
config: '{
"cniVersion": "0.3.1",
"plugins": [
{
"type": "host-device",
"name": "host0",
"device": "enp9s0",
"ipam": {}
}]
}'此后,为绑定本身添加网络附件定义。这与 MACVLAN 用例类似。
NetworkAttachmentDefinition bond
apiVersion: "k8s.cni.cncf.io/v1"
kind: NetworkAttachmentDefinition
metadata:
name: bond-net1
spec:
config: '{
"type": "bond",
"cniVersion": "0.3.1",
"name": "bond-net1",
"mode": "active-backup",
"failOverMac": 1,
"linksInContainer": true,
"miimon": "100",
"mtu": 1500,
"links": [
{"name": "net1"},
{"name": "net2"}
],
"ipam": {
"type": "static",
"addresses": [
{
"address": "192.168.200.100/24",
"gateway": "192.168.200.1"
}
],
"subnet": "192.168.200.0/24",
"routes": [{
"dst": "0.0.0.0/0"
}]
}
}'此处的 IP 地址分配是静态的,并将绑定的地址定义为 /24 网络上的 '192.168.200.100',网关位于该网络第一个可用的地址上。在绑定的网络附件中,定义绑定的类型。在本例中,它是主备模式 (active-backup)。
要使用此绑定,Pod 需要了解所有接口。带有主机设备的绑定的 Pod 定义示例如下:
apiVersion: v1
kind: Pod
metadata:
name: test-pod
annotations:
k8s.v1.cni.cncf.io/networks: '[
{"name": "enp8s0-hostdev",
"interface": "net1"
},
{"name": "enp9s0-hostdev",
"interface": "net2"
},
{"name": "bond-net1",
"interface": "bond0"
}]'
spec:
restartPolicy: Never
containers:
- name: bond-test
image: alpine:latest
command:
- /bin/sh
- "-c"
- "sleep 60m"
imagePullPolicy: IfNotPresent39.3.3 带有 SR-IOV 的 Bond CNI #
使用带有 SR-IOV 的 Bond CNI 非常简单。有关如何设置 SR-IOV 的更多详细信息,请参阅 第 40 章 “SR-IOV”。如其中所述,您必须创建 SriovNetworkNodePolicies 来定义 resourceNames,以及虚拟功能的数量等。resourceNames 正被 SriovNetwork 使用,后者在 Pod 定义中用作接口。绑定定义与 MACVLAN 和主机设备的情况完全相同。
Bond CNI 与 SR-IOV 仅适用于使用内核驱动程序的 SRIOV 虚拟功能 (VF)。用户空间驱动程序 VF(例如 DPDK 工作负载中使用的那些)无法与 Bond CNI 绑定。
40 SR-IOV #
SR-IOV(单根 I/O 虚拟化)允许单个物理设备(例如网络适配器)将其资源分散到多个 PCIe 硬件功能中。这使得各种应用程序能够直接访问资源。
我们为您提供了两种在集群中部署 SR-IOV 的不同方法:
第 40.1 节 “选项 1:SR-IOV 网络设备插件 Daemonset 和 configMap”:此方法同时支持网络设备和 vRAN 加速器。
第 40.2 节 “选项 2(推荐):SR-IOV Network Operator”:这种自动化方法提供了更简单的部署。此方法仅适用于网络设备。
在极少数需要两种解决方案的情况下(即对网络设备使用 Network Operator,对 vRAN 加速器使用 Device Plugin),您必须将它们部署到不同的 Kubernetes 名称空间中。这种分离对于防止两个部署之间的冲突至关重要。
40.1 选项 1:SR-IOV 网络设备插件 Daemonset 和 configMap #
SR-IOV 网络设备插件 可发现并通告 Kubernetes 主机上的网络资源,例如 PCI 物理功能 (PF) 及其虚拟功能 (VF)。
为设备插件准备配置映射 (config map)
我们需要创建一个定义 SR-IOV 资源池的配置映射。运行 lspci 命令以检索信息:
$ lspci | grep -i acc
07:00.0 Processing accelerators: Intel Corporation Device 57c2
07:00.1 Processing accelerators: Intel Corporation Device 57c3
07:00.2 Processing accelerators: Intel Corporation Device 57c3
07:00.3 Processing accelerators: Intel Corporation Device 57c3
07:00.4 Processing accelerators: Intel Corporation Device 57c3
07:00.5 Processing accelerators: Intel Corporation Device 57c3
07:00.6 Processing accelerators: Intel Corporation Device 57c3
07:00.7 Processing accelerators: Intel Corporation Device 57c3
07:01.0 Processing accelerators: Intel Corporation Device 57c3
07:01.1 Processing accelerators: Intel Corporation Device 57c3
07:01.2 Processing accelerators: Intel Corporation Device 57c3
07:01.3 Processing accelerators: Intel Corporation Device 57c3
07:01.4 Processing accelerators: Intel Corporation Device 57c3
07:01.5 Processing accelerators: Intel Corporation Device 57c3
07:01.6 Processing accelerators: Intel Corporation Device 57c3
07:01.7 Processing accelerators: Intel Corporation Device 57c3
07:02.0 Processing accelerators: Intel Corporation Device 57c3
0a:00.0 Processing accelerators: Intel Corporation Device 57c2
$ lspci | grep -i net
19:00.0 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.1 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.2 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
19:00.3 Ethernet controller: Broadcom Inc. and subsidiaries BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet (rev 11)
51:00.0 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:00.1 Ethernet controller: Intel Corporation Ethernet Controller E810-C for QSFP (rev 02)
51:01.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:01.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.0 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.1 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.2 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)
51:11.3 Ethernet controller: Intel Corporation Ethernet Adaptive Virtual Function (rev 02)SR-IOV 设备插件使用包含 JSON 文件的 configMap 来定义 Kubernetes 应公开哪些硬件资源。此配置基于两个核心概念:selectors(用于硬件发现)和 resources(用于 Kubernetes 公开)。
resource 是 Pod 使用的命名实体(例如 rancher.io/intel_fec_5g)。资源可以定义为以下两种类型之一:
accelerator:用于 vRAN 加速卡(如 ACC100/vRAN Boost)。netdevice:用于标准网络接口(NIC)。
您可以使用 selectors 来定义目标设备,以过滤节点上的硬件:
vendors:8086(Intel)devices:57c3(FEC VF),1889(NIC VF)drivers:vfio-pcipfNames:eno16595np0(物理接口名称)
对于网卡,您还可以从物理功能中选择虚拟功能 (VF) 的子集:
pfNames:["eth1#1,2,3,4,5,6"]或[eth1#1-6]
为了允许 Pod 请求这些设备,每个资源都必须有一个名称,该名称由前缀和名称组成:
resourceName:pci_sriov_net_bh_dpdkresourcePrefix:rancher.io
然后,Pod 将请求组合后的资源名称:rancher.io/pci_sriov_net_bh_dpdk。
下方的 ConfigMap 是一个创建三个资源的示例:一个用于 vRAN 加速卡 (FEC),两个用于两个不同的 NIC 端口。
对于 FEC 卡,您必须首先获取设备 ID 和 VFIO 词元。请遵循 第 42 章 “vRAN 加速 (Intel ACC100/VRB1/VRB2)” 章节中的说明以了解先决条件。
apiVersion: v1
kind: ConfigMap
metadata:
name: sriovdp-config
namespace: kube-system
data:
config.json: |
{
"resourceList": [
{
"resourcePrefix": "rancher.io",
"resourceName": "intel_fec_5g",
"deviceType": "accelerator",
"selectors": {
"vendors": ["8086"],
"devices": ["57c3"]
},
"additionalInfo": {
"*": {
"VFIO_TOKEN": "00112233-4455-6677-8899-aabbccddeeff"
}
}
},
{
"resourcePrefix": "rancher.io",
"resourceName": "intel_sriov_odu",
"deviceType": "netdevice",
"selectors": {
"vendors": ["8086"],
"devices": ["1889"],
"drivers": ["vfio-pci"],
"pfNames": ["eno16595np0"]
}
},
{
"resourcePrefix": "rancher.io",
"resourceName": "intel_sriov_oru",
"deviceType": "netdevice",
"selectors": {
"vendors": ["8086"],
"devices": ["1889"],
"drivers": ["vfio-pci"],
"pfNames": ["eno16605np1"]
}
}
]
}准备
daemonset文件以部署设备插件。
该设备插件支持多种架构(arm、amd、ppc64le),因此可以通过为每种架构部署多个 daemonset,将同一个文件用于不同的架构。
apiVersion: v1
kind: ServiceAccount
metadata:
name: sriov-device-plugin
namespace: kube-system
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: kube-sriov-device-plugin-amd64
namespace: kube-system
labels:
tier: node
app: sriovdp
spec:
selector:
matchLabels:
name: sriov-device-plugin
template:
metadata:
labels:
name: sriov-device-plugin
tier: node
app: sriovdp
spec:
hostNetwork: true
nodeSelector:
kubernetes.io/arch: amd64
tolerations:
- key: node-role.kubernetes.io/master
operator: Exists
effect: NoSchedule
serviceAccountName: sriov-device-plugin
containers:
- name: kube-sriovdp
image: registry.suse.com/edge/3.7/sriov-network-device-plugin:v3.10.0
imagePullPolicy: IfNotPresent
args:
- --log-dir=sriovdp
- --log-level=10
securityContext:
privileged: true
resources:
requests:
cpu: "250m"
memory: "40Mi"
limits:
cpu: 1
memory: "200Mi"
volumeMounts:
- name: devicesock
mountPath: /var/lib/kubelet/
readOnly: false
- name: log
mountPath: /var/log
- name: config-volume
mountPath: /etc/pcidp
- name: device-info
mountPath: /var/run/k8s.cni.cncf.io/devinfo/dp
volumes:
- name: devicesock
hostPath:
path: /var/lib/kubelet/
- name: log
hostPath:
path: /var/log
- name: device-info
hostPath:
path: /var/run/k8s.cni.cncf.io/devinfo/dp
type: DirectoryOrCreate
- name: config-volume
configMap:
name: sriovdp-config
items:
- key: config.json
path: config.json应用 configMap 和
daemonset后,设备插件将完成部署,接口将被发现并可供 Pod 使用。$ kubectl get pods -n kube-system | grep sriov kube-system kube-sriov-device-plugin-amd64-twjfl 1/1 Running 0 2m验证所有节点,查看接口是否已被发现并可供 Pod 使用:
$ kubectl get nodes -o json | jq '.items[] | {name: .metadata.name, allocatable: .status.allocatable}' { "name": "node1.suse.edge.com", "allocatable": { "cpu": "64", "ephemeral-storage": "256196109726", "hugepages-1Gi": "40Gi", "hugepages-2Mi": "0", "rancher.io/intel_fec_5g": "16", "rancher.io/intel_sriov_odu": "4", "rancher.io/intel_sriov_oru": "4", "memory": "221396384Ki", "pods": "110" } }FEC加速器的 resourceName 为rancher.io/intel_fec_5g,且有 16 个 VF 可供使用。NIC 卡的 resourceName 分别为
rancher.io/intel_sriov_odu和rancher.io/intel_sriov_oru。每个资源提供 4 个 VF。
如果 Kubernetes 节点中未检测到可分配资源的接口,则必须解决此问题。一个常见原因是 configMap 规范格式错误,因此最好检查 configMap 及其选择器。
40.2 选项 2(推荐):SR-IOV Network Operator #
如果尚未安装 Helm,请获取它:
$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash在
sriov-network-operator命名空间中安装 SR-IOV 网络运营商:
helm install sriov-crd oci://registry.suse.com/edge/charts/sriov-crd -n sriov-network-operator
helm install sriov-network-operator oci://registry.suse.com/edge/charts/sriov-network-operator -n sriov-network-operator检查已部署的 CRD 和 Pod:
$ kubectl get crd
$ kubectl -n sriov-network-operator get pods检查 SR-IOV 标签是否已应用于节点。
当所有资源都在运行时,该标签会自动出现在您的节点中:
$ kubectl get nodes -oyaml | grep feature.node.kubernetes.io/network-sriov.capable
feature.node.kubernetes.io/network-sriov.capable: "true"查看
daemonset以了解新的sriov-network-config-daemon和sriov-rancher-nfd-worker是否处于活动和就绪状态:
$ kubectl get daemonset -n sriov-network-operator
NAMESPACE NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
sriov-network-operator sriov-network-config-daemon 1 1 1 1 1 feature.node.kubernetes.io/network-sriov.capable=true 45m
sriov-network-operator sriov-rancher-nfd-worker 1 1 1 1 1 <none> 45m几分钟后,节点将被检测到并完全配置 SR-IOV 功能。更新有时可能需要长达 10 分钟:
$ kubectl get sriovnetworknodestates -A
NAMESPACE NAME AGE
sriov-network-operator xr11-2 83s检查接口是否已被检测到。
发现的接口应为网络设备的 PCI 地址。使用主机中的 lspci 命令检查此信息。
$ kubectl get sriovnetworknodestates -n sriov-network-operator -oyaml
apiVersion: v1
items:
- apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodeState
metadata:
creationTimestamp: "2023-06-07T09:52:37Z"
generation: 1
name: xr11-2
namespace: sriov-network-operator
ownerReferences:
- apiVersion: sriovnetwork.openshift.io/v1
blockOwnerDeletion: true
controller: true
kind: SriovNetworkNodePolicy
name: default
uid: 80b72499-e26b-4072-a75c-f9a6218ec357
resourceVersion: "356603"
uid: e1f1654b-92b3-44d9-9f87-2571792cc1ad
spec:
dpConfigVersion: "356507"
status:
interfaces:
- deviceID: "1592"
driver: ice
eSwitchMode: legacy
linkType: ETH
mac: 40:a6:b7:9b:35:f0
mtu: 1500
name: eno16595np0
pciAddress: "0000:51:00.0"
totalvfs: 128
vendor: "8086"
- deviceID: "1592"
driver: ice
eSwitchMode: legacy
linkType: ETH
mac: 40:a6:b7:9b:35:f1
mtu: 1500
name: eno16605np1
pciAddress: "0000:51:00.1"
totalvfs: 128
vendor: "8086"
syncStatus: Succeeded
kind: List
metadata:
resourceVersion: ""如果此处未检测到您的接口,请确保它存在于下一个配置映射中:
$ kubectl get cm supported-nic-ids -oyaml -n sriov-network-operator如果未列出您的设备,请通过添加正确的值以进行发现来编辑配置映射。然后重启每个节点上的 sriov-network-config-daemon Pod 以使更新生效。
创建
SriovNetworkNodePolicy以配置VFs
此策略创建资源 intelnicsDpdk,供 Pod 使用。它还将 vfio-pci 驱动程序绑定到提供的 PCI 设备,并创建 8 个 MTU 为 1500 的虚拟功能:
resourceName 字段不得包含任何特殊字符,并且在整个集群中必须是唯一的。
该示例使用 deviceType: vfio-pci,因为 DPDK 与 SR-IOV 结合使用。如果您不使用 DPDK,请配置 deviceType: netdevice(默认值)。
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetworkNodePolicy
metadata:
name: policy-dpdk
namespace: sriov-network-operator
spec:
nodeSelector:
feature.node.kubernetes.io/network-sriov.capable: "true"
resourceName: intelnicsDpdk
deviceType: vfio-pci
numVfs: 8
mtu: 1500
nicSelector:
deviceID: "1592"
vendor: "8086"
rootDevices:
- 0000:51:00.0验证所有节点上的配置:
使用预定义的 resourcePrefix rancher.io,应发现具有 8 个 VF 的资源 rancher.io/intelnicsDpdk。
$ kubectl get nodes -o jsonpath='{"items": [ { "name": @.metadata.name, "allocatable": @.status.allocatable } ]}' | jq
{
"name": "node1.suse.edge.com",
"allocatable": {
"cpu": "64",
"ephemeral-storage": "256196109726",
"hugepages-1Gi": "60Gi",
"hugepages-2Mi": "0",
"rancher.io/intel_fec_5g": "16",
"memory": "200424836Ki",
"pods": "110",
"rancher.io/intelnicsDpdk": "8"
}
}(可选)创建
sriovnetwork
此步骤为可选步骤,仅在自定义网络定义时需要。指定 resourceName 以绑定到先前创建的节点策略。
如果设置了 networkNamespace,则该网络将暴露给该命名空间中的 Pod。否则,该网络将在 Network Operator 的安装命名空间中可用。
apiVersion: sriovnetwork.openshift.io/v1
kind: SriovNetwork
metadata:
name: network-dpdk
namespace: sriov-network-operator # where SRIOV Operator is installed
spec:
ipam: |
{
"type": "host-local",
"subnet": "192.168.0.0/24",
"rangeStart": "192.168.0.20",
"rangeEnd": "192.168.0.60",
"routes": [{
"dst": "0.0.0.0/0"
}],
"gateway": "192.168.0.1"
}
vlan: 500
resourceName: intelnicsDpdk
networkNamespace: default # where workloads are deployed如果更新成功,则会在目标集群中创建 NetworkAttachmentDefinition (NAD)。
$ kubectl get net-attach-def -A -oyaml
apiVersion: v1
items:
- apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
annotations:
k8s.v1.cni.cncf.io/resourceName: rancher.io/intelnicsDpdk
creationTimestamp: "2023-06-08T11:22:27Z"
generation: 1
name: network-dpdk
namespace: default
resourceVersion: "13124"
uid: df7c89f5-177c-4f30-ae72-7aef3294fb15
spec:
config: '{ "cniVersion":"0.4.0", "name":"network-dpdk","type":"sriov","vlan":500,"vlanQoS":0,"ipam":{"type":"host-local","subnet":"192.168.0.0/24","rangeStart":"192.168.0.10","rangeEnd":"192.168.0.60","routes":[{"dst":"0.0.0.0/0"}],"gateway":"192.168.0.1"}
}'
kind: List
metadata:
resourceVersion: ""工作负载 Pod 可以使用 resourceName rancher.io/intelnicsDpdk 来使用网络接口的 VF。
41 DPDK #
DPDK (Data Plane Development Kit) 是一组用于快速数据包处理的库和驱动程序。它用于加速在各种 CPU 架构上运行的数据包处理工作负载。
DPDK 包括数据平面库和针对以下内容优化的网络接口卡 (NIC) 驱动程序:
队列管理器实现无锁队列。
缓冲区管理器预分配固定大小的缓冲区。
内存管理器在内存中分配对象池,并使用环形缓冲区存储空闲对象;确保对象均匀分布在所有
DRAM通道上。轮询模式驱动程序 (
PMD) 旨在无需异步通知即可工作,从而减少开销。数据包框架是一组用于辅助开发数据包处理流程的库。
以下步骤将展示如何启用 DPDK 以及如何从 NICs 创建 VFs,以供 DPDK 接口使用:
安装
DPDK软件包:
$ transactional-update pkg install dpdk dpdk-tools libdpdk-25
$ reboot内核参数:
要使用 DPDK,请使用一些驱动程序来启用内核中的特定参数:
| parameter | value | 描述 |
|---|---|---|
IOMMU | pt | 此选项启用 |
intel_iommu or amd_iommu | on | 此选项启用 |
要启用这些参数,请将它们添加到 /etc/default/grub 文件中:
GRUB_CMDLINE_LINUX="BOOT_IMAGE=/boot/vmlinuz-6.4.0-9-rt root=UUID=77b713de-5cc7-4d4c-8fc6-f5eca0a43cf9 skew_tick=1 rd.timeout=60 rd.retry=45 console=ttyS1,115200 console=tty0 default_hugepagesz=1G hugepagesz=1G hugepages=40 hugepagesz=2M hugepages=0 ignition.platform.id=openstack net.ifnames=1 intel_iommu=on iommu=pt irqaffinity=0,31,32,63 isolcpus=domain,nohz,managed_irq,1-30,33-62 nohz_full=1-30,33-62 nohz=on mce=off nosoftlockup nowatchdog nmi_watchdog=0 quiet rcu_nocb_poll rcu_nocbs=1-30,33-62 rcupdate.rcu_cpu_stall_suppress=1 rcupdate.rcu_expedited=1 rcupdate.rcu_normal_after_boot=1 rcupdate.rcu_task_stall_timeout=0 rcutree.kthread_prio=99 security=selinux selinux=1 idle=poll"更新 GRUB 配置并重启系统以应用更改:
$ transactional-update grub.cfg
$ reboot加载
vfio-pci内核模块并在 NIC 上启用SR-IOV。第一个参数指示vfio-pci驱动程序支持 SR-IOV,第二个参数可防止 PCI 设备在空闲时进入低功耗状态:
$ modprobe vfio-pci enable_sriov=1 disable_idle_d3=1从
NICs创建一些虚拟功能(VF) (VFs)。
要为 VFs 创建(例如,针对两个不同的 NICs),需要执行以下命令:
$ echo 4 > /sys/bus/pci/devices/0000:51:00.0/sriov_numvfs
$ echo 4 > /sys/bus/pci/devices/0000:51:00.1/sriov_numvfs将新的虚拟功能与
vfio-pci驱动程序绑定:
$ dpdk-devbind.py -b vfio-pci 0000:51:01.0 0000:51:01.1 0000:51:01.2 0000:51:01.3 \
0000:51:11.0 0000:51:11.1 0000:51:11.2 0000:51:11.3检查配置是否已正确应用:
$ dpdk-devbind.py -s
Network devices using DPDK-compatible driver
============================================
0000:51:01.0 'Ethernet Adaptive Virtual Function 1889' drv=vfio-pci unused=iavf,igb_uio
0000:51:01.1 'Ethernet Adaptive Virtual Function 1889' drv=vfio-pci unused=iavf,igb_uio
0000:51:01.2 'Ethernet Adaptive Virtual Function 1889' drv=vfio-pci unused=iavf,igb_uio
0000:51:01.3 'Ethernet Adaptive Virtual Function 1889' drv=vfio-pci unused=iavf,igb_uio
0000:51:01.0 'Ethernet Adaptive Virtual Function 1889' drv=vfio-pci unused=iavf,igb_uio
0000:51:11.1 'Ethernet Adaptive Virtual Function 1889' drv=vfio-pci unused=iavf,igb_uio
0000:51:21.2 'Ethernet Adaptive Virtual Function 1889' drv=vfio-pci unused=iavf,igb_uio
0000:51:31.3 'Ethernet Adaptive Virtual Function 1889' drv=vfio-pci unused=iavf,igb_uio
Network devices using kernel driver
===================================
0000:19:00.0 'BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet 1751' if=eno8303np0 drv=bnxt_en unused=igb_uio,vfio-pci *Active*
0000:19:00.1 'BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet 1751' if=eno8403np1 drv=bnxt_en unused=igb_uio,vfio-pci
0000:19:00.2 'BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet 1751' if=eno8503np2 drv=bnxt_en unused=igb_uio,vfio-pci
0000:19:00.3 'BCM57504 NetXtreme-E 10Gb/25Gb/40Gb/50Gb/100Gb/200Gb Ethernet 1751' if=eno8603np3 drv=bnxt_en unused=igb_uio,vfio-pci
0000:51:00.0 'Ethernet Controller E810-C for QSFP 1592' if=eth13 drv=ice unused=igb_uio,vfio-pci
0000:51:00.1 'Ethernet Controller E810-C for QSFP 1592' if=rename8 drv=ice unused=igb_uio,vfio-pci42 vRAN 加速 (Intel ACC100/VRB1/VRB2) #
随着通信服务提供商从 4G 网络转向 5G 网络,许多提供商正在采用虚拟化无线接入网 (vRAN) 架构,以实现更高的信道容量,并更轻松地部署基于边缘的服务和应用程序。vRAN 解决方案非常适合提供低延迟服务,并能够根据实时流量和网络需求灵活地增加或减少容量。
最耗费计算资源的 4G 和 5G 工作负载之一是 RAN 第 1 层 (L1) FEC,它解决了不可靠或嘈杂通信信道上的数据传输错误。FEC 技术可检测并纠正 4G 或 5G 数据中有限数量的错误,从而无需重传。由于 FEC 加速事务不包含小区状态信息,因此可以轻松实现虚拟化,从而实现资源池化优势并简化小区迁移。
从历史上看,英特尔提供了 ACC100 vRAN 加速卡来快速执行第 1 层 FEC 算法,从而为主 CPU 释放主机处理能力。此后,英特尔将此技术直接集成到了较新的 CPU 中(从 Sapphire Rapids 开始),并命名为 Intel vRAN Boost (VRB)。Intel vRAN Boost 作为 CPU 本身的卸载加速器,无需单独的硬件卡。本节详细介绍了 SUSE Telco Cloud 的配置,以便工作负载利用 ACC100 或 Intel vRAN Boost。
42.1 内核参数 #
要启用 vRAN 加速,我们需要启用以下内核参数(如果尚未存在):
| parameter | value | 描述 |
|---|---|---|
IOMMU | pt | 此选项启用 DPDK 接口的 vfio 使用。 |
intel_iommu or amd_iommu | on | 此选项启用虚拟功能的 vfio 使用。 |
修改 GRUB 文件 /etc/default/grub 以将它们添加到内核命令行:
GRUB_CMDLINE_LINUX="BOOT_IMAGE=/boot/vmlinuz-6.4.0-9-rt root=UUID=77b713de-5cc7-4d4c-8fc6-f5eca0a43cf9 skew_tick=1 rd.timeout=60 rd.retry=45 console=ttyS1,115200 console=tty0 default_hugepagesz=1G hugepagesz=1G hugepages=40 hugepagesz=2M hugepages=0 ignition.platform.id=openstack net.ifnames=1 intel_iommu=on iommu=pt irqaffinity=0,31,32,63 isolcpus=domain,nohz,managed_irq,1-30,33-62 nohz_full=1-30,33-62 nohz=on mce=off nosoftlockup nowatchdog nmi_watchdog=0 quiet rcu_nocb_poll rcu_nocbs=1-30,33-62 rcupdate.rcu_cpu_stall_suppress=1 rcupdate.rcu_expedited=1 rcupdate.rcu_normal_after_boot=1 rcupdate.rcu_task_stall_timeout=0 rcutree.kthread_prio=99 security=selinux selinux=1 idle=poll"更新 GRUB 配置并重启系统以应用更改:
$ transactional-update grub.cfg
$ reboot要验证参数在重启后是否已应用,请检查命令行:
$ cat /proc/cmdline42.2 在 FEC 加速器上配置 SR-IOV #
加载
vfio-pci内核模块以启用 vRAN 加速。第一个参数指示支持 SR-IOV 的vfio-pci模块,第二个参数可防止 PCI 设备在空闲时进入低功耗状态。
$ modprobe vfio-pci enable_sriov=1 disable_idle_d3=1检索 FEC 加速器的 PCI 设备地址:
$ lspci -DPPnn | grep -i acc
0000:07:00.0 Processing accelerators [1200]: Intel Corporation Device [8086:57c2]
0000:0a:00.0 Processing accelerators [1200]: Intel Corporation Device [8086:57c2]将物理接口 (
PF) 与vfio-pci驱动程序绑定:
$ dpdk-devbind.py -b vfio-pci 0000:07:00.0从物理接口 (
PF) 创建虚拟功能 (VFs)。
检查加速器卡的 VF 最大容量。接下来,配置该卡以暴露所需数量的虚拟功能,且不超过最大数量。在此示例中,我们将该卡配置为其 16 个虚拟功能的全部容量:
$ cat /sys/bus/pci/devices/0000:07:00.0/sriov_totalvfs
64
$ echo 16 > /sys/bus/pci/devices/0000:07:00.0/sriov_numvfs使用 4G 或 5G 配置文件配置加速器卡及其虚拟功能,并根据具体的英特尔处理器代次选择正确的
vRAN Boost设备类型:如果为 Sapphire Rapids Edge Enhanced (SPR-EE),则选择VRB1(前称为 ACC200);如果为 Granite Rapids-D (GNR-D),则选择VRB2。必须提供唯一的虚拟功能词元 (UUID)(工作负载将使用此虚拟功能词元来利用该卡的 FEC 加速功能)。
自 pf-bb-config 起弃用:支持 VRB2 设备类型的新 rpm 版本现在将配置文件安装在 /usr/share/pf-bb-config/examples 路径;旧的 /opt/pf-bb-config/ 路径仍受支持,但将在未来版本中移除。请更新您的脚本和文档以反映新路径(如下例所示)。
$ pf_bb_config VRB2 -c /usr/share/pf-bb-config/examples/vrb2/vrb2_config_vf_5g.cfg -f /usr/share/pf-bb-config/examples/vrb2/srs_fft_windows_coefficient.bin -v 00112233-4455-6677-8899-aabbccddeeff -p 0000:07:00.0
== pf_bb_config Version 25.11 ==
VRB2 PF [0000:07:00.0] configuration complete!
Log file = /var/log/pf_bb_cfg_0000:07:00.0.log验证从 FEC PF 创建的新虚拟功能。请注意,虚拟功能已获得
0d5d设备 ID。下一步需要此信息以将这些虚拟功能公开为 Kubernetes 资源:
$ # dpdk-devbind.py -s | grep -A18 Baseband
Baseband devices using DPDK-compatible driver
=============================================
0000:07:00.0 'Device 57c2' numa_node=0 drv=vfio-pci unused=
0000:07:00.1 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:00.2 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:00.3 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:00.4 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:00.5 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:00.6 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:00.7 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:01.0 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:01.1 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:01.2 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:01.3 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:01.4 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:01.5 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:01.6 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:01.7 'Device 57c3' numa_node=0 drv=vfio-pci unused=
0000:07:02.0 'Device 57c3' numa_node=0 drv=vfio-pci unused=
--
Other Baseband devices
======================
0000:0a:00.0 'Device 57c2' numa_node=0 unused=vfio-pci
Other Crypto devices
====================
0000:01:00.0 '420xx Series QAT 4946' numa_node=0 unused=vfio-pci
0000:03:00.0 'Device 2714' numa_node=0 unused=vfio-pci
DMA devices using kernel driver
===============================
0000:00:01.0 'Device 11fb' numa_node=0 drv=idxd unused=vfio-pci
Other Eventdev devices
======================
0000:03:00.0 'Device 2714' numa_node=0 unused=vfio-pci
No 'Mempool' devices detected
=============================42.3 配置 Kubernetes 以实现 FEC 加速 #
最后一步是在 SR-IOV 设备插件的帮助下将虚拟功能公开给 Kubernetes。使用从上一步收集的虚拟功能的 deviceID 创建 ConfigMap,并安装 SR-IOV 设备插件。一旦 Kubernetes 节点将 FEC 虚拟功能显示为 Allocatable 资源,集群即准备好让工作负载享受 FEC 加速。
按照 第 40 章 “SR-IOV” 章节中选项 1 的步骤操作。SRIOV Network Operator 不适用于 FEC 加速器,因此选项 2 不适用。
43 大页 #
当进程使用 RAM 时,CPU 标记了该进程所使用的确切部分。为了实现效率,CPU 以称为 pages 的块分配 RAM;在许多平台上,默认的 page 大小为 4 KB。页面可以交换到磁盘(以及执行其他操作)。
由于进程地址空间是虚拟的,因此 CPU 和操作系统必须跟踪哪些 pages 属于每个进程以及每个 存储在何处。pages 的数量越多,查找内存映射所需的时间就越长。例如,使用 1 GB 内存的进程涉及 262,144 个条目需要检查(1 GB / 4 KB)。如果每个 page table entry 占用 8 字节,则总共需要查阅 2 MB (262,144 * 8) 的数据。
大多数当前的 CPU 架构允许定义块大小大于默认 4 KB 值的 pages(其中 1 GB 和 2 MB 是典型的支持值),这些块称为 huge pages,这减少了 CPU/Operating System 必须查阅的条目数量。
内核参数
要启用 huge pages,我们必须添加以下内核参数。在此示例中,我们配置了 40 页 1 GB 大小的页面和 0 页 2 MB 大小的页面,不过应根据应用程序的内存需求调整要支持的大页面大小以及每种页面确切的页数:
| parameter | value | 描述 |
|---|---|---|
hugepagesz | 1G | 此选项允许将“大页”的大小设置为 1 GB |
hugepages | 40 | 这是在引导时请求为刚才定义的大小 (1 GB) 分配的“大页”数量 |
hugepagesz | 2M | 此选项允许将“大页”的大小设置为 2 MB |
hugepages | 0 | 这是在引导时请求为刚才定义的大小 (2 MB) 分配的“大页”数量 |
default_hugepagesz | 1G | 这是“大页”大小的默认值 |
修改 GRUB 文件 /etc/default/grub,在 GRUB_CMDLINE_LINUX 中添加这些参数:
default_hugepagesz=1G hugepagesz=1G hugepages=40 hugepagesz=2M hugepages=0更新 GRUB 配置并重启系统以应用更改:
$ transactional-update grub.cfg
$ reboot要验证重启后参数是否已应用,您可以检查命令行:
$ cat /proc/cmdline使用大页
要使用大页,我们需要挂载它们:
$ mkdir -p /hugepages
$ mount -t hugetlbfs nodev /hugepages部署 Kubernetes 工作负载,创建资源和卷:
...
resources:
requests:
memory: "24Gi"
hugepages-1Gi: 16Gi
intel.com/intel_sriov_oru: '4'
limits:
memory: "24Gi"
hugepages-1Gi: 16Gi
intel.com/intel_sriov_oru: '4'
......
volumeMounts:
- name: hugepage
mountPath: /hugepages
...
volumes:
- name: hugepage
emptyDir:
medium: HugePages
...44 NUMA 感知调度 #
非一致性内存访问或非一致性内存架构 (NUMA) 是一种用于 SMP(多处理器)架构的物理内存设计,其中内存访问时间取决于内存相对于处理器的位置。在 NUMA 下,处理器访问其本地内存的速度比访问非本地内存(即另一个处理器的本地内存或处理器间共享的内存)要快。
44.1 识别 NUMA 节点 #
要识别 NUMA 节点,请在您的系统上使用以下命令:
$ lscpu | grep NUMA
NUMA node(s): 1
NUMA node0 CPU(s): 0-63在此示例中,我们只有一个显示 64 个 CPUs 的 NUMA 节点。
需要在 BIOS 中启用 NUMA。如果 dmesg 没有启动期间 NUMA 初始化的记录,那么内核环形缓冲区中与 NUMA 相关的消息可能已被覆盖。
45 Metal LB #
MetalLB 是一种用于裸机 Kubernetes 集群的负载均衡器实现,使用 L2 和 BGP 等标准路由协议作为通告协议。它是一种网络负载均衡器,由于在裸机上需要使用 Kubernetes 服务类型 LoadBalancer,因此可用于将 Kubernetes 集群中的服务暴露给外部世界。
要在 MetalLB 集群中启用 RKE2,需要执行以下步骤:
使用以下命令安装
MetalLB:
$ kubectl apply <<EOF -f
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: metallb
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/metallb
targetNamespace: metallb-system
version: 307.0.3+up0.16.1
createNamespace: true
---
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: endpoint-copier-operator
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/endpoint-copier-operator
targetNamespace: endpoint-copier-operator
version: 307.0.1+up0.3.0
createNamespace: true
EOF创建
IpAddressPool和L2advertisement配置:
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: kubernetes-vip-ip-pool
namespace: metallb-system
spec:
addresses:
- 10.168.200.98/32
serviceAllocation:
priority: 100
namespaces:
- default
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: ip-pool-l2-adv
namespace: metallb-system
spec:
ipAddressPools:
- kubernetes-vip-ip-pool创建端点服务以暴露
VIP:
apiVersion: v1
kind: Service
metadata:
name: kubernetes-vip
namespace: default
spec:
internalTrafficPolicy: Cluster
ipFamilies:
- IPv4
ipFamilyPolicy: SingleStack
ports:
- name: rke2-api
port: 9345
protocol: TCP
targetPort: 9345
- name: k8s-api
port: 6443
protocol: TCP
targetPort: 6443
sessionAffinity: None
type: LoadBalancer检查
VIP是否已创建,以及MetalLBpod 是否正在运行:
$ kubectl get svc -n default
$ kubectl get pods -n default46 私有镜像仓库配置 #
可以配置 Containerd 以连接到私有镜像仓库,并使用它们在每个节点上拉取私有镜像。
启动时,RKE2 会检查 /etc/rancher/rke2/ 处是否存在 registries.yaml 文件,并指示 containerd 使用文件中定义的任何镜像仓库。如果您希望使用私有镜像仓库,请以 root 用户身份在每个将使用该镜像仓库的节点上创建此文件。
要添加私有镜像仓库,请创建文件 /etc/rancher/rke2/registries.yaml 并填入以下内容:
mirrors:
docker.io:
endpoint:
- "https://registry.example.com:5000"
configs:
"registry.example.com:5000":
auth:
username: xxxxxx # this is the registry username
password: xxxxxx # this is the registry password
tls:
cert_file: # path to the cert file used to authenticate to the registry
key_file: # path to the key file for the certificate used to authenticate to the registry
ca_file: # path to the ca file used to verify the registry's certificate
insecure_skip_verify: # may be set to true to skip verifying the registry's certificate或无需身份验证:
mirrors:
docker.io:
endpoint:
- "https://registry.example.com:5000"
configs:
"registry.example.com:5000":
tls:
cert_file: # path to the cert file used to authenticate to the registry
key_file: # path to the key file for the certificate used to authenticate to the registry
ca_file: # path to the ca file used to verify the registry's certificate
insecure_skip_verify: # may be set to true to skip verifying the registry's certificate为了使镜像仓库的更改生效,您需要在节点上启动 RKE2 之前配置此文件,或者在每个已配置的节点上重启 RKE2。
47 精确时间协议 #
47.1 简介 #
由 IEEE 1588 标准定义的精确时间协议 (PTP) 可在分组网络中分发高精度时间。当网络接口卡 (NIC) 在硬件中对 PTP 数据包进行时间戳标记时,其精度可达到亚微秒级,远超 NTP 所能提供的精度。在电信环境中,PTP 是 5G 无线接入网 (RAN) 的核心构建模块,其中无线单元需要严格的相位和时间对齐才能正确传输。SUSE Telco Cloud 通过 linuxptp 软件包实现 PTP,并针对下述 ITU-T G.8275.1 和 ITU-T G.8275.2 电信控制文件。
PTP 域由一小组时钟角色构建而成:
主时钟 (GM):域的主要时间源。它通常锁定到主参考时间时钟 (PRTC),通常由 GNSS 接收器驱动,并向下游节点传输时间。GM 的精度设定了整个域的质量上限。
普通时钟 (OC):具有单个 PTP 端口的终端节点。在电信部署中,它充当时钟接收器,根据上游主时钟或边界时钟来校准其本地时钟。运行无线电工作负载的计算节点是典型的 OC。
边界时钟 (BC):一种多端口节点,在一个端口上接收时间(时钟接收器),并在其他端口上向其他节点重新生成时间(时钟发送器)。沿路径插入边界时钟缩短了每个 OC 与参考源之间的链条,限制了网络在逐跳传输中可能累积的误差。
在设计拓扑时,普通时钟和边界时钟之间的区别至关重要:
*普通时钟*具有*单个*PTP端口,位于域的边缘。 它仅用于校准自身时钟,而不会将时间传递给其他节点。
边界时钟*具有*多个*PTP端口。它在时间接收器端口上获取时间,并在时间发送器端口上*重新生成时间,从而终止上游定时链并启动新的下游定时链。这种重新生成机制防止了误差在长节点链中累积。
以下硬件和信号元素支持这些角色:
PTP 硬件时钟 (PHC):内置于 NIC 中,PTP 实际同步的时钟。将操作系统时钟与PHC对齐是由专用守护进程处理的独立步骤。
同步以太网 (SyncE):物理层频率同步。PTP在数据包内携带相位和时间,而SyncE直接从以太网信号中恢复稳定的频率。SyncE是一种*可选增强功能*:PTP本身已经可以提供相位和时间,仅当节点需要更强的频率稳定性,且在PTP时间源暂时丢失时需要更长的保持时间,才会添加SyncE。
数字锁相环 (DPLL):一种硬件定时模块,它锁定参考信号并对其进行滤波,以输出稳定、干净的时钟。它负责根据可用输入校准 PHC,并在具有多个 NIC 的平台上保持不同 NIC 时钟的一致性。
在每个节点上,这些功能由`linuxptp`守护程序执行:`ptp4l`运行PTP协议并校准PHC,`phc2sys`将系统时钟与PHC对齐。在主时钟上,`ts2phc`还会根据GNSS参考源引导PHC。它们的作用和安装在第 47.2 节 “先决条件”中介绍。
硬件时钟本身由Linux内核DPLL子系统与网络驱动程序共同处理。定时控制的程度,以及定时如何在多 NIC 节点内分配,取决于可管理的 DPLL 所处的位置:
带有集成 DPLL 的 NIC:DPLL 嵌入于 NIC 中,并通过 Linux DPLL 子系统进行配置。它选择并锁定到所选参考源,并对 PHC 进行校准,从而实现对频率和保持功能的完全控制。
无集成 DPLL 的 NIC:NIC 不提供可配置的 DPLL。
ptp4l直接对 PHC 进行校准,子系统最多只能报告锁定状态(只读);高级频率处理则依赖于外部定时源。跨多个 NIC 共享的板载 DPLL:DPLL 未嵌入在单个 NIC 中,而是位于平台之上,在 NIC 外部。它对多个 NIC 的 PHC 进行校准并使其与公共参考源保持一致,因此节点中的每个 NIC 都共享相同的时间。这种布置适用于那些在内部进行定时分发而非依赖外部布线的多 NIC 平台。
电信网络采用两种 ITU-T 控制文件,它们的主要区别在于所使用的传输方式以及底层网络需要支持 PTP 的程度:
ITU-T G.8275.1(全定时支持):直接在以太网(第 2 层)上运行,使用多播。路径上的每个节点都必须支持 PTP 并充当边界时钟,这能提供最高的精度。除非另有说明,本指南中的场景均使用此控制文件。
ITU-T G.8275.2(部分定时支持):在 IP(第 3 层)上运行,使用单播。 中间节点不需要支持 PTP,因此定时可以跨越不支持定时的网段,但代价是精度较低。
下图显示了仅使用 PTP 以及添加 SyncE 作为可选频率增强功能时的定时分配情况。在这两种情况下,主时钟从 PRTC/GNSS 源获取参考,而边界时钟则向终端重新生成时间。
本指南涵盖了以下场景。每个场景都包含一个指向其集群 API (CAPI) 自动化的链接。
场景 1a - 普通时钟(仅 PTP) (第 47.3 节 “场景 1a - 普通时钟(仅PTP)”)
场景 1b - 普通时钟(混合模式:PTP 和 SyncE) (第 47.4 节 “场景1b - 普通时钟(混合模式:PTP和SyncE)”)
场景 2a - 边界时钟(仅 PTP),带多端口单 NIC,包括传播至普通时钟服务器 (第 47.5 节 “场景2a - 边界时钟(仅PTP),具有多端口单NIC,包括传播到普通时钟服务器”)
场景 2b - 边界时钟(混合模式:PTP 和 SyncE)由多端口单 NIC 支持,包括向普通时钟服务器的传播 (第 47.6 节 “场景 2b - 边界时钟(混合模式:PTP 和 SyncE)具有多端口单 NIC,包括传播到普通时钟服务器”)
场景 3a - 边界时钟(仅 PTP),多网卡,带内部定时模块(基于 DPLL GNR-D) (第 47.7 节 “场景 3a - 边界时钟(仅 PTP)多 NIC,带有内部计时模块(基于 DPLL GNR-D)”)
场景 3b - 边界时钟(混合模式:PTP 和 SyncE)由多 NIC 支持,带内部定时模块(基于 DPLL GNR-D) (第 47.8 节 “场景 3b - 边界时钟(混合模式:PTP 和 SyncE)具有内部定时模块(基于 DPLL GNR-D)的多 NIC”)
仅 场景 1a (第 47.3 节 “场景 1a - 普通时钟(仅PTP)”) 展示了两种电信配置文件的配置,即 ITU-T G.8275.1 和 ITU-T G.8275.2。为简洁起见,其余场景仅关注 ITU-T G.8275.1 情况:部署是相同的,只有 ptp4l 配置文件在两个配置文件之间发生变化。
47.2 先决条件 #
本指南仅涵盖电信特定配置文件,因此假定 NIC 中具有硬件时间戳和 PTP 硬件时钟 (PHC)。电信级网络适配器在硬件中提供 PTP 支持;您可以使用 ethtool -T 确认给定接口的功能:
# ethtool -T eno16495np0
Time stamping parameters for eno16495np0:
Capabilities:
hardware-transmit
software-transmit
hardware-receive
software-receive
software-system-clock
hardware-raw-clock
PTP Hardware Clock: 0
Hardware Transmit Timestamp Modes:
off
on
Hardware Receive Filter Modes:
none
all检查 hardware-transmit、hardware-receive 和 hardware-raw-clock 功能以及 0 或更高的 PTP Hardware Clock 索引(-1 的值表示接口没有 PHC)。将 eno16495np0 替换为您打算用于 PTP 的接口。
PTP 由 linuxptp 软件包提供。它附带了三个用户空间程序 — ptp4l、phc2sys 和 ts2phc — 它们作为由 systemd 管理的长期运行的守护进程运行(每个程序对应一个专用服务:ptp4l.service、phc2sys.service 和 ts2phc.service)。它们共同执行协议并保持时钟同步:
ptp4l:PTP 守护进程。它在配置的接口上运行 IEEE 1588 协议,应用最佳主时钟算法 (BMCA) 来确定每个端口的角色,并校准 NIC 的 PHC。单个ptp4l实例可以管理多个端口,这使得节点能够充当边界时钟。phc2sys:同步两个时钟。它通常用于将系统(操作系统)时钟与ptp4l保持同步的 PHC 对齐,以便系统时间也遵循 PTP。ts2phc:“时间戳到 PHC”。它根据外部时间信号(例如 GNSS 接收器提供的 PPS)来校准 PHC。它用于 Grandmaster,并用于保持同一节点内的多个 PHC 对齐。
在下游集群上安装 PTP 的推荐方法是将 linuxptp 软件包添加到 Edge Image Builder (EIB) 定义文件的 packageList 中,以便在置备期间自动部署它。有关安装软件包的更多信息,请参阅 EIB 文档 (第 5.3.6 节 “配置 RPM 软件包”)。
apiVersion: 1.3
image:
imageType: RAW
arch: x86_64
baseImage: SL-Micro.x86_64-6.2-Base-RT-GM.raw
outputImageName: eibimage-slmicrort-telco.raw
operatingSystem:
systemd:
enable:
- ptp4l
- phc2sys
packages:
packageList:
- linuxptp
sccRegistrationCode: $SCC_REGISTRATION_CODElinuxptp 软件包默认不会启用 ptp4l、phc2sys 或 ts2phc。
部署配置文件后,使用清单的 systemd 部分来启用所需的节点守护进程(请参阅下方的场景)。
最后,所使用的 PTP 配置文件决定了节点之间的网络交换机是否必须配置为 PTP 感知设备:
ITU-T G.8275.1(全定时支持):直接在以太网(第 2 层)上使用多播运行。路径上的每个节点都必须是 PTP 感知的并充当边界时钟,这能产生最高的精度;因此,中间的交换机必须配置为支持 PTP。除非另有说明,本指南中的场景均使用此配置文件。
ITU-T G.8275.2(部分定时支持):在 IP(第 3 层)上使用单播运行。 中间节点不需要支持PTP,因此定时可以跨越不支持定时的网络网段,且交换机不需要PTP配置,但代价是精度较低。
47.3 场景 1a - 普通时钟(仅PTP) #
说明
这是最简单的PTP部署:单个集群节点从上游源获取时间并校准其本地时钟,而无需将时间转发给另一个节点。该节点作为普通时钟(OC)运行,并在时间接收器角色中具有单个PTP端口。
在 OC 节点上,无论使用何种配置文件,定时完全由 linuxptp 守护程序处理。不需要DPLL配置或`ts2phc`,因为该节点使用单个NIC,且`ptp4l`直接校准其PHC:
ptp4l`在接收接口上运行PTP协议。最佳主时钟算法(BMCA)选择上游节点作为主时钟,本地端口转换为 `SLAVE状态,且ptp4l校准 NIC 的 PTP 硬件时钟(PHC)。 设置`clientOnly 1`将节点限制为时间接收器角色,因此它永远不会被选为主时钟。phc2sys`将系统时钟(`CLOCK_REALTIME)与`ptp4l`保持同步的PHC对齐,因此操作系统时间也遵循PTP。
该场景可以使用任一电信配置文件实现。它们在传输方式以及中间网络必须提供的功能上有所不同,下文将其记录为两个独立的模型:
模型 1 — ITU-T G.8275.1 (第 47.3 节 “场景 1a - 普通时钟(仅PTP)”)(第 2 层多播):当主时钟和普通时钟(OC)之间的每一跳都支持 PTP 时使用。它提供最高的精度,是电信部署的默认设置。
模型 2 — ITU-T G.8275.2 (第 47.3 节 “场景 1a - 普通时钟(仅PTP)”)(第 3 层单播):当普通时钟(OC)必须跨越不支持PTP的网络连接到主时钟时使用,代价是精度较低。
普通时钟一次只能运行一个PTP配置文件。这两个模型是互斥的:在给定节点上仅配置其中一个。仅创建所选控制文件的配置文件,并仅在`/etc/sysconfig/ptp4l`中引用该文件。不要同时创建`/etc/ptp4l-G.8275.1.conf`和`/etc/ptp4l-G.8275.2.conf`,也不要将两个文件同时传递给`OPTIONS=`行。
模型 1 — ITU-T G.8275.1(第 2 层多播)
G.8275.1 直接在以太网上运行,并将消息发送至不可转发的多播 MAC 地址 01:80:C2:00:00:0E,标准网桥不会转发该地址,因此路径上的每个设备都必须终止并重新生成 PTP。这些部件是:
主时钟 (GM):PTP 域的上游参考(G.8275.1 为域
24),通常锁定到 GNSS/PRTC 源。支持 PTP 的交换机:充当边界时钟。其朝向 GM 的端口是时间接收器,其朝向 OC 的端口是时间发送器。两个端口都必须启用 PTP。
普通时钟 (OC):集群节点,在其单个 PTP 端口上接收时间。
按如下方式配置节点:
识别用于 PTP 的接口的 PHC 索引
<N>(此处为eno8403np1);打印字段PTP Hardware Clock(也可能显示为Hardware timestamp provider index)的值给出了/dev/ptp<N>设备,该设备ptp4l进行校准,并且phc2sys将其读取为源:# ethtool -T eno8403np1 Time stamping parameters for eno8403np1: Capabilities: hardware-transmit hardware-receive hardware-raw-clock PTP Hardware Clock: 1 ...在此示例中,
eno8403np1的 PHC 为/dev/ptp1。创建
ptp4l配置文件/etc/ptp4l-G.8275.1.conf。接口被声明为一个部分 ([eno8403np1]),因此守护进程不需要-i标志:例 47.1︰ 普通时钟配置 — ITU-T G.8275.1 ## Telecom G.8275.1 — Ordinary Clock (Time Receiver) [global] domainNumber 24 priority2 255 dataset_comparison G.8275.x G.8275.portDS.localPriority 128 G.8275.defaultDS.localPriority 128 maxStepsRemoved 255 logAnnounceInterval -3 logSyncInterval -4 logMinDelayReqInterval -4 announceReceiptTimeout 3 clientOnly 1 ptp_dst_mac 01:80:C2:00:00:0E network_transport L2 summary_interval 3 message_tag "ptp4l" uds_address /var/run/ptp4l uds_ro_address /var/run/ptp4lro [eno8403np1]
ptp_dst_mac值对于 G.8275.1 是固定的:它是不可转发的多播地址01:80:C2:00:00:0E,它将 PTP 限制在单个链路内,这也是路径上的每个设备都必须支持 PTP 的原因。uds_address公开了一个管理套接字,phc2sys使用该套接字来跟踪端口状态。在
ptp4l中将/etc/sysconfig/ptp4l指向此文件:OPTIONS="-f /etc/ptp4l-G.8275.1.conf"
在
phc2sys中配置/etc/sysconfig/phc2sys,以从 PTP 接口 (/dev/ptp1) 的 PHC 校准系统时钟。--uds_address和--domainNumber值必须与ptp4l配置匹配:OPTIONS="-s /dev/ptp1 -w -m --uds_address /var/run/ptp4l --domainNumber 24"
-s /dev/ptp1`选择PHC作为源时钟,-w`等待`ptp4l`同步后再调整系统时钟,`-m`将伺服状态打印到日志中。启用并启动这两个服务:
# systemctl enable --now ptp4l phc2sys验证`ptp4l`是否已锁定到上游主时钟。端口移动到`SLAVE`,报告的偏移量(
rms)收敛到一个较低且稳定的值:# journalctl -u ptp4l -f ptp4l[...]: "ptp4l" port 1 (eno8403np1): UNCALIBRATED to SLAVE on MASTER_CLOCK_SELECTED ptp4l[...]: "ptp4l" rms 1502498567 max 8499416372 freq -3977 +/- 43609 delay 11 +/- 607 ptp4l[...]: "ptp4l" rms 40 max 99 freq +10129 +/- 30 delay 211 +/- 3 ptp4l[...]: "ptp4l" rms 7 max 15 freq +10125 +/- 13 delay 211 +/- 2 ptp4l[...]: "ptp4l" rms 6 max 16 freq +10118 +/- 12 delay 213 +/- 2验证`phc2sys`是否正在校准系统时钟。伺服状态从`s0`(未锁定)经由`s1`(初始步进)进展到`s2`(锁定),偏移量稳定在零附近:
# journalctl -u phc2sys -f phc2sys[...]: CLOCK_REALTIME phc offset 45583145631 s0 freq -1673 delay 0 phc2sys[...]: CLOCK_REALTIME phc offset 45583157513 s1 freq +10207 delay 0 phc2sys[...]: CLOCK_REALTIME phc offset 4 s2 freq +10211 delay 0 phc2sys[...]: CLOCK_REALTIME phc offset 13 s2 freq +10221 delay 0稳定的`s2`状态和较小的偏移量确认节点已锁定,且系统时钟正在跟随 PTP。
模型 2 — ITU-T G.8275.2(第3层单播)
G.8275.2使用单播在IP(第3层)上运行:OC直接与主时钟的IP地址交换消息,因此中间网络无需具备PTP感知能力,也不需要支持PTP的交换机。这些部件是:
主时钟(GM或边界时钟):上游主时钟,可通过G.8275.2域(域`44`)上的IP访问。
IP网络:标准的路由或交换网络。它转发单播PTP数据包,无需任何PTP配置。
普通时钟(OC):集群节点,从其单个PTP端口向主时钟发送单播请求。
按如下方式配置节点:
按照模型1(
ethtool -T eno8403np1)识别PTP接口的PHC;在此示例中,eno8403np1`的PHC是/dev/ptp1`。创建`ptp4l`配置文件`/etc/ptp4l-G.8275.2.conf`。没有`ptp_dst_mac`,因为主时钟是通过`unicast_master_table`的IP访问的。 将`$MASTER_IP_ADDRESS`替换为上游主时钟的IP地址:
例 47.2︰ 普通时钟配置 — ITU-T G.8275.2 ## Telecom G.8275.2 — Ordinary Clock (Time Receiver) [global] domainNumber 44 priority2 255 dataset_comparison G.8275.x G.8275.portDS.localPriority 128 G.8275.defaultDS.localPriority 128 maxStepsRemoved 255 logAnnounceInterval 0 logSyncInterval -5 logMinDelayReqInterval -4 announceReceiptTimeout 2 clientOnly 1 network_transport UDPv4 hybrid_e2e 1 inhibit_multicast_service 1 unicast_listen 1 unicast_req_duration 60 message_tag "ptp4l" uds_address /var/run/ptp4l uds_ro_address /var/run/ptp4lro [unicast_master_table] table_id 1 logQueryInterval 2 UDPv4 $MASTER_IP_ADDRESS [eno8403np1] unicast_master_table 1
在`/etc/sysconfig/ptp4l`中将`ptp4l`指向此文件:
OPTIONS="-f /etc/ptp4l-G.8275.2.conf"
在
phc2sys中配置/etc/sysconfig/phc2sys,使用G.8275.2域编号(44);源PHC和`--uds_address`保持不变:OPTIONS="-s /dev/ptp1 -w -m --uds_address /var/run/ptp4l --domainNumber 44"
启用并启动这两个服务:
# systemctl enable --now ptp4l phc2sys按照模型1验证同步:
ptp4l`将端口移动到`SLAVE(journalctl -u ptp4l),并且`phc2sys`达到具有接近零偏移(journalctl -u phc2sys)的`s2`(锁定)状态。
CAPI自动化
要使用自动化配置工作流部署此场景,请使用完全自动化的定向网络配置 (第 55.1 节 “精确时间协议 (PTP)”)中描述的通用Cluster API模板,并用下面显示的此场景的值覆盖其占位符。
| 占位符 | 值 |
|---|---|
|
|
| 复制上述G.8275.1配置 (例 47.1 “普通时钟配置 — ITU-T G.8275.1”)中的内容。 |
|
|
|
|
| 占位符 | 值 |
|---|---|
|
|
| 复制上述G.8275.2配置 (例 47.2 “普通时钟配置 — ITU-T G.8275.2”)中的内容。 |
|
|
|
|
47.4 场景1b - 普通时钟(混合模式:PTP和SyncE) #
此场景尚不支持;它将包含在未来的SUSE Telco Cloud版本中。
47.5 场景2a - 边界时钟(仅PTP),具有多端口单NIC,包括传播到普通时钟服务器 #
说明
此场景通过边界时钟(BC)扩展了定时链,该边界时钟完全通过ITU-T G.8275.1(仅PTP,第2层)向下游普通时钟(OC)再生PTP。BC使用单个多端口NIC:一个`ptp4l`实例管理同一NIC上的多个端口,因此不需要`ts2phc`或DPLL路由(与多NIC场景不同)。
该场景涉及以下组件:
主时钟 (GM):PTP 域(域
24)的参考,通常锁定到 GNSS/PRTC 源(此处使用的测试台没有 GNSS,因此稍后会显示降级的gm.ClockClass)。它在上游链路段发送时间。PTP 感知交换机:在定时路径上充当边界时钟 (T-BC);每个承载 PTP 的端口都具有
ptp enable。边界时钟 (BC 服务器):单网卡上的多端口节点,用于桥接两个 PTP 网段。其
eno8403np1端口作为时间接收器 (SLAVE) 面向 上游 网段并校准网卡的 PHC;eno8503np2(以及eno8603np3)作为时间发送器面向 下游 网段,用于再生 PTP。BC 终止上游定时链并启动一个新的下游定时链。普通时钟 (OC 服务器):*下游*网段上的单端口节点 (
ens6f0np0),其唯一的 PTP 主时钟是 BC。它根据 BC 重新生成的时间来校准其本地时钟。
定时由每个节点上的 linuxptp 守护程序处理:
在 BC 服务器 上,单个
ptp4l实例管理其所有端口。BMCA 在eno8403np1上选择 GM 作为主时钟,该时钟移动到SLAVE并校准 PHC。eno8503np2和eno8603np3被强制为serverOnly 1,因此它们仅充当时间发送器。 由于所有端口共享同一个网卡 PHC,接收到的时间可直接供发送端口使用;当配置了多个端口时,会自动隐含边界时钟,因此不需要clock_type或ts2phc设置。在 OC 服务器 上,
ptp4l与clientOnly 1一起在ens6f0np0上运行,因此该端口始终仅充当时间接收器。phc2sys将系统时钟与 PHC 对齐。在 OC 服务器上,
clientOnly 1保证了它永远不会成为主。localPriority属性——仅在 clockClass、clockAccuracy、variance 和 priority2 相等时由 G.8275.x BMCA 用作决胜属性,且数值越低越优先——强化了这种排序:BC 服务器保持默认的128,而 OC 服务器使用优先级较低的250。
BC 连接两个独立的 PTP 网段:GM 与其 eno8403np1 端口之间的 上游 网段,以及其 eno8503np2 端口与 OC 之间的 下游 网段。它们保持分离,例如在交换机的不同 VLAN 上或在独立的网络上。由于 BC 是下游网段中唯一的主时钟,OC 从 BC 同步,而不会直接从 GM 同步。
与 场景 1a (第 47.3 节 “场景 1a - 普通时钟(仅PTP)”) 一样,此场景使用不可转发的多播 MAC 01:80:C2:00:00:0E;标准网桥不转发它,因此每个支持 PTP 的设备都会终止并重新生成 PTP。定时路径上的每个节点都必须设置相同的地址。
图表
配置
定时路径上的每个交换机端口(朝向 GM、BC 和 OC)都必须启用 PTP。然后按如下方式配置两个集群节点。
边界时钟 (BC 服务器)
识别 PTP NIC 的 PHC (
ethtool -T eno8403np1);在单个 NIC 上,所有端口共享同一个 PHC。在此示例中为/dev/ptp1。创建
/etc/ptp4l-G.8275.1.conf。接收端口[eno8403np1]没有角色标志,因此 BMCA 将其选为时间接收器;[eno8503np2]和[eno8603np3]被设置为serverOnly 1以充当时间发送器。声明多个端口意味着边界时钟:例 47.3︰ 边界时钟配置 ## Telecom G.8275.1 — Boundary Clock (multi-port, single NIC) [global] domainNumber 24 priority2 255 dataset_comparison G.8275.x G.8275.portDS.localPriority 128 G.8275.defaultDS.localPriority 128 maxStepsRemoved 255 logAnnounceInterval -3 logSyncInterval -4 logMinDelayReqInterval -4 announceReceiptTimeout 3 ptp_dst_mac 01:80:C2:00:00:0E network_transport L2 summary_interval 3 message_tag "ptp4l" uds_address /var/run/ptp4l uds_ro_address /var/run/ptp4lro [eno8403np1] [eno8503np2] serverOnly 1 [eno8603np3] serverOnly 1
在
/etc/sysconfig/ptp4l中将ptp4l指向此文件:OPTIONS="-f /etc/ptp4l-G.8275.1.conf"
(可选)在
/etc/sysconfig/phc2sys中,使用共享 NIC PHC 作为源,将系统时钟与phc2sys对齐:OPTIONS="-s /dev/ptp1 -w -m --uds_address /var/run/ptp4l --domainNumber 24"
启用并启动服务,并验证
eno8403np1是否已锁定到 GM。接收端口移动至SLAVE,偏移量 (rms) 收敛至较低值:# systemctl enable --now ptp4l phc2sys # journalctl -u ptp4l -f ptp4l[...]: "ptp4l" selected best master clock d0460c.ffff.05c130 ptp4l[...]: "ptp4l" port 1 (eno8403np1): UNCALIBRATED to SLAVE on MASTER_CLOCK_SELECTED ptp4l[...]: "ptp4l" rms 8 max 24 freq +10092 +/- 18 delay 211 +/- 2 ptp4l[...]: "ptp4l" rms 4 max 11 freq +10069 +/- 7 delay 210 +/- 2 ptp4l[...]: "ptp4l" rms 3 max 9 freq +10070 +/- 6 delay 213 +/- 3
普通时钟 (OC 服务器)
识别 PTP 接口的 PHC (
ethtool -T ens6f0np0);在此示例中为/dev/ptp1。创建
/etc/ptp4l-G.8275.1.conf(包含单个端口和clientOnly 1),因此该节点仅作为时间接收器运行。更高的localPriority(250) 使其在 BMCA 中低于 BC:例 47.4︰ 普通时钟配置 ## Telecom G.8275.1 — Ordinary Clock (Time Receiver) [global] domainNumber 24 priority2 255 dataset_comparison G.8275.x G.8275.portDS.localPriority 250 G.8275.defaultDS.localPriority 250 maxStepsRemoved 255 logAnnounceInterval -3 logSyncInterval -4 logMinDelayReqInterval -4 announceReceiptTimeout 3 clientOnly 1 ptp_dst_mac 01:80:C2:00:00:0E network_transport L2 summary_interval 3 message_tag "ptp4l" uds_address /var/run/ptp4l uds_ro_address /var/run/ptp4lro [ens6f0np0]
按照 BC 的方式配置
/etc/sysconfig/ptp4l和/etc/sysconfig/phc2sys(phc2sys源为ens6f0np0的 PHC),然后启用并启动服务:# /etc/sysconfig/ptp4l OPTIONS="-f /etc/ptp4l-G.8275.1.conf" # /etc/sysconfig/phc2sys OPTIONS="-s /dev/ptp1 -w -m --uds_address /var/run/ptp4l --domainNumber 24"
验证
ens6f0np0是否已锁定到来自 BC 的再生时间。端口移动至SLAVE,偏移量 (rms) 趋于稳定:# journalctl -u ptp4l -f ptp4l[...]: "ptp4l" selected best master clock d0460c.ffff.05c130 ptp4l[...]: "ptp4l" port 1 (ens6f0np0): UNCALIBRATED to SLAVE on MASTER_CLOCK_SELECTED ptp4l[...]: "ptp4l" rms 15 max 34 freq +11699 +/- 25 delay 468 +/- 5 ptp4l[...]: "ptp4l" rms 13 max 30 freq +11701 +/- 23 delay 468 +/- 4 ptp4l[...]: "ptp4l" rms 14 max 30 freq +11697 +/- 24 delay 467 +/- 4OC 从上游边界时钟获取时间,该时钟是其直接主时钟。 然而,
selected best master clock行报告的是 主时钟 标识 (d0460c.ffff.05c130,即 GM),而不是边界时钟的标识:边界时钟在转发主时钟标识时保持不变,同时将其自身端口通告为父端口,因此该链条始终可追溯至主时钟。要明确查看这两个标识,请查询 OC 上的父数据集(输出示例):# pmc -f /etc/ptp4l-G.8275.1.conf -u -b 0 'GET PARENT_DATA_SET' sending: GET PARENT_DATA_SET 507c6f.fffe.4ae178-0 seq 0 RESPONSE MANAGEMENT PARENT_DATA_SET parentPortIdentity 000000.fffe.001101-2 parentStats 0 observedParentOffsetScaledLogVariance 0xffff observedParentClockPhaseChangeRate 0x7fffffff grandmasterPriority1 128 gm.ClockClass 165 gm.ClockAccuracy 0xfe gm.OffsetScaledLogVariance 0xffff grandmasterPriority2 120 grandmasterIdentity d0460c.ffff.05c130这两个标识不同,这正是边界时钟部署应该显示的内容:
parentPortIdentity(000000.fffe.001101-2) — 直接主时钟:边界时钟的传输端口,即 OC 实际从中接收时间的时钟。grandmasterIdentity(d0460c.ffff.05c130) — 计时树的根:主时钟,通过边界时钟原样转发。gm.ClockClass、gm.ClockAccuracy和grandmasterPriority值携带 BMCA 使用的主时钟通告质量。如果这两个标识相等,则 OC 将直接与主时钟同步,路径中没有边界时钟。
CAPI 自动化
要使用自动化配置工作流部署此场景,请在每个节点上使用 完全自动化的定向网络配置 (第 55.1 节 “精确时间协议 (PTP)”) 中描述的通用集群 API 模板,并用以下值覆盖其占位符。
| 占位符 | 值 |
|---|---|
|
|
| 复制 上述边界时钟配置 (例 47.3 “边界时钟配置”) 中的内容。 |
|
|
|
|
| 占位符 | 值 |
|---|---|
|
|
| 复制 上述普通时钟配置 (例 47.4 “普通时钟配置”) 中的内容。 |
|
|
|
|
47.6 场景 2b - 边界时钟(混合模式:PTP 和 SyncE)具有多端口单 NIC,包括传播到普通时钟服务器 #
此场景尚不支持;它将包含在未来的 SUSE Telco Cloud 版本中。
47.7 场景 3a - 边界时钟(仅 PTP)多 NIC,带有内部计时模块(基于 DPLL GNR-D) #
说明
SUSE Telco Cloud 支持多种平台上的精确计时,包括最新的基于 Intel Granite Rapids-D 的设计 (GNR-D)。这些服务器通常包含一个嵌入式高速以太网控制器,以及一个或多个带有以太网控制器的附加卡 (AIC),以提供额外的端口。与前几代平台不同,它们还配备了专用的 DPLL,可在系统和不同的 NIC 之间在内部路由计时信号,不再需要外部布线来保持所有 NIC PHC 同步。 因此,整体部署得到了简化,但需要特定的步骤和软件组件,例如引导时的 DPLL 和内部信号配置。
此场景将 场景 2a (第 47.5 节 “场景2a - 边界时钟(仅PTP),具有多端口单NIC,包括传播到普通时钟服务器”) 扩展为建立在多个网卡上的边界时钟 (BC),完全基于 ITU-T G.8275.1 (仅 PTP,第 2 层)。集成控制器的一个端口从主时钟接收 PTP,附加卡在下游重新生成 PTP。与单网卡情况不同,每个网卡都有自己的 PHC;板载 DPLL 和 ts2phc 使它们保持对齐,并且每个 PHC 运行一个 ptp4l 实例。
在此 SUSE Telco Cloud 版本中,此场景仅支持“默认”(即非“PREEMPT_RT”)内核版本。 对“RT”内核版本的支持将在后续版本中添加。
从 Intel 网站 下载并安装适用于 Intel 800 系列网络设备 的最新内核驱动程序。
选择包含“ice_RPM_Files”的 ZIP 文件,解压归档文件并安装`ice-kmp-default-*sles16sp0.x86_64.rpm`。此 RPM 包含,例如,
ice-kmp-default-2.4.5_k6.12.0_160000.5-1.sles16sp0.x86_64.rpm:# transactional-update pkg install ice-kmp-default-2.4.5_k6.12.0_160000.5-1.sles16sp0.x86_64.rpm重启服务器以使更改持久生效。
在示例中,Dell PowerEdge XR8720t 系统用作参考系统;内核接口和端口配置在不同的 GNR-D 服务器上可能会有所不同。相应地调整设备名称。
假设采用电信部署,并在以下各节中使用电信控制文件 G.8275.1。
该场景涉及以下组件:
主时钟 (GM):PTP 域(域
24)的参考,位于上游网段。PTP 感知交换机:在定时路径上充当边界时钟 (T-BC);每个承载 PTP 的端口都具有
ptp enable。上游和下游网段在交换机的不同 VLAN 上保持隔离(每个网段使用专用 VLAN)。边界时钟 (BC 服务器):GNR-D 节点。其集成控制器从
eno8403np1上的 GM 接收 PTP,并校准集成 PHC (/dev/ptp1)。板载 DPLL 将该定时分配给插件卡,ts2phc使它们的 PHC (/dev/ptp2,/dev/ptp3) 与/dev/ptp1保持对齐。每个插件卡在下游重新生成 PTP(例如在eno16495np0上),充当时间发送器。普通时钟 (OC 服务器):下游网段上的单端口节点 (
ens6f0np0),其唯一的 PTP 主时钟是 BC。
BC 服务器 上的定时由多个协同工作的 linuxptp 守护程序处理,因为 PHC 物理上是分开的:
集成控制器 (
/dev/ptp1) 上的ptp4l实例在eno8403np1上运行 PTP 协议。BMCA 选择 GM 作为主时钟,端口移动到SLAVE,并且ptp4l校准/dev/ptp1。板载 DPLL 的接线方式使得集成 PHC 通过 SDP 引脚驱动它,而 DPLL 反过来驱动插件卡的时钟。这是用于先前平台外部 1PPS 布线的内部替代方案。
ts2phc使插件卡的 PHC 与 DPLL 分配的信号中的/dev/ptp1保持对齐。每个附加卡 (
/dev/ptp2,/dev/ptp3) 的独立ptp4l实例在其端口上重新生成 PTP,所有端口均强制为serverOnly 1(时间发送器)。边界时钟必须在转发时间的同时转发 Grandmaster 的辅助属性(时钟类别、精度等)。这仅在单个
ptp4l实例内自动发生,因此使用pmc将这些值从集成实例转发到插件实例(请参阅步骤 5)。pmc(PTP 管理客户端)是linuxptp工具,用于通过其管理套接字查询和更新正在运行的ptp4l实例的运行时状态。
在集成控制器上,只有 一个 端口是管理 PHC 的管理端口。检查 /sys/class/ptp/ptp1/device/net/ 以找到它(例如 eno8703np0);它是用于配置 DPLL 信号的端口,不一定是承载 PTP (eno8403np1) 的端口。
此处描述的设置是完全静态的。如果 GM 变得不可用,下游将完全依赖于主机的保持能力;不会执行到不同时间参考源的自动切换。
图表
配置
定时路径上的每个交换机端口都必须启用 PTP。然后按照以下顺序启动 BC 服务器。每个运行时步骤也映射到一个 systemd 单元,以便配置在重启后仍然有效,并可以使用 Cluster API 进行自动化(请参阅 GNR-D CAPI 自动化 (第 55.1.2 节 “GNR-D 多网卡场景 (DPLL)”))。OC 服务器的配置方式与 场景 2a (第 47.5 节 “场景2a - 边界时钟(仅PTP),具有多端口单NIC,包括传播到普通时钟服务器”) 完全相同。
识别 PTP 设备和集成控制器。
列出 PTP 时钟及其各自绑定的 PCI 设备:
# ls -l /sys/class/ptp/ lrwxrwxrwx 1 root root 0 ... ptp1 -> ../../devices/pci0000:12/0000:12:04.0/0000:13:00.0/ptp/ptp1 lrwxrwxrwx 1 root root 0 ... ptp2 -> ../../devices/pci0000:6b/0000:6b:02.0/0000:6c:00.0/ptp/ptp2 lrwxrwxrwx 1 root root 0 ... ptp3 -> ../../devices/pci0000:6b/0000:6b:06.0/0000:6e:00.0/ptp/ptp3运行
lspci以识别每种设备类型,从而区分集成控制器和附加卡:# lspci -s 0000:13:00.0 13:00.0 Ethernet controller: Intel Corporation Ethernet Connection E825-C for SFP (rev 04) # lspci -s 0000:6c:00.0 6c:00.0 Ethernet controller: Intel Corporation Ethernet Controller E830-CC for SFP # lspci -s 0000:6e:00.0 6e:00.0 Ethernet controller: Intel Corporation Ethernet Controller E830-CC for SFP此参考服务器具有一个 Intel E825-C 集成控制器 (
/dev/ptp1) 和两个 E830-CC 附加卡 (/dev/ptp2,/dev/ptp3)。识别集成控制器的管理端口,该端口负责管理其 PHC:
# ls /sys/class/ptp/ptp1/device/net/ eno8703np0 # ethtool -i eno8703np0 driver: ice version: 2.4.5 [...]
配置内部定时信号 (DPLL)。
将集成 PHC 连接到 DPLL,并使用上述管理端口 (
eno8703np0) 以及正确的ptpN索引,让 DPLL 驱动附加卡的时钟:例 47.5︰01-gnrd-startup-setup.sh##!/bin/bash # The admin port that manages the PHC is under /sys/class/ptp/ptp1/device/net/ (e.g. eno8703np0). # Only one port of the integrated E825-C NIC exposes it. # Let the DPLL drive the Ethernet clock on the integrated controller echo 4 1 > /sys/class/net/eno8703np0/device/tspll_cfg # Feed the DPLL from the integrated PHC through the SDP pins: # SDP0 -> 1 pulse per second (1PPS, 1 Hz): enable the pin, then set a 1 s period echo 2 2 > /sys/class/ptp/ptp1/pins/SDP0 echo 2 0 0 1 0 > /sys/class/ptp/ptp1/period # SDP2 -> 1000 pulses per second (1kPPS, 1 kHz): enable the pin, then set a 1 ms period echo 2 1 > /sys/class/ptp/ptp1/pins/SDP2 echo 1 0 0 0 1000000 > /sys/class/ptp/ptp1/period # Propagate the pulses from the DPLL to the add-in cards (SDP1 on each add-in PHC) echo 1 1 > /sys/class/ptp/ptp2/pins/SDP1 echo 1 1 > /sys/class/ptp/ptp3/pins/SDP1这些设置在重启后会丢失,因此请通过 oneshot
systemd单元在启动时运行该脚本,并将其排序在ts2phc和ptp4l之前:# /etc/systemd/system/gnrd-ptp-dpll-setup.service [Unit] Description=GNR-D PTP DPLL and internal signal setup Before=ts2phc.service ptp4l@nac.service ptp4l@aic1.service ptp4l@aic2.service [Service] Type=oneshot RemainAfterExit=yes ExecStart=/usr/local/bin/01-gnrd-startup-setup.sh [Install] WantedBy=multi-user.target将附加卡的 PHC 与
ts2phc对齐。ts2phc(“将时间戳记录到 PHC”)将附加卡的 PHC 与参考时钟对齐。此处,参考时钟是来自集成 NIC 的 PHC(/dev/ptp1,已通过其ptp4l实例由 GM 校准),并通过命令行使用-s /dev/ptp1传递。板载 DPLL 将从该参考时钟导出的 1PPS 传送到每张附加卡的SDP1引脚;ts2phc对这些输入脉冲 (EXTTS) 进行时间戳记录,并相应地调整每个附加卡的 PHC,从而使节点中的每个 PHC 最终共享相同的时间。注意对齐附加卡 PHC 需要在不同级别进行两项互补设置:
硬件:必须启用每个附加卡 PHC 的
SDP1输入引脚,以便板载 DPLL 向其传送 1PPS 脉冲。这在上述步骤的 DPLL 设置脚本中完成 (echo 1 1 > /sys/class/ptp/ptpN/pins/SDP1)。软件:必须告知
ts2phc对该输入进行时间戳记录并调整 PHC。以下配置即实现此目的 (ts2phc.channel,ts2phc.pin_index,ts2phc.extts_polarity)。
如果不启用引脚,脉冲将无法到达 PHC;如果没有
ts2phc配置,脉冲将永远不会应用于它。两者缺一不可。创建其配置文件:
例 47.6︰/etc/ts2phc-cf-all.cfg—ts2phc配置文件 #[global] use_syslog 0 verbose 1 logging_level 7 ts2phc.pulsewidth 100000000 [eno16495np0] ts2phc.channel 1 ts2phc.extts_polarity rising ts2phc.pin_index 1 [eno16595np0] ts2phc.channel 1 ts2phc.extts_polarity rising ts2phc.pin_index 1
每张附加卡都通过以其第一个端口命名的部分进行配置 (
[eno16495np0],[eno16595np0]),该部分标识了要校准的 PHC。这些参数将 DPLL 脉冲映射到该卡:ts2phc.pin_index和ts2phc.channel:DPLL 传送 1PPS 的引脚和通道(在此设置中为SDP1,因此为pin_index 1)。ts2phc.extts_polarity:要进行时间戳记录的脉冲边沿 (rising)。ts2phc.pulsewidth:预期的输入脉冲宽度,以纳秒为单位(此处为 100,000,000 纳秒)。手动将其作为
ts2phc -f /etc/ts2phc-cf-all.cfg -s /dev/ptp1 -m运行,或让systemd通过/etc/sysconfig/ts2phc进行管理:# /etc/sysconfig/ts2phc OPTIONS="-f /etc/ts2phc-cf-all.cfg -s /dev/ptp1 -m"
每个 PHC 运行一个
ptp4l实例。集成控制器运行一个由 BMCA 驱动的实例(接收器),每个附加卡运行一个所有端口均强制为
serverOnly 1的实例。每个实例必须使用不同的控制套接字和只读套接字。创建三个配置文件:例 47.7︰/etc/ptp4l-nac.conf— 集成控制器 (/dev/ptp1) ## Telecom G.8275.1 — integrated controller (receiver) [global] domainNumber 24 priority2 255 dataset_comparison G.8275.x G.8275.portDS.localPriority 128 G.8275.defaultDS.localPriority 128 maxStepsRemoved 255 logAnnounceInterval -3 logSyncInterval -4 logMinDelayReqInterval -4 announceReceiptTimeout 3 ptp_dst_mac 01:80:C2:00:00:0E network_transport L2 summary_interval 3 message_tag "ptp4l-nac" uds_address /var/run/ptp4l-nac uds_ro_address /var/run/ptp4lro-nac [eno8403np1]
集成实例仅声明
eno8403np1(从 GM 接收 PTP 的端口),并且不对其设置serverOnly或clientOnly:它依赖 BMCA 来分配角色。当在eno8403np1上可访问 GM 时,BMCA 会将其选为时间接收器 (SLAVE) 并校准/dev/ptp1。集成控制器的其他端口未声明,因为在此节点上,下游再生由附加卡执行,而不是由集成控制器执行。相比之下,附加卡强制设置为serverOnly 1,因为它们必须始终作为时间发送器——它们从 DPLL 和ts2phc获取时间,而不是通过接收 PTP,因此它们绝不能被选为接收器。如果需要更严格的控制,请在接口下显式添加serverOnly或clientOnly标志。G.8275.portDS.localPriority和G.8275.defaultDS.localPriority值(集成实例上为128,附加卡上为250)充当 G.8275.x BMCA 决胜机制:它们仅在clockClass、clockAccuracy、方差和priority2之后进行比较,且数值越低越优先。在集成实例上保留默认的128会使其排名高于附加实例 (250),这使得节点内的时间发送器/时间接收器排序保持确定性,并驱动 BMCA 选择哪个端口,这反映在ptp4l报告的端口状态中。例 47.8︰/etc/ptp4l-aic1.conf— 附加卡 1 (/dev/ptp2) ## Telecom G.8275.1 — add-in card (Time Transmitter) [global] domainNumber 24 priority2 255 dataset_comparison G.8275.x G.8275.portDS.localPriority 250 G.8275.defaultDS.localPriority 250 maxStepsRemoved 255 logAnnounceInterval -3 logSyncInterval -4 logMinDelayReqInterval -4 announceReceiptTimeout 3 ptp_dst_mac 01:80:C2:00:00:0E network_transport L2 summary_interval 3 message_tag "ptp4l-aic1" uds_address /var/run/ptp4l-aic1 uds_ro_address /var/run/ptp4lro-aic1 [eno16495np0] serverOnly 1
例 47.9︰/etc/ptp4l-aic2.conf— 附加卡 2 (/dev/ptp3) ## Telecom G.8275.1 — add-in card (Time Transmitter) [global] domainNumber 24 priority2 255 dataset_comparison G.8275.x G.8275.portDS.localPriority 250 G.8275.defaultDS.localPriority 250 maxStepsRemoved 255 logAnnounceInterval -3 logSyncInterval -4 logMinDelayReqInterval -4 announceReceiptTimeout 3 ptp_dst_mac 01:80:C2:00:00:0E network_transport L2 summary_interval 3 message_tag "ptp4l-aic2" uds_address /var/run/ptp4l-aic2 uds_ro_address /var/run/ptp4lro-aic2 [eno16595np0] serverOnly 1
注意与 场景 2a (第 47.5 节 “场景2a - 边界时钟(仅PTP),具有多端口单NIC,包括传播到普通时钟服务器”) 一样,定时路径上的每个节点都使用相同的不可转发 G.8275.1 多播 MAC
01:80:C2:00:00:0E,包括下游 OC。使用读取
/etc/ptp4l-<instance>.conf的模板化systemd单元来管理实例:# /etc/systemd/system/ptp4l@.service [Unit] Description=PTP Boundary Clock instance %i After=gnrd-ptp-dpll-setup.service Requires=gnrd-ptp-dpll-setup.service [Service] ExecStart=/usr/sbin/ptp4l -f /etc/ptp4l-%i.conf [Install] WantedBy=multi-user.target启用并启动这三个实例:
# systemctl enable --now ptp4l@nac ptp4l@aic1 ptp4l@aic2在
ptp4l实例之间转发 Grandmaster 参数。边界时钟不仅必须转发时间,还必须转发 Grandmaster 的辅助参数(时钟类别、精度、UTC 偏移量等)。这会在 相同
ptp4l实例的端口之间自动发生,但不会跨越管理不同 PHC 的独立实例发生。这些值在运行时通过pmc在每个实例的 UDS 套接字 (SET GRANDMASTER_SETTINGS_NP) 上应用。重要使用
pmc应用的值仅保存在运行中的ptp4l处理;它们 不 被写入.conf文件,并且 不 在重启后保留。如果ptp4l实例重启,它将恢复为文件默认值,并且必须重新转发这些值。自动执行转发(见下文),而不是手动运行一次。一旦集成控制器锁定到 GM,即查询 Grandmaster 值。下面的辅助程序将要查询的实例的配置文件作为其参数:
例 47.10︰get_pmc_values.sh— 从ptp4l实例查询 Grandmaster 值 ##!/bin/bash # Retrieve Grandmaster information via pmc for the given ptp4l config file set -euo pipefail echo "PARENT_DATA_SET (Grandmaster clock values):" pmc -f "$1" -u -b 0 'GET PARENT_DATA_SET' | grep gm echo "TIME_PROPERTIES_DATA_SET:" pmc -f "$1" -u -b 0 'GET TIME_PROPERTIES_DATA_SET'然后将这些值转发到附加实例。以下脚本从集成实例读取这些值,并将它们应用到每个附加实例。编辑“Input variables”部分以匹配您的配置文件名称,并在系统与 GM 同步后运行它:
例 47.11︰04-ptp-forward-GM.sh— 将 Grandmaster 值转发到附加实例 ##!/bin/bash set -euo pipefail ################## Input variables ################## VERBOSE=1 CONFIG_FILE_NAC=/etc/ptp4l-nac.conf CONFIG_FILES_AICS=(/etc/ptp4l-aic1.conf /etc/ptp4l-aic2.conf) ##################################################### # Check the system is synchronized to a GM GM_PRESENT=$(pmc -f ${CONFIG_FILE_NAC} -u -b 0 'GET TIME_STATUS_NP' | awk '/gmPresent/ {print $2}') if [ -z "$GM_PRESENT" ]; then echo "Failed to get GM value from ptp4l instance for NAC, exiting..." exit 1 elif [ "${GM_PRESENT}" != "true" ]; then echo "No GM present, exiting..." exit 1 fi # Get the "upstream" Grandmaster values PDS_GM_VALUES=$(pmc -f ${CONFIG_FILE_NAC} -u -b 0 'GET PARENT_DATA_SET' | awk 'BEGIN {ORS=" "} /gm./ {print $2}') TPDS_GM_VALUES=$(pmc -f ${CONFIG_FILE_NAC} -u -b 0 'GET TIME_PROPERTIES_DATA_SET' | awk 'BEGIN {ORS=" "} NR>2 {print $2}') if [ -z "$PDS_GM_VALUES" ]; then echo "No PARENT_DATA_SET values retrieved, exiting ..." exit 2 elif [ -z "$TPDS_GM_VALUES" ]; then echo "No TIME_PROPERTIES_DATA_SET values retrieved, exiting ..." exit 2 fi # Unpack from PARENT_DATA_SET read CLOCK_CLASS CLOCK_ACCURACY VARIANCE <<< $PDS_GM_VALUES # Unpack from TIME_PROPERTIES_DATA_SET read UTC_OFFSET LEAP_61 LEAP_59 UTC_OFFSET_VALID PTP_TIMESCALE T_TRACEABLE F_TRACEABLE T_SOURCE <<< $TPDS_GM_VALUES if [ "$VERBOSE" -eq 1 ]; then echo "Read from PARENT_DATA_SET: clockClass=${CLOCK_CLASS} clockAccuracy=${CLOCK_ACCURACY} offsetScaledLogVariance=${VARIANCE}" echo "Read from TIME_PROPERTIES_DATA_SET: currentUtcOffset=${UTC_OFFSET} leap61=${LEAP_61} leap59=${LEAP_59}" \ "currentUtcOffsetValid=${UTC_OFFSET_VALID} ptpTimescale=${PTP_TIMESCALE} timeTraceable=${T_TRACEABLE}" \ "frequencyTraceable=${F_TRACEABLE} timeSource=${T_SOURCE}" fi # Forward these values to the "downstream" Time Receivers, updating the ptp4l instances for FILE in "${CONFIG_FILES_AICS[@]}"; do if [ "$VERBOSE" -eq 1 ]; then echo "Updating GRANDMASTER_SETTINGS_NP (${FILE})" fi pmc -f ${FILE} -u -b 0 'SET GRANDMASTER_SETTINGS_NP clockClass '${CLOCK_CLASS}' clockAccuracy '${CLOCK_ACCURACY}' offsetScaledLogVariance '${VARIANCE}' currentUtcOffset '${UTC_OFFSET}' leap61 '${LEAP_61}' leap59 '${LEAP_59}' currentUtcOffsetValid '${UTC_OFFSET_VALID}' ptpTimescale '${PTP_TIMESCALE}' timeTraceable '${T_TRACEABLE}' frequencyTraceable '${F_TRACEABLE}' timeSource '${T_SOURCE}'' &> /dev/null if [ $? -ne 0 ]; then echo "Failed to update ptp4l instance using config file \"${FILE}\", exiting ..." exit 1 fi done由于这些值不是持久的,请通过
systemd定时器运行此脚本,以便定期以及在任何实例重启后刷新它们:# /etc/systemd/system/ptp-forward-gm.service [Unit] Description=Forward Grandmaster parameters to the add-in ptp4l instances Wants=ptp4l@nac.service ptp4l@aic1.service ptp4l@aic2.service After=ptp4l@nac.service ptp4l@aic1.service ptp4l@aic2.service [Service] Type=oneshot SELinuxContext=system_u:system_r:unconfined_t:s0 ExecStart=/usr/local/bin/04-ptp-forward-GM.sh# /etc/systemd/system/ptp-forward-gm.timer [Unit] Description=Refresh forwarded Grandmaster parameters [Timer] OnBootSec=2min OnUnitActiveSec=5min [Install] WantedBy=timers.target通过查询 BC 上的附加
ptp4l实例可以看到效果:转发前,节点通告其文件默认值;转发开始后,它通告 Grandmaster 的实际值(随后传播到下游 OC)。例如,gm.ClockClass更改:# ./get_pmc_values.sh /etc/ptp4l-aic1.conf # before forwarding gm.ClockClass 165 gm.ClockAccuracy 0xfe gm.OffsetScaledLogVariance 0xffff # ./get_pmc_values.sh /etc/ptp4l-aic1.conf # after forwarding gm.ClockClass 8 gm.ClockAccuracy 0xfe gm.OffsetScaledLogVariance 0xffff(可选)使用
phc2sys从 PTP 派生系统时钟,并将集成 PHC 用作源 (/etc/sysconfig/phc2sys):OPTIONS="-f /etc/ptp4l-nac.conf -s /dev/ptp1 -c CLOCK_REALTIME -w"
CAPI 自动化
要使用自动化配置工作流部署此场景,请使用 Fully automated directed network provisioning — GNR-D scenarios (第 55.1.2 节 “GNR-D 多网卡场景 (DPLL)”) 中描述的 GNR-D 特定 Cluster API 模板。与标准场景不同,它部署了多个 ptp4l 实例、ts2phc 服务、DPLL 启动时设置以及 Grandmaster 转发计时器,因此需要上面列出的额外配置文件和 systemd 单元。
用以下值覆盖其占位符。
| 占位符 | 值 |
|---|---|
| 复制 01-gnrd-startup-setup.sh (例 47.5 “ |
| 复制 04-ptp-forward-GM.sh (例 47.11 “ |
| 复制 /etc/ts2phc-cf-all.cfg (例 47.6 “ |
|
|
| 复制 /etc/ptp4l-nac.conf (例 47.7 “ |
| 复制 /etc/ptp4l-aic1.conf (例 47.8 “ |
| 复制 /etc/ptp4l-aic2.conf (例 47.9 “ |
47.8 场景 3b - 边界时钟(混合模式:PTP 和 SyncE)具有内部定时模块(基于 DPLL GNR-D)的多 NIC #
此场景尚不支持;它将包含在未来的 SUSE Telco Cloud 版本中。
48 SCTP - 流控制传输协议 #
流控制传输协议 (SCTP) 是一种计算机网络通信协议,位于互联网协议套件的传输层。 该协议最初旨在用于电信领域的信令系统 7 (SS7) 消息传输,它提供了用户数据报协议 (UDP) 的面向消息功能,同时确保了像传输控制协议 (TCP) 那样具有拥塞控制的可靠、按序的消息传输。 与 UDP 和 TCP 不同,该协议支持多宿主和冗余路径,以提高弹性和可靠性。
SCTP 由互联网工程任务组 (IETF) 在 RFC 9260 中标准化。SCTP 参考实现作为 FreeBSD 7 版本的一部分发布,此后已被广泛移植到其他平台。
在 3GPP 4G (LTE) 规范中,SCTP(流控制传输协议)充当演进分组核心网 (EPC) 中控制面信令消息的基础第 4 层传输,包括与无线接入网 (RAN) 域的信令连接。3GPP 5G 规范通过引入服务化架构 (SBA) 取消了核心网内部对 SCTP 的需求,该架构用 HTTP/2 取代了所有基于 Diameter-over-SCTP 的信令接口。然而,在 5G RAN 域内仍然需要它:
在构成“解耦”gNodeB 实例的网络单元之间的信令接口中(DU 和 CU-CP 之间的 F1-C 接口,以及 CU-CP 和 CU-UP 之间的 E1 接口)。
在用于信令目的的连接 gNodeB 实例的 Xn-C 接口中。
在用于将 gNodeB 实例(RAN 域)与 AMF 实例(核心网)连接以进行信令传输的 N2(又称 NG-C)参考点中。
然后,您必须在托管利用它的支持 SCTP 的电信工作负载的下游集群节点上启用 sctp Linux 内核模块 (lksctp):
若要手动在 Linux 节点上加载
sctp内核模块:
$ sudo modprobe sctp若要自动在每次节点启动时加载
sctp内核模块,请在/etc/modules-load.d/目录中创建一个名为sctp.conf的文件,其中仅包含字符串sctp(即 systemd-modules-load.service 单元应在启动时加载的内核模块名称)。
$ echo "sctp" > /etc/modules-load.d/sctp.conf
$ reboot确保 sctp 内核模块在每次节点启动时加载的最简单且最佳的方法是将该 /etc/modules-load.d/sctp.conf 文件添加到用于预配下游节点的 Edge Image Builder (EIB) 构建的原始映像中;有关如何执行此操作的更多信息,请参阅 EIB 文档 (第 5.3.5 节 “添加操作系统文件”)。
第 VII 部分 全自动定向网络配置 #
- 49 简介
本章介绍了如何使用定向网络配置(Directed Network Provisioning)来配置下游集群,这是 SUSE Telco Cloud 支持的配置方法。与基于镜像的配置(Image-based Provisioning)不同,此工作流程保持操作系统镜像通用,并从管理集群驱动所有特定于集群的配置,从而在分布式站点实现一致且全自动的大规模部署。
- 50 为连接场景准备下游集群镜像
Edge Image Builder (第 12 章 “Edge Image Builder”) 用于准备修改后的 SLEMicro 基础镜像,该镜像部署在下游集群主机上。
- 51 为隔离场景准备下游集群映像
Edge Image Builder (第 12 章 “Edge Image Builder”) 用于准备修改后的 SLEMicro 基础镜像,该镜像部署在下游集群主机上。
- 52 使用定向网络配置(单节点)进行下游集群配置
本节介绍了用于通过定向网络配置自动配置单节点下游集群的工作流程。 这是自动化配置下游集群的最简单方法。
- 53 使用定向网络置备(多节点)进行下游集群置备
本节介绍了用于通过定向网络置备和`MetalLB`作为负载均衡器策略来自动置备多节点下游集群的工作流程。 这是自动化置备下游集群的最简单方法。下图显示了用于通过定向网络置备和`MetalLB`来自动置备多节点下游集群的工作流程。
- 54 高级网络配置
定向网络配置工作流允许在下游集群中进行特定的网络配置,例如静态 IP、绑定、VLAN、IPv6 等。
- 55 电信功能(DPDK、SR-IOV、CPU 隔离、大页、NUMA 等)
定向网络配置工作流允许自动化在下游集群中使用的电信功能,以便在这些服务器上运行电信工作负载。
- 56 私有镜像仓库
可以将私有镜像仓库配置为工作负载所用镜像的镜像站。
- 57 隔离环境中的下游集群置备
定向网络置备工作流允许自动执行隔离环境中的下游集群置备。
49 简介 #
本章介绍了如何使用定向网络配置(Directed Network Provisioning)来配置下游集群,这是 SUSE Telco Cloud 支持的配置方法。与基于镜像的配置(Image-based Provisioning)不同,此工作流程保持操作系统镜像通用,并从管理集群驱动所有特定于集群的配置,从而在分布式站点实现一致且全自动的大规模部署。
定向网络配置是由管理集群驱动的全自动、零接触工作流程。每个裸机主机首先通过注册其 BMC 凭据和硬件详细信息,从管理集群预先注册到 Metal3 中。一旦主机上架、连接到所需网络并通电,管理集群就会接管:它通过带外管理接口使用 EIB 生成的基础镜像配置操作系统,并部署完整的 Kubernetes 堆栈,应用所有电信配置文件,无需任何进一步的人工干预。
管理集群会自动在每个下游集群节点上部署以下组件:
SUSE Linux Micro (第 10 章 “SUSE Linux Micro”)(或用于实时内核的
SUSE Linux Micro RT)作为操作系统。网络、存储、用户和内核参数可以根据用例进行自定义。RKE2 (第 14 章 “RKE2”) 作为 Kubernetes 发行版。默认的 CNI 插件是
Cilium。根据用例,可以使用其他 CNI 组合,例如Cilium+Multus。(可选)SUSE Storage (第 15 章 “SUSE Storage”)
(可选)SUSE Security (第 16 章 “SUSE Security”)
(可选)
MetalLB作为高可用多节点集群的负载均衡器。
以下章节介绍了不同的定向网络配置工作流程以及可以添加到配置过程中的一些附加功能:
以下章节展示了如何使用 SUSE Telco Cloud 为定向网络配置工作流准备不同的场景。 有关部署的不同配置选项示例(包括隔离的环境、DHCP 和无 DHCP 网络、私有容器镜像储存库等),请参阅 SUSE Telco Cloud 储存库。
50 为连接场景准备下游集群镜像 #
Edge Image Builder (第 12 章 “Edge Image Builder”) 用于准备修改后的 SLEMicro 基础镜像,该镜像部署在下游集群主机上。
通过 Edge Image Builder 可以进行大部分配置,但在本指南中,我们仅涵盖设置下游集群所需的最少配置。
50.1 连接场景的先决条件 #
运行 Edge Image Builder 需要容器运行时,例如 Podman 或 Rancher Desktop。
基础镜像将使用以下指南 第 65 章 “使用 Kiwi 构建更新的 SUSE Linux Micro 镜像” 和配置文件
Base(或Base-RT(针对实时内核))进行构建。两种架构(x86-64 和 aarch64)的处理相同。
必须使用与所构建镜像架构相同的构建主机。换句话说,要构建 aarch64 镜像,必须使用 aarch64 构建主机,反之亦然,对于 x86-64 也是如此(目前不支持交叉构建)。
50.2 连接场景的镜像配置 #
运行 Edge Image Builder 时,会从主机挂载一个目录,因此有必要创建一个目录结构来存储用于定义目标镜像的配置文件。
downstream-cluster-config.yaml是镜像定义文件,有关更多详细信息,请参阅 第 5 章 “使用 Edge Image Builder 的独立集群”。基础镜像文件夹将包含按照指南 第 65 章 “使用 Kiwi 构建更新的 SUSE Linux Micro 镜像” 和控制文件
Base(或Base-RT,用于实时内核)生成的输出原始镜像,必须将其复制/移动到base-images文件夹下。custom/files目录包含在镜像创建过程中要复制到镜像的performance-settings.sh和sriov-auto-filler.sh文件。custom/scripts目录包含要在首次启动时运行的脚本:01-fix-growfs.sh脚本是部署时调整操作系统根分区大小所必需的。02-performance.sh脚本是可选的,可用于配置系统以进行性能调优。03-sriov.sh脚本是可选的,可用于配置系统以实现 SR-IOV。
network文件夹是可选的,有关更多详细信息,请参阅 第 50.2.6 节 “用于高级网络配置的附加脚本”。os-files文件夹包含必要的配置文件,用于在每个节点启动时加载带有所需选项的sctp和vfio-pci内核模块。
├── downstream-cluster-config.yaml
├── base-images
│ └── SL-Micro.x86_64-6.2-Base-GM.raw
├── custom
│ ├── files
│ │ ├── performance-settings.sh
│ │ └── sriov-auto-filler.sh
│ └── scripts
│ ├── 01-fix-growfs.sh
│ ├── 02-performance.sh
│ └── 03-sriov.sh
├── network
│ └── configure-network.sh
└── os-files
└── etc
├── modprobe.d
│ └── vfio-pci-options.conf
└── modules-load.d
├── sctp.conf
└── vfio-pci.conf50.2.1 下游集群镜像定义文件 #
`downstream-cluster-config.yaml`文件是下游集群映像的主配置文件。以下是通过 Metal3 进行部署的最小示例:
apiVersion: 1.3
image:
imageType: raw
arch: x86_64
baseImage: SL-Micro.x86_64-6.2-Base-GM.raw
outputImageName: eibimage-output-telco.raw
operatingSystem:
kernelArgs:
- ignition.platform.id=openstack
systemd:
disable:
- rebootmgr
- transactional-update.timer
- transactional-update-cleanup.timer
- fstrim
- time-sync.target
users:
- username: root
encryptedPassword: $ROOT_PASSWORD
sshKeys:
- $USERKEY1
createHomeDir: true
packages:
packageList:
- jq
sccRegistrationCode: $SCC_REGISTRATION_CODE其中 $SCC_REGISTRATION_CODE 是从 SUSE Customer Center 复制的注册码,软件包列表包含所需的 jq。
$ROOT_PASSWORD 是 root 用户的加密密码,这对于测试/调试很有用。 它可以使用 openssl passwd -6 PASSWORD 命令生成
对于生产环境,建议使用可以添加到用户块中的 SSH 密钥,并将 $USERKEY1 替换为真实的 SSH 密钥。
arch: x86_64 是镜像的架构。对于 arm64 架构,请使用 arch: aarch64。
请注意 ignition.platform.id=openstack 是强制性的,如果没有此参数,SLEMicro 通过 ignition 的配置将在 Metal3 自动化流程中失败。
对于早于 6.2 的 SUSE Linux Micro 版本,必须将 net.ifnames=1 显式设置为内核参数,以启用 可预测网络接口命名。从 6.2 版本开始,此项默认强制执行,无需进行显式配置。这与管理集群 Metal3 Helm chart 中的 predictableNicNames 配置一致,这是定向网络配置正常运行所必需的。当使用 SR-IOV 时,一致的网络接口命名也至关重要。
50.2.2 Growfs 脚本 #
目前,需要一个自定义脚本 (custom/scripts/01-fix-growfs.sh) 来在配置后的首次启动时扩展文件系统以匹配磁盘大小。01-fix-growfs.sh 脚本包含以下信息:
#!/bin/bash
growfs() {
mnt="$1"
dev="$(findmnt --fstab --target ${mnt} --evaluate --real --output SOURCE --noheadings)"
# /dev/sda3 -> /dev/sda, /dev/nvme0n1p3 -> /dev/nvme0n1
parent_dev="/dev/$(lsblk --nodeps -rno PKNAME "${dev}")"
# Last number in the device name: /dev/nvme0n1p42 -> 42
partnum="$(echo "${dev}" | sed 's/^.*[^0-9]\([0-9]\+\)$/\1/')"
ret=0
growpart "$parent_dev" "$partnum" || ret=$?
[ $ret -eq 0 ] || [ $ret -eq 1 ] || exit 1
/usr/lib/systemd/systemd-growfs "$mnt"
}
growfs /50.2.3 性能脚本 #
可以使用以下可选脚本 (custom/scripts/02-performance.sh) 来配置系统以进行性能调优:
#!/bin/bash
# create the folder to extract the artifacts there
mkdir -p /opt/performance-settings
# copy the artifacts
cp performance-settings.sh /opt/performance-settings/custom/files/performance-settings.sh 的内容是一个可用于配置系统以进行性能调优的脚本,可以从以下 链接 下载。
50.2.4 SR-IOV 脚本 #
可以使用以下可选脚本 (custom/scripts/03-sriov.sh) 来配置系统以进行 SR-IOV:
#!/bin/bash
# create the folder to extract the artifacts there
mkdir -p /opt/sriov
# copy the artifacts
cp sriov-auto-filler.sh /opt/sriov/sriov-auto-filler.shcustom/files/sriov-auto-filler.sh 的内容是一个可用于配置系统以进行 SR-IOV 的脚本,可以从以下 链接 下载。
50.2.5 电信工作负载的附加配置 #
要启用 dpdk、sr-iov 或 FEC 等电信功能,可能需要如下例所示的附加软件包。
apiVersion: 1.3
image:
imageType: raw
arch: x86_64
baseImage: SL-Micro.x86_64-6.2-Base-GM.raw
outputImageName: eibimage-output-telco.raw
operatingSystem:
kernelArgs:
- ignition.platform.id=openstack
systemd:
disable:
- rebootmgr
- transactional-update.timer
- transactional-update-cleanup.timer
- fstrim
- time-sync.target
users:
- username: root
encryptedPassword: $ROOT_PASSWORD
sshKeys:
- $user1Key1
createHomeDir: true
packages:
packageList:
- jq # Non Telco specific - category: testing/utils
- dpdk # TelCo Core-Network UserPlane (5G UPF) and RAN UserPlane (gNB: DU and CU-UP) - category: runtime
- dpdk-tools # TelCo Core-Network UserPlane (5G UPF) and RAN UserPlane (gNB: DU and CU-UP) - category: testing/utils
- libdpdk-25 # TelCo Core-Network UserPlane (5G UPF) and RAN UserPlane (gNB: DU and CU-UP) - category: runtime
- pf-bb-config # TelCo RAN (gNB: DU) - category: config.
- open-iscsi # Non Telco specific (required by SUSE Storage/Longhorn) - category: runtime
- tuned # Non Telco specific (linux tuning) - category: config.
- cpupower # Non Telco specific (linux tuning - CPU power related settings) - category: config.
- rt-tests # Non Telco specific (RT scheduler-latency testing) - category: testing/utils
- linuxptp # TelCo RAN; time sync (gNB: DU) - category: runtime
- synce4l # TelCo RAN; time sync (gNN: DU) - category: runtime
- pciutils # Non Telco specific (provides "lspci" command) - category: testing/utils
- numactl # Non Telco specific (provides "numactl" command) - category: testing/utils
sccRegistrationCode: $SCC_REGISTRATION_CODE其中 $SCC_REGISTRATION_CODE 是从 SUSE 客户中心 复制的注册码,软件包列表包含用于电信配置文件的最少软件包。
arch: x86_64 是镜像的架构。对于 arm64 架构,请使用 arch: aarch64。
50.2.6 用于高级网络配置的附加脚本 #
如果您需要配置静态 IP 或 第 54 章 “高级网络配置” 中描述的更高级的网络场景,则需要进行以下附加配置。
在 network 文件夹中,创建以下 configure-network.sh 文件 - 这会在首次启动时使用配置驱动器数据,并使用 NM Configurator 工具 配置主机网络。
#!/bin/bash
set -eux
# Attempt to statically configure a NIC in the case where we find a network_data.json
# In a configuration drive
CONFIG_DRIVE=$(blkid --label config-2 || true)
if [ -z "${CONFIG_DRIVE}" ]; then
echo "No config-2 device found, skipping network configuration"
exit 0
fi
mount -o ro $CONFIG_DRIVE /mnt
META_DATA_FILE="/mnt/openstack/latest/meta_data.json"
if [ ! -f "${META_DATA_FILE}" ]; then
umount /mnt
echo "No meta_data.json found, skipping hostname configuration"
exit 0
fi
DESIRED_HOSTNAME=$(cat /mnt/openstack/latest/meta_data.json | tr ',{}' '\n' | grep '"metal3-name"' | sed 's/.*\"metal3-name\": \"\(.*\)\"/\1/')
echo "${DESIRED_HOSTNAME}" > /etc/hostname
NETWORK_DATA_FILE="/mnt/openstack/latest/network_data.json"
if [ ! -f "${NETWORK_DATA_FILE}" ]; then
umount /mnt
echo "No network_data.json found, skipping network configuration"
exit 0
fi
mkdir -p /tmp/nmc/{desired,generated}
cp ${NETWORK_DATA_FILE} /tmp/nmc/desired/_all.yaml
umount /mnt
./nmc generate --config-dir /tmp/nmc/desired --output-dir /tmp/nmc/generated
./nmc apply --config-dir /tmp/nmc/generated50.2.7 电信工作负载所需的内核模块 #
为确保在每个节点启动时加载电信工作负载所需的内核模块,必须将以下配置文件添加到 os-files EIB 文件夹中:
50.2.7.1 sctp.conf #
放置在 os-files/etc/modules-load.d/ 路径中,指示 systemd-modules-load.service 在节点启动时加载 sctp 内核模块。
$ cat os-files/etc/modules-load.d/sctp.conf
# Request "systemd-modules-load.service" to load sctp module at boot time
sctp50.2.7.2 vfio-pci.conf #
放置在 os-files/etc/modules-load.d/ 路径中,指示 systemd-modules-load.service 在节点启动时加载 vfio-pci 内核模块。
$ cat os-files/etc/modules-load.d/vfio-pci.conf
# Request "systemd-modules-load.service" to load vfio-pci module at boot time
# NOTE: The (SRIOV & DPDK related) required load-module options settings are defined in related "/etc/modprobe.d/vfio-pci-options.conf" file
vfio_pci50.2.7.3 vfio-pci-options.conf #
放置在 os-files/etc/modprobe.d/ 路径中,设置在加载内核模块时要应用的所需 vfio-pci 内核模块参数。
$ cat os-files/etc/modprobe.d/vfio-pci-options.conf
# Enable SR-IOV and disable idle D3 state for vfio-pci driver
options vfio_pci enable_sriov=1 disable_idle_d3=150.3 映像创建 #
一旦按照前几节准备好目录结构,请运行以下命令来构建映像:
podman run --rm --privileged -it -v $PWD:/eib \
registry.suse.com/edge/3.7/edge-image-builder:1.3.4 \
build --definition-file downstream-cluster-config.yaml这将基于上述定义创建名为 eibimage-output-telco.raw 的输出 RAW 映像文件。
然后,必须通过 Web 服务器提供输出映像,该服务器可以是 管理集群文档 (注意) 中启用的 media-server 容器,也可以是其他本地可访问的服务器。 在以下示例中,我们将此服务器称为 imagecache.local:8080
51 为隔离场景准备下游集群映像 #
Edge Image Builder (第 12 章 “Edge Image Builder”) 用于准备修改后的 SLEMicro 基础镜像,该镜像部署在下游集群主机上。
大部分配置都可以通过 Edge Image Builder 完成,但在本指南中,我们仅涵盖为隔离场景设置下游集群所需的最小配置。
51.1 隔离场景的先决条件 #
运行 Edge Image Builder 需要容器运行时,例如 Podman 或 Rancher Desktop。
基础镜像将使用以下指南 第 65 章 “使用 Kiwi 构建更新的 SUSE Linux Micro 镜像” 和配置文件
Base(或Base-RT(针对实时内核))进行构建。两种架构(x86-64 和 aarch64)的过程相同。如果您想使用 SR-IOV 或任何其他需要容器镜像的工作负载,则必须部署并配置好本地私有注册表(无论是否带有 TLS 和/或身份验证)。此注册表将用于存储镜像和 Helm chart OCI 镜像。
必须使用与所构建镜像架构相同的构建主机。换句话说,要构建 aarch64 镜像,必须使用 aarch64 构建主机,反之亦然,对于 x86-64 也是如此(目前不支持交叉构建)。
51.2 隔离场景的映像配置 #
运行 Edge Image Builder 时,会从主机挂载一个目录,因此有必要创建一个目录结构来存储用于定义目标镜像的配置文件。
downstream-cluster-airgap-config.yaml是镜像定义文件,有关更多详细信息,请参阅 第 5 章 “使用 Edge Image Builder 的独立集群”。基础镜像文件夹中生成的输出原始映像(依据指南 第 65 章 “使用 Kiwi 构建更新的 SUSE Linux Micro 镜像” 和配置文件
Base,或针对实时内核使用Base-RT)必须复制/移动到base-images文件夹下。network文件夹是可选的,有关更多详细信息,请参阅 第 50.2.6 节 “用于高级网络配置的附加脚本”。custom/scripts目录包含要在首次启动时运行的脚本:01-fix-growfs.sh脚本是在部署时调整操作系统根分区大小所必需的。02-airgap.sh脚本是在隔离环境的镜像创建过程中将镜像复制到正确位置所必需的。03-performance.sh脚本是可选的,可用于配置系统以进行性能调优。04-sriov.sh脚本为可选项,可用于配置系统以支持 SR-IOV。
custom/files目录包含在镜像创建过程中需要复制到镜像中的rke2和cni镜像。此外,还可以包含可选的performance-settings.sh和sriov-auto-filler.sh文件。os-files文件夹包含必要的配置文件,用于在每个节点启动时加载带有所需选项的sctp和vfio-pci内核模块。
├── downstream-cluster-airgap-config.yaml
├── base-images
│ └── SL-Micro.x86_64-6.2-Base-GM.raw
├── custom
│ ├── files
│ │ ├── install.sh
│ │ ├── rke2-images-cilium.linux-amd64.tar.zst
│ │ ├── rke2-images-core.linux-amd64.tar.zst
│ │ ├── rke2-images-multus.linux-amd64.tar.zst
│ │ ├── rke2-images.linux-amd64.tar.zst
│ │ ├── rke2.linux-amd64.tar.zst
│ │ ├── sha256sum-amd64.txt
│ │ ├── performance-settings.sh
│ │ └── sriov-auto-filler.sh
│ └── scripts
│ ├── 01-fix-growfs.sh
│ ├── 02-airgap.sh
│ ├── 03-performance.sh
│ └── 04-sriov.sh
├── network
│ └── configure-network.sh
└── os-files
└── etc
├── modprobe.d
│ └── vfio-pci-options.conf
└── modules-load.d
├── sctp.conf
└── vfio-pci.conf51.2.1 下游集群镜像定义文件 #
downstream-cluster-airgap-config.yaml 文件是下游集群镜像的主要配置文件,其内容已在前面的 章节 (第 50.2.5 节 “电信工作负载的附加配置”) 中进行了描述。
51.2.2 Growfs 脚本 #
目前,需要一个自定义脚本 (custom/scripts/01-fix-growfs.sh) 来在配置后的首次启动时扩展文件系统以匹配磁盘大小。01-fix-growfs.sh 脚本包含以下信息:
#!/bin/bash
growfs() {
mnt="$1"
dev="$(findmnt --fstab --target ${mnt} --evaluate --real --output SOURCE --noheadings)"
# /dev/sda3 -> /dev/sda, /dev/nvme0n1p3 -> /dev/nvme0n1
parent_dev="/dev/$(lsblk --nodeps -rno PKNAME "${dev}")"
# Last number in the device name: /dev/nvme0n1p42 -> 42
partnum="$(echo "${dev}" | sed 's/^.*[^0-9]\([0-9]\+\)$/\1/')"
ret=0
growpart "$parent_dev" "$partnum" || ret=$?
[ $ret -eq 0 ] || [ $ret -eq 1 ] || exit 1
/usr/lib/systemd/systemd-growfs "$mnt"
}
growfs /51.2.3 隔离脚本 #
以下脚本 (custom/scripts/02-airgap.sh) 是在镜像创建过程中将镜像复制到正确位置所必需的:
#!/bin/bash
# create the folder to extract the artifacts there
mkdir -p /opt/rke2-artifacts
mkdir -p /var/lib/rancher/rke2/agent/images
# copy the artifacts
cp install.sh /opt/
cp rke2-images*.tar.zst rke2.linux-amd64.tar.gz sha256sum-amd64.txt /opt/rke2-artifacts/51.2.4 性能脚本 #
可以使用以下可选脚本 (custom/scripts/03-performance.sh) 来配置系统以进行性能调优:
#!/bin/bash
# create the folder to extract the artifacts there
mkdir -p /opt/performance-settings
# copy the artifacts
cp performance-settings.sh /opt/performance-settings/custom/files/performance-settings.sh 的内容是一个可用于配置系统以进行性能调优的脚本,可以从以下 链接 下载。
51.2.5 SR-IOV 脚本 #
可以使用以下可选脚本 (custom/scripts/04-sriov.sh) 来配置系统以进行 SR-IOV:
#!/bin/bash
# create the folder to extract the artifacts there
mkdir -p /opt/sriov
# copy the artifacts
cp sriov-auto-filler.sh /opt/sriov/sriov-auto-filler.shcustom/files/sriov-auto-filler.sh 的内容是一个可用于配置 SR-IOV 系统的脚本,可以从以下 链接 下载。
51.2.6 电信工作负载所需的内核模块 #
正如 章节 (第 50.2.7 节 “电信工作负载所需的内核模块”) 中针对非隔离场景所描述的那样。
51.2.7 准备隔离工件 #
需要执行以下步骤,使用发布容器镜像来准备隔离工件,以便使用特定版本的工件填充注册表。 它通过单个命令处理 RKE2 tarball 的生成、Helm chart OCI 镜像以及容器镜像的同步,无需单独的脚本。
如果您的私有注册表需要身份验证,请创建一个包含 base64 编码凭据的注册表身份验证文件:
$ echo -n "$(echo -n 'myusername' | base64 -w 0):$(echo -n 'mypassword' | base64 -w 0)" > registry-auth.txt如果您使用 Rancher Apps chart 仓库(Longhorn 和 Rancher 来源的 chart 所必需),请创建一个 Rancher Apps 认证文件:
$ echo -n "$(echo -n 'myusername@apps.rancher.io' | base64 -w 0):$(echo -n 'mypassword' | base64 -w 0)" > rancher-apps-auth.txt(可选)如果您想镜像 SUSE Private Registry 制品(Harbor charts/镜像),请使用根据 SUSE Private Registry 文档 获取的
SCC mirroring credentials创建一个 SUSE Private Registry 认证文件:$ echo -n "$(echo -n 'SUSE_REGISTRY_USERNAME' | base64 -w 0):$(echo -n 'SUSE_REGISTRY_PASSWORD' | base64 -w 0)" > suse-private-registry-auth.txt使用发布容器镜像运行
mirror命令,以使用特定发布版本所需的所有制品(RKE2 镜像、Helm chart OCI 镜像和容器镜像)填充您的私有注册表。 将所有认证文件和证书放在当前目录中,以便可以通过-v ./:/opt:z绑定挂载在容器内访问它们。不使用 SUSE Private Registry(将跳过 Harbor chart/镜像):
$ podman run --rm \ -v ./:/opt:z \ registry.suse.com/edge/3.7/release-manifest:3.7.0 \ mirror \ -o /opt/output \ -a /opt/registry-auth.txt \ -c /opt/cert.pem \ -r ${REGISTRY_IP}:5000 \ --rancher-apps-authfile /opt/rancher-apps-auth.txt \ --debug其中
${REGISTRY_IP}是要填充的私有注册表实例的 IP 地址。使用 SUSE Private Registry:
$ podman run --rm \ -v ./:/opt:z \ registry.suse.com/edge/3.7/release-manifest:3.7.0 \ mirror \ -o /opt/output \ -a /opt/registry-auth.txt \ -c /opt/cert.pem \ -r ${MGMT_CLUSTER_REGISTRY_IP}:5000 \ --rancher-apps-authfile /opt/rancher-apps-auth.txt \ --suse-private-registry-authfile /opt/suse-private-registry-auth.txt \ --debug其中
${MGMT_CLUSTER_REGISTRY_IP}是分配给部署在管理集群中的 SUSE Private Registry 实例的预留静态 IP 地址,如前一 节 (第 30.3 节 “kubernetes 文件夹中的修改”) 所述。将生成的 RKE2 制品从输出目录(示例中为
/opt/output)复制到custom/files文件夹,以便在构建过程中供 EIB 用于下游集群:$ cp output/rke2-images*.tar.zst custom/files/ $ cp output/rke2.linux-amd64.tar.gz custom/files/ $ cp output/sha256sum-amd64.txt custom/files/
发布容器镜像内部已经捆绑了 /release_manifest.yaml 和 /release_images.yaml,因此无需提供额外的清单文件。
有关完整的标志参考和高级用法,请参阅 seactl 文档。
51.3 针对隔离场景的镜像创建 #
一旦按照前几节准备好目录结构,请运行以下命令来构建映像:
podman run --rm --privileged -it -v $PWD:/eib \
registry.suse.com/edge/3.7/edge-image-builder:1.3.4 \
build --definition-file downstream-cluster-airgap-config.yaml这将基于上述定义创建名为 eibimage-output-telco.raw 的输出 RAW 映像文件。
然后,必须通过 Web 服务器提供输出映像,该服务器可以是 管理集群文档 (注意) 中启用的 media-server 容器,也可以是其他本地可访问的服务器。 在以下示例中,我们将此服务器称为 imagecache.local:8080。
52 使用定向网络配置(单节点)进行下游集群配置 #
本节介绍了用于通过定向网络配置自动配置单节点下游集群的工作流程。 这是自动化配置下游集群的最简单方法。
要求
使用
EIB生成的镜像(如 上一节 (第 50 章 “为连接场景准备下游集群镜像”) 所述)以及用于设置下游集群的最小配置,必须位于管理集群中,且路径必须与您在 本节 (注意) 中配置的路径完全一致。已创建管理服务器,可供后续章节使用。有关更多信息,请参阅管理集群部分 第 V 部分 “设置管理集群”。
工作流程
下图显示了使用定向网络配置自动配置单节点下游集群的工作流程:
使用定向网络配置自动配置单节点下游集群有两个不同的步骤:
注册裸机主机,使其可用于配置过程。
配置裸机主机以安装和设置操作系统及 Kubernetes 集群。
注册裸机主机
第一步是在管理集群中注册新的裸机主机,使其可用于置备。
为此,必须在管理集群中创建以下文件(bmh-example.yaml),以指定要使用的`BMC`凭据和要注册的`BaremetalHost`对象:
apiVersion: v1
kind: Secret
metadata:
name: example-demo-credentials
type: Opaque
data:
username: ${BMC_USERNAME}
password: ${BMC_PASSWORD}
---
apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
name: example-demo
labels:
cluster-role: control-plane
spec:
architecture: x86_64
online: true
bootMACAddress: ${BMC_MAC}
rootDeviceHints:
deviceName: /dev/nvme0n1
bmc:
address: ${BMC_ADDRESS}
disableCertificateVerification: true
credentialsName: example-demo-credentials其中:
${BMC_USERNAME}— 新裸机主机`BMC`的用户名。${BMC_PASSWORD}— 新裸机主机`BMC`的密码。${BMC_MAC}— 要使用的新裸机主机的`MAC`地址。${BMC_ADDRESS}— 裸机主机的`URL``BMC`(例如,redfish-virtualmedia://192.168.200.75/redfish/v1/Systems/1/)。要了解有关根据您的硬件提供商可用的不同选项的更多信息,请查看以下 链接。
架构必须是`x86_64`或`aarch64`,具体取决于要注册的裸机主机的架构。
如果未指定主机的网络配置(无论是在镜像构建时还是通过`BareMetalHost`定义),则将使用自动配置机制(DHCP、DHCPv6、SLAAC)。有关更多详细信息或复杂配置,请查看第 54 章 “高级网络配置”。
文件创建完成后,必须在管理集群中执行以下命令,以开始在管理集群中注册新的裸机主机:
$ kubectl apply -f bmh-example.yaml新的裸机主机对象将被注册,其状态将从注册中变为检查中和可用。可以使用以下命令检查更改:
$ kubectl get bmh在验证`BMC`凭据之前,BaremetalHost`对象处于`registering`状态。凭据验证完成后,`BaremetalHost`对象的状态将更改为`inspecting,根据硬件的不同,此步骤可能需要一些时间(最长 20 分钟)。在检查阶段,将检索硬件信息并更新 Kubernetes 对象。使用以下命令检查信息:kubectl get bmh -o yaml。
置备步骤
一旦裸机主机注册并可用,下一步就是置备裸机主机,以安装和配置操作系统及 Kubernetes 集群。
为此,必须在管理集群中创建以下文件 (capi-provisioning-example.yaml),并包含以下信息(capi-provisioning-example.yaml 可以通过连接以下块来生成)。
只需将`$\{…\}`之间的值替换为实际值。
以下块是集群定义,其中可以使用 pods 和 services 块配置网络。此外,它还包含要使用的控制平面和基础设施(使用 Metal3 提供程序)对象的引用。
apiVersion: cluster.x-k8s.io/v1beta2
kind: Cluster
metadata:
name: single-node-cluster
namespace: default
labels:
cluster-api.cattle.io/rancher-auto-import: "true"
spec:
clusterNetwork:
pods:
cidrBlocks:
- 192.168.0.0/18
- fd00:bad:cafe::/48
services:
cidrBlocks:
- 10.96.0.0/12
- fd00:bad:bad:cafe::/112
controlPlaneRef:
apiGroup: controlplane.cluster.x-k8s.io
kind: RKE2ControlPlane
name: single-node-cluster
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3Cluster
name: single-node-cluster单栈和双栈部署均可行,若只需 IPv4 集群,请去除上述定义中的 IPv6 CIDR。
单栈 IPv6 部署处于技术预览状态,尚未获得官方支持。
将标签
cluster-api.cattle.io/rancher-auto-import: "true"添加到cluster.x-k8s.io对象中会将集群导入 Rancher(通过创建相应的clusters.management.cattle.io对象)。 有关更多信息,请参阅 Cluster API 文档。
Metal3Cluster 对象指定要配置的控制平面端点(替换 ${DOWNSTREAM_CONTROL_PLANE_IPV4})以及设置为 cloudProviderEnabled 的 false 标志,因为使用了裸机节点。
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3Cluster
metadata:
name: single-node-cluster
namespace: default
spec:
controlPlaneEndpoint:
host: ${DOWNSTREAM_CONTROL_PLANE_IPV4}
port: 6443
cloudProviderEnabled: falseRKE2ControlPlane 对象指定要使用的控制平面配置,Metal3MachineTemplate 对象指定要使用的控制平面镜像。
此外,它还包含有关所需副本数量的信息(在本例中为 1),以及要使用的 CNI 插件(在本例中为 Cilium)。
agentConfig 块包含要使用的 Ignition 格式,以及用于配置 additionalUserData 节点的 RKE2,其中包含诸如名为 rke2-preinstall.service 的 systemd 单元服务之类的信息,以便在置备过程中使用 Ironic 信息自动替换 PROVIDERID 和 node-name。还包括 RKE2(基于 Traefik)Ingress 控制器所需的配置,以及通过 ${INGRESS_IPV4} 和 ${INGRESS_IPV6} 虚拟 IP 从外部公开 Ingress 服务所需的 MetalLB 自定义资源(IPAddressPool 和 L2Advertisement)实例清单。
最后一块信息包含要使用的 Kubernetes 版本。${RKE2_VERSION} 是要使用的 RKE2 版本,用于替换此值(例如 v1.36.3+rke2r1)。
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: single-node-cluster
namespace: default
annotations: {
rke2.controlplane.cluster.x-k8s.io/load-balancer-exclusion: "true"
}
spec:
machineTemplate:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: single-node-cluster-controlplane
replicas: 1
version: ${RKE2_VERSION}
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
serverConfig:
cni: cilium
agentConfig:
format: ignition
additionalUserData:
config: |
variant: fcos
version: 1.4.0
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
storage:
directories:
- path: /var/lib/rancher/rke2/server/manifests
overwrite: true
files:
- path: /var/lib/rancher/rke2/server/manifests/rke2-traefik-config.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-traefik
namespace: kube-system
spec:
valuesContent: |-
ingressClass:
isDefaultClass: true
ports:
web:
hostPort: null # disallow hostPort
exposedPort: 80
websecure:
hostPort: null # disallow hostPort
exposedPort: 443
service:
enabled: true
spec:
type: LoadBalancer
externalTrafficPolicy: Local
allocateLoadBalancerNodePorts: false
mode: 0644
user:
name: root
group:
name: root
- path: /var/lib/rancher/rke2/server/manifests/metallb-traefik-cr.yaml
overwrite: true
contents:
inline: |
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: ingress-ippool
namespace: metallb-system
spec:
addresses:
- ${INGRESS_IPV4}/32
- ${INGRESS_IPV6}/128
serviceAllocation:
priority: 100
serviceSelectors:
- matchExpressions:
- {key: app.kubernetes.io/name, operator: In, values: [rke2-traefik]} # assign to rke2-traefik LB svc
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: ingress-l2-adv
namespace: metallb-system
spec:
ipAddressPools:
- ingress-ippool
mode: 0644
user:
name: root
group:
name: root
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
nodeName: "localhost.localdomain"Metal3MachineTemplate 对象指定以下信息:
用作模板引用的
dataTemplate。用作与注册过程中创建的标签匹配的
hostSelector。作为参考
image`上一节 (第 50 章 “为连接场景准备下游集群镜像”)中使用`EIB`生成图像的 ,以及用于验证该图像的 `checksum`和`checksumType。
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3MachineTemplate
metadata:
name: single-node-cluster-controlplane
namespace: default
spec:
template:
spec:
dataTemplate:
name: single-node-cluster-controlplane-template
hostSelector:
matchLabels:
cluster-role: control-plane
image:
checksum: http://imagecache.local:8080/eibimage-output-telco.raw.sha256
checksumType: sha256
diskFormat: raw
url: http://imagecache.local:8080/eibimage-output-telco.rawMetal3DataTemplate 对象指定了下游集群的`metaData`。
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3DataTemplate
metadata:
name: single-node-cluster-controlplane-template
namespace: default
spec:
clusterName: single-node-cluster
metaData:
objectNames:
- key: name
object: machine
- key: local-hostname
object: machine
- key: local_hostname
object: machine通过连接之前的块创建文件后,必须在管理集群中执行以下命令以开始置备新的裸机主机:
$ kubectl apply -f capi-provisioning-example.yaml53 使用定向网络置备(多节点)进行下游集群置备 #
本节介绍了用于通过定向网络置备和`MetalLB`作为负载均衡器策略来自动置备多节点下游集群的工作流程。 这是自动化置备下游集群的最简单方法。下图显示了用于通过定向网络置备和`MetalLB`来自动置备多节点下游集群的工作流程。
要求
使用
EIB生成的镜像(如 上一节 (第 50 章 “为连接场景准备下游集群镜像”) 所述)以及用于设置下游集群的最小配置,必须位于管理集群中,且路径必须与您在 本节 (注意) 中配置的路径完全一致。管理服务器已创建,并可在后续章节中使用。有关更多信息,请参阅“管理集群”部分:第 V 部分 “设置管理集群”。
工作流程
下图显示了用于通过定向网络置备来自动置备多节点下游集群的工作流程:
注册这三台裸机主机,使其可用于置备。
置备这三台裸机主机,以使用`MetalLB`安装和配置操作系统及 Kubernetes 集群。
注册裸机主机
第一步是在管理集群中注册这三台裸机主机,使其可供置备。
为此,必须在管理集群中创建以下文件(bmh-example-node1.yaml、bmh-example-node2.yaml 和 bmh-example-node3.yaml),以指定要使用的`BMC`凭据以及要在管理集群中注册的`BaremetalHost`对象。
仅需将`$\{…\}`之间的值替换为实际值。
我们将引导您完成仅针对一台主机的流程。同样的步骤适用于另外两个节点。
apiVersion: v1
kind: Secret
metadata:
name: node1-example-credentials
type: Opaque
data:
username: ${BMC_NODE1_USERNAME}
password: ${BMC_NODE1_PASSWORD}
---
apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
name: node1-example
labels:
cluster-role: control-plane
spec:
architecture: x86_64
online: true
bootMACAddress: ${BMC_NODE1_MAC}
bmc:
address: ${BMC_NODE1_ADDRESS}
disableCertificateVerification: true
credentialsName: node1-example-credentials其中:
${BMC_NODE1_USERNAME}— 第一台裸机主机 BMC 的用户名。${BMC_NODE1_PASSWORD}— 第一台裸机主机 BMC 的密码。${BMC_NODE1_MAC}— 要使用的第一台裸机主机的 MAC 地址。${BMC_NODE1_ADDRESS}— 第一台裸机主机 BMC 的 URL(例如,redfish-virtualmedia://192.168.200.75/redfish/v1/Systems/1/)。在现有基础设施允许的情况下,URL 的主机部分可以是 IP 地址(v4 或 v6)或域名。要了解有关根据您的硬件提供商可用的不同选项的更多信息,请查看以下 链接。
如果未指定主机的网络配置(无论是在镜像构建时还是通过`BareMetalHost`定义),则将使用自动配置机制(DHCP、DHCPv6、SLAAC)。有关更多详细信息或复杂配置,请查看第 54 章 “高级网络配置”。
单栈 IPv6 集群需要双栈管理集群。
架构必须是
x86_64或aarch64,具体取决于要注册的裸机主机的架构。所有现代服务器都配备了支持双栈的 BMC,但在生产环境中使用双栈环境之前,应验证 IPv6 支持(以及可能使用主机名进行 VirtualMedia 功能的选项)。
文件创建后,必须在管理集群中执行以下命令,以开始将裸机主机注册到管理集群中:
$ kubectl apply -f bmh-example-node1.yaml
$ kubectl apply -f bmh-example-node2.yaml
$ kubectl apply -f bmh-example-node3.yaml新的裸机主机对象已注册,其状态从 registering(注册中)变为 inspecting(检查中)和 available(可用)。可以使用以下命令检查更改:
$ kubectl get bmh -o wide在验证`BMC`凭据之前,BaremetalHost`对象处于`registering`状态。凭据验证完成后,`BaremetalHost`对象的状态将更改为`inspecting,根据硬件的不同,此步骤可能需要一些时间(最长 20 分钟)。在检查阶段,将检索硬件信息并更新 Kubernetes 对象。使用以下命令检查信息:kubectl get bmh -o yaml。
置备步骤
一旦三个裸机主机注册并可用,下一步就是置备裸机主机,以安装和配置操作系统及 Kubernetes 集群,并创建一个负载均衡器来管理它们。
为此,必须在管理集群中创建以下文件 (capi-provisioning-example.yaml),并包含以下信息(`capi-provisioning-example.yaml 可以通过合并以下代码块生成)。
只有
$\{…\}内的值必须替换为实际值。VIP地址是一个预留的 IP 地址,未分配给任何节点,用于配置负载均衡器。在双栈集群中,可以同时指定 IPv4 和 IPv6 地址,但在以下示例中,将优先使用 IPv4 地址。
以下是集群定义,其中可以使用 pods 和 services 块来配置集群网络。此外,它还包含要使用的控制平面和基础设施(使用 Metal3 提供程序)对象的引用。
apiVersion: cluster.x-k8s.io/v1beta2
kind: Cluster
metadata:
name: multinode-cluster
namespace: default
labels:
cluster-api.cattle.io/rancher-auto-import: "true"
spec:
clusterNetwork:
pods:
cidrBlocks:
- 192.168.0.0/18
- fd00:1234:4321::/48
services:
cidrBlocks:
- 10.96.0.0/12
- fd00:5678:8765:4321::/112
controlPlaneRef:
apiGroup: controlplane.cluster.x-k8s.io
kind: RKE2ControlPlane
name: multinode-cluster
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3Cluster
name: multinode-cluster单栈和双栈部署均可行;对于仅使用 IPv4 的集群,请删除 IPv6 CIDR 和 IPv6 VIP 地址(在后续章节中)。
将标签
cluster-api.cattle.io/rancher-auto-import: "true"添加到cluster.x-k8s.io对象中会将集群导入 Rancher(通过创建相应的clusters.management.cattle.io对象)。 有关更多信息,请参阅 Cluster API 文档。
Metal3Cluster 对象指定了控制平面端点,该端点使用已预留的 VIP 地址(替换 ${EDGE_VIP_ADDRESS_IPV4})进行配置,并将 cloudProviderEnabled 标志设置为 false,因为使用了三个裸机节点。
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3Cluster
metadata:
name: multinode-cluster
namespace: default
spec:
controlPlaneEndpoint:
host: ${EDGE_VIP_ADDRESS_IPV4}
port: 6443
cloudProviderEnabled: falseRKE2ControlPlane 对象指定要使用的控制平面配置,Metal3MachineTemplate 对象指定要使用的控制平面镜像。
一种负载均衡器排除注解,用于通知 MetalLB 等外部负载均衡器,在下游集群升级等生命周期操作期间,节点将被排空。有关详细信息,请参见:第 60.1 节 “负载均衡器排除”
要使用的副本数量(在本例中为三个)。
负载均衡器要使用的通告模式(
address使用 L2 实现),以及要使用的地址(将${EDGE_VIP_ADDRESS}替换为VIP地址)。要使用的带有
CNI插件的serverConfig(在本例中为Cilium),以及要在tlsSan下列出的额外VIP地址和名称。agentConfig 块包含用于配置
RKE2节点的信息,例如要使用的Ignition格式和additionalUserData。名为
rke2-preinstall.service的 systemd 服务,用于在置备过程中使用 Ironic 信息自动替换PROVIDERID和node-name,并为具有metal3.io/uuidUUID 的节点对象添加BareMetalHost标签。storage块,其中包含安装MetalLB和endpoint-copier-operatorHelm chart 所需的清单。metalLB自定义资源文件,包括用于通过已配置的VIP地址(将${EDGE_VIP_ADDRESS_IPV4}替换为所选的VIP地址)从外部公开此下载集群 API 服务器的IPaddressPool和L2Advertisement。用于配置
kubernetes-vip服务的endpoint-svc.yaml文件将通过MetalLB使用已配置的VIP地址进行公开。提供
RKE2内置rke2-traefikHelm chart 部署配置的rke2-traefik-config.yaml文件。包含
MetalLB自定义资源(IPAddressPool和L2Advertisement)实例清单的metallb-traefik-cr.yaml文件,这些清单是用于通过${INGRESS_IPV4}和${INGRESS_IPV6}虚拟 IP 从外部公开 Ingress 服务所必需的。
最后一部分信息包含要使用的 Kubernetes 版本。
${RKE2_VERSION}是要使用的RKE2版本,用于替换此值(例如v1.36.3+rke2r1)。
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: multinode-cluster
namespace: default
annotations: {
rke2.controlplane.cluster.x-k8s.io/load-balancer-exclusion: "true"
}
spec:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: multinode-cluster-controlplane
replicas: 3
version: ${RKE2_VERSION}
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
registrationMethod: "control-plane-endpoint"
registrationAddress: ${EDGE_VIP_ADDRESS}
serverConfig:
cni: cilium
tlsSan:
- ${EDGE_VIP_ADDRESS_IPV4}
- ${EDGE_VIP_ADDRESS_IPV6}
- https://${EDGE_VIP_ADDRESS_IPV4}.sslip.io
- https://${EDGE_VIP_ADDRESS_IPV6}.sslip.io
agentConfig:
format: ignition
additionalUserData:
config: |
variant: fcos
version: 1.4.0
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
storage:
directories:
- path: /var/lib/rancher/rke2/server/manifests
overwrite: true
files:
# https://docs.rke2.io/networking/multus_sriov#using-multus-with-cilium
- path: /var/lib/rancher/rke2/server/manifests/rke2-cilium-config.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-cilium
namespace: kube-system
spec:
valuesContent: |-
cni:
exclusive: false
mode: 0644
user:
name: root
group:
name: root
- path: /var/lib/rancher/rke2/server/manifests/endpoint-copier-operator.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: endpoint-copier-operator
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/endpoint-copier-operator
targetNamespace: endpoint-copier-operator
version: 307.0.1+up0.3.0
createNamespace: true
- path: /var/lib/rancher/rke2/server/manifests/metallb.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: metallb
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/metallb
targetNamespace: metallb-system
version: 307.0.3+up0.16.1
createNamespace: true
- path: /var/lib/rancher/rke2/server/manifests/metallb-cr.yaml
overwrite: true
contents:
inline: |
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: kubernetes-vip-ip-pool
namespace: metallb-system
spec:
addresses:
- ${EDGE_VIP_ADDRESS_IPV4}/32
- ${EDGE_VIP_ADDRESS_IPV6}/128
serviceAllocation:
priority: 100
namespaces:
- default
serviceSelectors:
- matchExpressions:
- {key: "serviceType", operator: In, values: [kubernetes-vip]}
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: ip-pool-l2-adv
namespace: metallb-system
spec:
ipAddressPools:
- kubernetes-vip-ip-pool
- path: /var/lib/rancher/rke2/server/manifests/endpoint-svc.yaml
overwrite: true
contents:
inline: |
apiVersion: v1
kind: Service
metadata:
name: kubernetes-vip
namespace: default
labels:
serviceType: kubernetes-vip
spec:
ipFamilyPolicy: PreferDualStack
ports:
- name: rke2-api
port: 9345
protocol: TCP
targetPort: 9345
- name: k8s-api
port: 6443
protocol: TCP
targetPort: 6443
type: LoadBalancer
- path: /var/lib/rancher/rke2/server/manifests/rke2-traefik-config.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-traefik
namespace: kube-system
spec:
valuesContent: |-
ingressClass:
isDefaultClass: true
ports:
web:
hostPort: null # disallow hostPort
exposedPort: 80
websecure:
hostPort: null # disallow hostPort
exposedPort: 443
service:
enabled: true
spec:
type: LoadBalancer
externalTrafficPolicy: Local
allocateLoadBalancerNodePorts: false
mode: 0644
user:
name: root
group:
name: root
mode: 0644
user:
name: root
group:
name: root
- path: /var/lib/rancher/rke2/server/manifests/metallb-traefik-cr.yaml
overwrite: true
contents:
inline: |
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: ingress-ippool
namespace: metallb-system
spec:
addresses:
- ${INGRESS_IPV4}/32
- ${INGRESS_IPV6}/128
serviceAllocation:
priority: 100
serviceSelectors:
- matchExpressions:
- {key: app.kubernetes.io/name, operator: In, values: [rke2-traefik]} # assign to rke2-traefik LB svc
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: ingress-l2-adv
namespace: metallb-system
spec:
ipAddressPools:
- ingress-ippool
mode: 0644
user:
name: root
group:
name: root
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
nodeName: "Node-multinode-cluster"Metal3MachineTemplate 对象指定以下信息:
用作模板引用的
dataTemplate。与注册过程中创建的标签相匹配的
hostSelector。用作对上一 节 (第 50 章 “为连接场景准备下游集群镜像”) 中使用
EIB生成的镜像的引用的image,以及用于验证镜像的checksum和checksumType。
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3MachineTemplate
metadata:
name: multinode-cluster-controlplane
namespace: default
spec:
template:
spec:
dataTemplate:
name: multinode-cluster-controlplane-template
hostSelector:
matchLabels:
cluster-role: control-plane
image:
checksum: http://imagecache.local:8080/eibimage-output-telco.raw.sha256
checksumType: sha256
diskFormat: raw
url: http://imagecache.local:8080/eibimage-output-telco.rawMetal3DataTemplate 对象指定了下游集群的 metaData。
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3DataTemplate
metadata:
name: multinode-cluster-controlplane-template
namespace: default
spec:
clusterName: multinode-cluster
metaData:
objectNames:
- key: name
object: machine
- key: local-hostname
object: machine
- key: local_hostname
object: machine以下 yaml 文件是工作节点的配置示例。
一个 MachineDeployment:
apiVersion: cluster.x-k8s.io/v1beta2
kind: MachineDeployment
metadata:
labels:
cluster.x-k8s.io/cluster-name: multinode-cluster
nodepool: nodepool-0
name: multinode-cluster-workers
namespace: default
spec:
clusterName: multinode-cluster
replicas: 3
selector:
matchLabels:
cluster.x-k8s.io/cluster-name: multinode-cluster
nodepool: nodepool-0
template:
metadata:
labels:
cluster.x-k8s.io/cluster-name: multinode-cluster
nodepool: nodepool-0
spec:
bootstrap:
configRef:
apiGroup: bootstrap.cluster.x-k8s.io
kind: RKE2ConfigTemplate
name: multinode-cluster-workers
clusterName: multinode-cluster
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: multinode-cluster-workers
deletion:
nodeDrainTimeoutSeconds: 0
version: ${RKE2_VERSION}RKE2ConfigTemplate 对象指定了用于多节点集群工作节点配置的模板。
apiVersion: bootstrap.cluster.x-k8s.io/v1beta2
kind: RKE2ConfigTemplate
metadata:
name: multinode-cluster-workers
namespace: default
spec:
template:
spec:
agentConfig:
format: ignition
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
nodeName: "Node-multinode-cluster-worker"
additionalUserData:
config: |
variant: fcos
version: 1.4.0
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.targetMetal3MachineTemplate 对象包含工作节点的 dataTemplate、hostSelector 和 image 的引用:
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3MachineTemplate
metadata:
name: multinode-cluster-workers
namespace: default
spec:
template:
spec:
dataTemplate:
name: multinode-cluster-workers-template
hostSelector:
matchLabels:
cluster-role: worker
image:
checksum: http://imagecache.local:8080/eibimage-slmicro-rt-telco.raw.sha256
checksumType: sha256
diskFormat: raw
url: http://imagecache.local:8080/eibimage-slmicro-rt-telco.rawMetal3DataTemplate 对象指定了工作节点下游集群的 metaData:
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3DataTemplate
metadata:
name: multinode-cluster-workers-template
namespace: default
spec:
clusterName: multinode-cluster
metaData:
objectNames:
- key: name
object: machine
- key: local-hostname
object: machine
- key: local_hostname
object: machine文件通过合并上述各块内容创建完成后,在管理集群中运行以下命令,开始配置新的三台裸机主机:
$ kubectl apply -f capi-provisioning-example.yaml54 高级网络配置 #
定向网络配置工作流允许在下游集群中进行特定的网络配置,例如静态 IP、绑定、VLAN、IPv6 等。
以下章节介绍了使用高级网络配置启用下游集群配置所需的额外步骤。
要求
使用
EIB生成的镜像必须包含网络文件夹以及遵循 本节 (第 50.2.6 节 “用于高级网络配置的附加脚本”) 的脚本。
配置
在继续之前,请参阅以下章节之一,获取有关注册和配置主机所需步骤的指导:
使用定向网络配置进行下游集群配置(单节点) (第 52 章 “使用定向网络配置(单节点)进行下游集群配置”)
使用定向网络配置(多节点)进行下游集群配置 (第 53 章 “使用定向网络置备(多节点)进行下游集群置备”)
任何高级网络配置必须在注册时通过 BareMetalHost 主机定义以及一个包含 nmstate 格式的 networkData 块的关联 Secret 来应用。以下示例文件定义了一个包含所需 networkData 的 Secret,该 Secret 为下游集群主机请求静态 IP 和 VLAN:
apiVersion: v1
kind: Secret
metadata:
name: controlplane-0-networkdata
type: Opaque
stringData:
networkData: |
interfaces:
- name: ${CONTROLPLANE_INTERFACE}
type: ethernet
state: up
mtu: 1500
identifier: mac-address
mac-address: "${CONTROLPLANE_MAC}"
ipv4:
address:
- ip: "${CONTROLPLANE_IP}"
prefix-length: "${CONTROLPLANE_PREFIX}"
enabled: true
dhcp: false
- name: floating
type: vlan
state: up
vlan:
base-iface: ${CONTROLPLANE_INTERFACE}
id: ${VLAN_ID}
dns-resolver:
config:
server:
- "${DNS_SERVER}"
routes:
config:
- destination: 0.0.0.0/0
next-hop-address: "${CONTROLPLANE_GATEWAY}"
next-hop-interface: ${CONTROLPLANE_INTERFACE}如您所见,该示例展示了启用具有静态 IP 的接口配置,以及在根据您的基础设施将以下变量替换为实际值后,通过基础接口启用 VLAN 的配置:
${CONTROLPLANE_INTERFACE}— 将用于下游集群的控制平面接口(例如,eth0)。名称会根据 MAC 地址自动检查(包括identifier: mac-address),因此可以使用任何接口名称。${CONTROLPLANE_IP}— 将用作下游集群端点的 IP 地址(必须与 kubeapi-server 端点匹配)。${CONTROLPLANE_PREFIX}— 将用于下游集群的 CIDR(例如,如果您想要/24或255.255.255.0,则为24)。${CONTROLPLANE_GATEWAY}— 将用于下游集群的网关(例如,192.168.100.1)。${CONTROLPLANE_MAC}— 用于控制平面接口的 MAC 地址(例如,00:0c:29:3e:3e:3e)。${DNS_SERVER}— 用于下游集群的 DNS(例如,192.168.100.2)。${VLAN_ID}— 用于下游集群的 VLAN ID(例如,100)。
任何其他符合 nmstate 标准的定义均可用于配置下游集群的网络,以适应特定需求。例如,可以指定静态双栈配置:
apiVersion: v1
kind: Secret
metadata:
name: controlplane-0-networkdata
type: Opaque
stringData:
networkData: |
interfaces:
- name: ${CONTROLPLANE_INTERFACE}
type: ethernet
state: up
mac-address: ${CONTROLPLANE_MAC}
ipv4:
enabled: true
dhcp: false
address:
- ip: ${CONTROLPLANE_IP_V4}
prefix-length: ${CONTROLPLANE_PREFIX_V4}
ipv6:
enabled: true
dhcp: false
autoconf: false
address:
- ip: ${CONTROLPLANE_IP_V6}
prefix-length: ${CONTROLPLANE_PREFIX_V6}
routes:
config:
- destination: 0.0.0.0/0
next-hop-address: ${CONTROLPLANE_GATEWAY_V4}
next-hop-interface: ${CONTROLPLANE_INTERFACE}
- destination: ::/0
next-hop-address: ${CONTROLPLANE_GATEWAY_V6}
next-hop-interface: ${CONTROLPLANE_INTERFACE}
dns-resolver:
config:
server:
- ${DNS_SERVER_V4}
- ${DNS_SERVER_V6}与前面的示例一样,请根据您的基础设施将以下变量替换为实际值:
${CONTROLPLANE_IP_V4}- 分配给主机的 IPv4 地址${CONTROLPLANE_PREFIX_V4}- 主机 IP 所属网络的 IPv4 前缀${CONTROLPLANE_IP_V6}- 分配给主机的 IPv6 地址${CONTROLPLANE_PREFIX_V6}- 主机 IP 所属网络的 IPv6 前缀${CONTROLPLANE_GATEWAY_V4}- 匹配默认路由的流量的网关 IPv4 地址${CONTROLPLANE_GATEWAY_V6}- 匹配默认路由的流量的网关 IPv6 地址${CONTROLPLANE_INTERFACE}- 要分配地址并用于匹配默认路由的出口流量的接口名称,同时支持 IPv4 和 IPv6${DNS_SERVER_V4}和/或${DNS_SERVER_V6}- 要使用的 DNS 服务器的 IP 地址,可以指定为单个或多个条目。同时支持 IPv4 和/或 IPv6 地址
最后,无论网络配置细节如何,请确保通过将 preprovisioningNetworkDataName 附加到 BaremetalHost 对象来引用密钥,以成功将主机注册到管理集群中。
apiVersion: v1
kind: Secret
metadata:
name: example-demo-credentials
type: Opaque
data:
username: ${BMC_USERNAME}
password: ${BMC_PASSWORD}
---
apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
name: example-demo
labels:
cluster-role: control-plane
spec:
architecture: x86_64
online: true
bootMACAddress: ${BMC_MAC}
rootDeviceHints:
deviceName: /dev/nvme0n1
bmc:
address: ${BMC_ADDRESS}
disableCertificateVerification: true
credentialsName: example-demo-credentials
preprovisioningNetworkDataName: controlplane-0-networkdata如果您需要部署多节点集群,则必须对每个节点执行相同的过程。
目前不支持
Metal3DataTemplate、networkData和Metal3 IPAM;仅完全支持通过静态密钥进行的配置。架构必须是
x86_64或aarch64,具体取决于要注册的裸机主机的架构。
55 电信功能(DPDK、SR-IOV、CPU 隔离、大页、NUMA 等) #
定向网络配置工作流允许自动化在下游集群中使用的电信功能,以便在这些服务器上运行电信工作负载。
要求
使用
EIB生成的镜像(如 上一节 (第 50 章 “为连接场景准备下游集群镜像”) 所述)必须位于管理集群中,且路径必须与您在 本节 (注意) 中配置的路径完全一致。使用
EIB生成的镜像必须包含本节后面所述的特定电信软件包。管理服务器已创建,并可在以下部分中使用。有关更多信息,请参阅“管理集群”部分:第 V 部分 “设置管理集群”。
配置
使用以下两节作为注册和置备主机的基础:
使用定向网络配置进行下游集群置备(单节点) (第 52 章 “使用定向网络配置(单节点)进行下游集群配置”)
使用定向网络配置(多节点)进行下游集群置备 (第 53 章 “使用定向网络置备(多节点)进行下游集群置备”)
本节涵盖的电信功能如下:
DPDK 和 VF 创建
SR-IOV 和供工作负载使用的 VF 分配
CPU 隔离和性能调优
大页配置
内核参数调优
启用上述电信功能所需的更改均位于置备文件 capi-provisioning-example.yaml 中的 RKE2ControlPlane 块内。文件 capi-provisioning-example.yaml 内的其余信息与 置备部分 (第 52 章 “使用定向网络配置(单节点)进行下游集群配置”) 中提供的信息相同。
为使过程清晰,在该块 (RKE2ControlPlane) 上启用电信功能所需的更改如下:
用于定义接口、驱动程序以及要创建并暴露给工作负载的
VFs数量的 ignition 文件/var/lib/rancher/rke2/server/manifests/configmap-sriov-custom-auto.yaml。配置映射
sriov-custom-auto-config内的值是唯一需要替换为实际值的值。${RESOURCE_NAME1}— 用于第一个PF接口的资源名称(例如sriov-resource-du1)。它被添加到前缀rancher.io中,用作工作负载的标签(例如,rancher.io/sriov-resource-du1)。${SRIOV-NIC-NAME1}— 要使用的第一个PF接口的名称(例如eth0)。${PF_NAME1}— 要使用的第一个物理功能PF的名称。使用此项生成更复杂的过滤器(例如eth0#2-5)。${DRIVER_NAME1}— 用于第一个VF接口的驱动程序名称(例如vfio-pci)。${NUM_VFS1}— 为第一个PF接口创建的VFs数量(例如8)。
用作高级配置映射
sriov-custom-auto-config与包含底层硬件信息的sriovnetworknodepolicy之间转换器的/var/sriov-auto-filler.sh。创建此脚本是为了让用户无需预先了解硬件信息的复杂性。此文件无需更改,但如果我们需要启用sr-iov并创建VFs,则必须存在该文件。用于启用以下功能的内核参数:
参数 | 值 | 说明 |
isolcpus | domain,nohz,managed_irq,1-30,33-62 | 隔离核心 1-30 和 33-62。 |
skew_tick | 1 | 允许内核在隔离的 CPU 之间偏移定时器中断。 |
nohz | on | 允许内核在系统空闲时在单个 CPU 上运行定时器滴答。 |
nohz_full | 1-30,33-62 | 内核引导参数是目前配置完全动态时钟(full dynticks)以及 CPU 隔离的主要接口。 |
rcu_nocbs | 1-30,33-62 | 允许内核在系统空闲时在单个 CPU 上运行 RCU 回调。 |
irqaffinity | 0,31,32,63 | 允许内核在系统空闲时在单个 CPU 上运行中断。 |
空闲 | 巡回检测 | 最小化退出空闲状态的延迟。 |
iommu | pt | 允许将 vfio 用于 DPDK 接口。 |
intel_iommu | on | 启用对 VF 使用 vfio。 |
hugepagesz | 1G | 允许将“大页”的大小设置为 1 GB。 |
hugepages | 40 | 请求为刚才定义的大小(1 GB)分配的“大页”数量。 |
hugepagesz | 2M | 允许将“大页”的大小设置为 2 MB。 |
hugepages | 0 | 请求为刚才定义的大小(2 MB)分配的“大页”数量。 |
default_hugepagesz | 1G | “大页”大小的默认值。 |
nowatchdog | 禁用看门狗。 | |
nmi_watchdog | 0 | 禁用 NMI 看门狗。 |
以下 systemd 服务用于启用以下功能:
rke2-preinstall.service在置备过程中使用 Ironic 信息自动替换PROVIDERID和node-name。cpu-partitioning.service用于启用CPU的隔离核心(例如1-30,33-62)。performance-settings.service用于启用 CPU 性能调优。sriov-custom-auto-vfs.service用于安装sriovHelm chart,等待自定义资源创建完成,并运行/var/sriov-auto-filler.sh以替换配置映射sriov-custom-auto-config中的值,并创建供工作负载使用的sriovnetworknodepolicy。
${RKE2_VERSION}是要使用的RKE2版本,用于替换此值(例如v1.36.3+rke2r1)。
提及所有这些更改后,capi-provisioning-example.yaml 中的 RKE2ControlPlane 块将如下所示:
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: single-node-cluster
namespace: default
spec:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: single-node-cluster-controlplane
replicas: 1
version: ${RKE2_VERSION}
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
serverConfig:
cni: calico
cniMultusEnable: true
agentConfig:
format: ignition
additionalUserData:
config: |
variant: fcos
version: 1.4.0
storage:
files:
- path: /var/lib/rancher/rke2/server/manifests/configmap-sriov-custom-auto.yaml
overwrite: true
contents:
inline: |
apiVersion: v1
kind: ConfigMap
metadata:
name: sriov-custom-auto-config
namespace: kube-system
data:
config.json: |
[
{
"resourceName": "${RESOURCE_NAME1}",
"interface": "${SRIOV-NIC-NAME1}",
"pfname": "${PF_NAME1}",
"driver": "${DRIVER_NAME1}",
"numVFsToCreate": ${NUM_VFS1}
},
{
"resourceName": "${RESOURCE_NAME2}",
"interface": "${SRIOV-NIC-NAME2}",
"pfname": "${PF_NAME2}",
"driver": "${DRIVER_NAME2}",
"numVFsToCreate": ${NUM_VFS2}
}
]
mode: 0644
user:
name: root
group:
name: root
- path: /var/lib/rancher/rke2/server/manifests/sriov-crd.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: sriov-crd
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/sriov-crd
targetNamespace: sriov-network-operator
version: 307.1.0+up1.6.0
createNamespace: true
- path: /var/lib/rancher/rke2/server/manifests/sriov-network-operator.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: sriov-network-operator
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/sriov-network-operator
targetNamespace: sriov-network-operator
version: 307.1.0+up1.6.0
createNamespace: true
kernel_arguments:
should_exist:
- intel_iommu=on
- iommu=pt
- idle=poll
- mce=off
- hugepagesz=1G hugepages=40
- hugepagesz=2M hugepages=0
- default_hugepagesz=1G
- irqaffinity=${NON-ISOLATED_CPU_CORES}
- isolcpus=domain,nohz,managed_irq,${ISOLATED_CPU_CORES}
- nohz_full=${ISOLATED_CPU_CORES}
- rcu_nocbs=${ISOLATED_CPU_CORES}
- rcu_nocb_poll
- nosoftlockup
- nowatchdog
- nohz=on
- nmi_watchdog=0
- skew_tick=1
- quiet
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
- name: cpu-partitioning.service
enabled: true
contents: |
[Unit]
Description=cpu-partitioning
Wants=network-online.target
After=network.target network-online.target
[Service]
Type=oneshot
User=root
ExecStart=/bin/sh -c "echo isolated_cores=${ISOLATED_CPU_CORES} > /etc/tuned/cpu-partitioning-variables.conf"
ExecStartPost=/bin/sh -c "tuned-adm profile cpu-partitioning"
ExecStartPost=/bin/sh -c "systemctl enable tuned.service"
[Install]
WantedBy=multi-user.target
- name: performance-settings.service
enabled: true
contents: |
[Unit]
Description=performance-settings
Wants=network-online.target
After=network.target network-online.target cpu-partitioning.service
[Service]
Type=oneshot
User=root
ExecStart=/bin/sh -c "/opt/performance-settings/performance-settings.sh"
[Install]
WantedBy=multi-user.target
- name: sriov-custom-auto-vfs.service
enabled: true
contents: |
[Unit]
Description=SRIOV Custom Auto VF Creation
Wants=network-online.target rke2-server.target
After=network.target network-online.target rke2-server.target
[Service]
User=root
Type=forking
TimeoutStartSec=900
ExecStart=/bin/sh -c "while ! /var/lib/rancher/rke2/bin/kubectl --kubeconfig=/etc/rancher/rke2/rke2.yaml wait --for condition=ready nodes --all ; do sleep 2 ; done"
ExecStartPost=/bin/sh -c "while [ $(/var/lib/rancher/rke2/bin/kubectl --kubeconfig=/etc/rancher/rke2/rke2.yaml get sriovnetworknodestates.sriovnetwork.openshift.io --ignore-not-found --no-headers -A | wc -l) -eq 0 ]; do sleep 1; done"
ExecStartPost=/bin/sh -c "/opt/sriov/sriov-auto-filler.sh"
RemainAfterExit=yes
KillMode=process
[Install]
WantedBy=multi-user.target
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
nodeName: "localhost.localdomain"一旦通过连接前面的块创建了文件,就必须在管理集群中执行以下命令,以开始使用 Telco 功能置备新的下游集群:
$ kubectl apply -f capi-provisioning-example.yaml55.1 精确时间协议 (PTP) #
PTP 同步在置备时分两步启用:在 EIB 镜像中启用守护程序,并通过 Cluster API 部署配置文件。根据目标平台,记录了两种置备模型:
标准场景 (第 55.1.1 节 “标准场景(单个 ptp4l + phc2sys)”):单个
ptp4l实例,以及可选的phc2sys。涵盖 场景 1a (第 47.3 节 “场景 1a - 普通时钟(仅PTP)”) 到 场景 2a (第 47.5 节 “场景2a - 边界时钟(仅PTP),具有多端口单NIC,包括传播到普通时钟服务器”)。GNR-D 多网卡场景 (第 55.1.2 节 “GNR-D 多网卡场景 (DPLL)”):多个
ptp4l实例、ts2phc和板载 DPLL 设置,这些需要额外的文件和服务。涵盖 场景 3a (第 47.7 节 “场景 3a - 边界时钟(仅 PTP)多 NIC,带有内部计时模块(基于 DPLL GNR-D)”)。
55.1.1 标准场景(单个 ptp4l + phc2sys) #
由于这些 PTP 场景之间仅配置文件发生变化,本节提供了一个通用的模板,随后是每个场景的具体值。
在 EIB 镜像中启用守护程序
linuxptp 软件包已包含在电信软件包列表中(请参阅 电信工作负载的额外配置 (第 50.2.5 节 “电信工作负载的附加配置”))。但是,ptp4l 和 phc2sys 守护程序默认未启用,因此必须将它们添加到同一 EIB 镜像定义文件的 systemd.enable 列表中:
operatingSystem:
systemd:
enable:
- ptp4l
- phc2sys
packages:
packageList:
- linuxptp # already present in the Telco package list
sccRegistrationCode: $SCC_REGISTRATION_CODE在镜像构建时启用守护程序后,一旦主机上存在其配置文件,这两个服务就会自动启动。
通过 Cluster API 部署配置文件
PTP 配置通过修改后的 RKE2ControlPlane 对象进行部署,该对象会写入 ptp4l 配置文件以及控制 ptp4l 和 phc2sys 守护进程的两个 /etc/sysconfig 文件。该对象的其余部分与 置备部分 (第 52 章 “使用定向网络配置(单节点)进行下游集群配置”) 中描述的相同;请使用其他 Cluster API 对象将其补全,并将占位符替换为所选场景的值:
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: single-node-cluster
namespace: default
spec:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: single-node-cluster-controlplane
replicas: 1
version: ${RKE2_VERSION}
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
registrationMethod: "control-plane-endpoint"
serverConfig:
cni: canal
agentConfig:
format: ignition
cisProfile: cis
additionalUserData:
config: |
variant: fcos
version: 1.4.0
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
storage:
files:
- path: ${PTP4L_CONF_PATH}
overwrite: true
contents:
inline: |
## Replace ${PTP4L_CONF_CONTENTS} with the ptp4l configuration content of the PTP scenario to deploy
${PTP4L_CONF_CONTENTS}
mode: 0644
user:
name: root
group:
name: root
- path: /etc/sysconfig/ptp4l
overwrite: true
contents:
inline: |
## Path: Network/LinuxPTP
## Description: Precision Time Protocol (PTP): ptp4l settings
## Replace ${PTP4L_OPTIONS} with the ptp4l OPTIONS value of the PTP scenario to deploy
OPTIONS="${PTP4L_OPTIONS}"
mode: 0644
user:
name: root
group:
name: root
- path: /etc/sysconfig/phc2sys
overwrite: true
contents:
inline: |
## Path: Network/LinuxPTP
## Description: Precision Time Protocol (PTP): phc2sys settings
## Replace ${PHC2SYS_OPTIONS} with the phc2sys OPTIONS value of the PTP scenario to deploy
OPTIONS="${PHC2SYS_OPTIONS}"
mode: 0644
user:
name: root
group:
name: root
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
nodeName: "localhost.localdomain"占位符由每个场景提供:
| 占位符 | 说明 |
|---|---|
|
|
| 该 |
|
|
|
|
有关每种情况下要替换的具体值,请参阅 CAPI 自动化,该自动化位于 PTP 场景 (第 47.1 节 “简介”) 文档中。
只有在集群中的硬件统一且所有主机(包括接口名称)都需要相同的 PTP 配置时,这种方法才方便。依赖于 ts2phc 或板载 DPLL 路由的边界时钟 (Boundary Clock) 场景,除了基础示例外,还需要额外的文件和服务,这些内容将在下一节中描述。
55.1.2 GNR-D 多网卡场景 (DPLL) #
GNR-D 边界时钟 (Scenario 3a (第 47.7 节 “场景 3a - 边界时钟(仅 PTP)多 NIC,带有内部计时模块(基于 DPLL GNR-D)”)) 无法用单个 ptp4l 控制文件来描述:它为每个 PHC 运行一个 ptp4l 实例,将插件卡与 ts2phc 对齐,在引导时连接板载 DPLL,并定期转发 Grandmaster 参数。因此,置备过程通过多个配置文件、脚本和 systemd 单元扩展了基础示例,所有这些均通过同一个 RKE2ControlPlane Ignition 块进行部署。每个文件和单元的内容均在 Scenario 3a (第 47.7 节 “场景 3a - 边界时钟(仅 PTP)多 NIC,带有内部计时模块(基于 DPLL GNR-D)”) 中列出。
在此 SUSE Telco Cloud 版本中,此场景仅支持“default”(即非“PREEMPT_RT”)内核版本。 “RT”内核版本的支持将在后续版本中添加。
在 EIB 镜像中启用守护程序
GNR-D 单元需要自定义设置:一个 DPLL 服务、每个 PHC 一个模板化的 ptp4l 实例以及一个 Grandmaster 转发计时器。因此,您必须通过下方的 Ignition 块来部署和启用它们,而不是使用 EIB systemd.enable 列表。EIB 镜像仅需要 linuxptp 软件包,它提供了 ptp4l、ts2phc 和 pmc 二进制文件:
operatingSystem:
packages:
packageList:
- linuxptp # already present in the Telco package list
sccRegistrationCode: $SCC_REGISTRATION_CODE通过 Cluster API 部署文件和单元
下方的 RKE2ControlPlane 对象用于部署 GNR-D 文件和单元。它遵循与标准示例相同的方法:文件内容作为占位符提供,并取自 Scenario 4 (第 47.7 节 “场景 3a - 边界时钟(仅 PTP)多 NIC,带有内部计时模块(基于 DPLL GNR-D)”),而 systemd 单元(此场景中为常量)则以内联方式显示。按照标准示例使用其他 Cluster API 对象完成它,并将占位符替换为该场景的值:
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: single-node-cluster
namespace: default
spec:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: single-node-cluster-controlplane
replicas: 1
version: ${RKE2_VERSION}
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
registrationMethod: "control-plane-endpoint"
serverConfig:
cni: canal
agentConfig:
format: ignition
cisProfile: cis
additionalUserData:
config: |
variant: fcos
version: 1.4.0
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
- name: gnrd-ptp-dpll-setup.service
enabled: true
contents: |
[Unit]
Description=GNR-D PTP DPLL and internal signal setup
Before=ts2phc.service ptp4l@nac.service ptp4l@aic1.service ptp4l@aic2.service
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/usr/local/bin/01-gnrd-startup-setup.sh
[Install]
WantedBy=multi-user.target
- name: ptp4l@.service
contents: |
[Unit]
Description=PTP Boundary Clock instance %i
After=gnrd-ptp-dpll-setup.service
Requires=gnrd-ptp-dpll-setup.service
[Service]
ExecStart=/usr/sbin/ptp4l -f /etc/ptp4l-%i.conf
[Install]
WantedBy=multi-user.target
- name: ptp4l@nac.service
enabled: true
- name: ptp4l@aic1.service
enabled: true
- name: ptp4l@aic2.service
enabled: true
- name: ts2phc.service
enabled: true
- name: ptp-forward-gm.service
contents: |
[Unit]
Description=Forward Grandmaster parameters to the add-in ptp4l instances
Wants=ptp4l@nac.service ptp4l@aic1.service ptp4l@aic2.service
After=ptp4l@nac.service ptp4l@aic1.service ptp4l@aic2.service
[Service]
Type=oneshot
SELinuxContext=system_u:system_r:unconfined_t:s0
ExecStart=/usr/local/bin/04-ptp-forward-GM.sh
- name: ptp-forward-gm.timer
enabled: true
contents: |
[Unit]
Description=Refresh forwarded Grandmaster parameters
[Timer]
OnBootSec=2min
OnUnitActiveSec=5min
[Install]
WantedBy=timers.target
storage:
files:
- path: /usr/local/bin/01-gnrd-startup-setup.sh
mode: 0755
overwrite: true
contents:
inline: |
${GNRD_DPLL_SETUP_CONTENTS}
- path: /usr/local/bin/04-ptp-forward-GM.sh
mode: 0755
overwrite: true
contents:
inline: |
${GNRD_FORWARD_GM_CONTENTS}
- path: /etc/ts2phc-cf-all.cfg
mode: 0644
overwrite: true
contents:
inline: |
${TS2PHC_CONF_CONTENTS}
- path: /etc/sysconfig/ts2phc
mode: 0644
overwrite: true
contents:
inline: |
OPTIONS="${TS2PHC_OPTIONS}"
- path: /etc/ptp4l-nac.conf
mode: 0644
overwrite: true
contents:
inline: |
${PTP4L_NAC_CONTENTS}
- path: /etc/ptp4l-aic1.conf
mode: 0644
overwrite: true
contents:
inline: |
${PTP4L_AIC1_CONTENTS}
- path: /etc/ptp4l-aic2.conf
mode: 0644
overwrite: true
contents:
inline: |
${PTP4L_AIC2_CONTENTS}
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
nodeName: "localhost.localdomain"占位符由 GNR-D 场景提供:
| 占位符 | 说明 |
|---|---|
| DPLL 引导时设置脚本 ( |
| Grandmaster 转发脚本 ( |
|
|
|
|
| 集成控制器 |
| 附加卡 1 |
| 附加卡 2 |
有关要替换的具体值,请参阅 场景 4 (第 47.7 节 “场景 3a - 边界时钟(仅 PTP)多 NIC,带有内部计时模块(基于 DPLL GNR-D)”) 的 CAPI 自动化。
部署 ptp4l@.service 模板时未包含 enabled;通过启用 ptp4l@nac、ptp4l@aic1 和 ptp4l@aic2 来创建实例。ptp-forward-gm.service 由其计时器触发,因此仅启用了计时器。ts2phc.service 由 linuxptp 软件包提供并读取 /etc/sysconfig/ts2phc;引导顺序由 Before= 的 gnrd-ptp-dpll-setup.service 指令强制执行。调整设备名称(eno8703np0、ptp<N>、eno16495np0、eno16595np0)和附加卡数量以匹配目标硬件。
56 私有镜像仓库 #
可以将私有镜像仓库配置为工作负载所用镜像的镜像站。
为此,我们创建一个包含下游集群要使用的私有镜像仓库相关信息的密钥。
apiVersion: v1
kind: Secret
metadata:
name: private-registry-cert
namespace: default
data:
tls.crt: ${TLS_CERTIFICATE}
tls.key: ${TLS_KEY}
ca.crt: ${CA_CERTIFICATE}
type: kubernetes.io/tls
---
apiVersion: v1
kind: Secret
metadata:
name: private-registry-auth
namespace: default
data:
username: ${REGISTRY_USERNAME}
password: ${REGISTRY_PASSWORD}tls.crt、tls.key 和 ca.crt 是用于验证私有镜像仓库的证书。username 和 password 是用于验证私有镜像仓库的凭据。
tls.crt、tls.key、ca.crt、username 和 password 在用于密钥之前必须以 base64 格式编码。
提及所有这些更改后,capi-provisioning-example.yaml 中的 RKE2ControlPlane 块将如下所示:
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: single-node-cluster
namespace: default
spec:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: single-node-cluster-controlplane
replicas: 1
version: ${RKE2_VERSION}
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
privateRegistriesConfig:
mirrors:
"registry.example.com":
endpoint:
- "https://registry.example.com:5000"
configs:
"registry.example.com":
authSecret:
apiVersion: v1
kind: Secret
namespace: default
name: private-registry-auth
tls:
tlsConfigSecret:
apiVersion: v1
kind: Secret
namespace: default
name: private-registry-cert
serverConfig:
cni: calico
cniMultusEnable: true
agentConfig:
format: ignition
additionalUserData:
config: |
variant: fcos
version: 1.4.0
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
nodeName: "localhost.localdomain"其中 registry.example.com 是下游集群要使用的私有镜像仓库的示例名称,应将其替换为实际值。
57 隔离环境中的下游集群置备 #
定向网络置备工作流允许自动执行隔离环境中的下游集群置备。
57.1 隔离环境的要求 #
使用
EIB生成的raw镜像必须包含在隔离环境中运行下游集群所需的特定容器镜像(helm-chart OCI 和容器镜像)。有关详细信息,请参考 此部分 (第 51 章 “为隔离场景准备下游集群映像”)。如果使用 SR-IOV 或任何其他自定义工作负载,则必须按照 预加载专用注册表部分 (第 51.2.7 节 “准备隔离工件”) 将运行工作负载所需的镜像预加载到您的专用注册表中。
57.2 在隔离环境中注册裸机主机 #
将裸机主机注册到管理集群的过程与上一节 (第 52 章 “使用定向网络配置(单节点)进行下游集群配置”)中描述的过程相同。
57.3 在隔离场景中置备下游集群 #
在隔离的场景中置备下游集群需要进行一些重要更改:
`capi-provisioning-example.yaml`文件中的`RKE2ControlPlane`块必须包含`spec.agentConfig.airGapped: true`指令。
私有镜像仓库配置必须包含在`capi-provisioning-airgap-example.yaml`文件中的`RKE2ControlPlane`块内,并位于私有镜像仓库部分 (第 56 章 “私有镜像仓库”)之后。
如果您正在使用SR-IOV或任何其他需要安装helm-chart的`AdditionalUserData`配置(燃烧脚本),则必须修改内容以引用私有镜像仓库,而不是使用公共镜像仓库。
以下示例显示了`capi-provisioning-airgap-example.yaml`文件中`AdditionalUserData`块内的SR-IOV配置,以及引用私有镜像仓库所需的修改
私有镜像仓库密钥引用
使用私有镜像仓库而非公共OCI镜像的Helm-Chart定义。
# secret to include the private registry certificates
apiVersion: v1
kind: Secret
metadata:
name: private-registry-cert
namespace: default
data:
tls.crt: ${TLS_BASE64_CERT}
tls.key: ${TLS_BASE64_KEY}
ca.crt: ${CA_BASE64_CERT}
type: kubernetes.io/tls
---
# secret to include the private registry auth credentials
apiVersion: v1
kind: Secret
metadata:
name: private-registry-auth
namespace: default
data:
username: ${REGISTRY_USERNAME}
password: ${REGISTRY_PASSWORD}
---
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: single-node-cluster
namespace: default
spec:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: single-node-cluster-controlplane
replicas: 1
version: ${RKE2_VERSION}
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
privateRegistriesConfig: # Private registry configuration to add your own mirror and credentials
mirrors:
docker.io:
endpoint:
- "${PRIVATE_REGISTRY_URL}"
rewrite:
"^(.*)$": "mirror/$1"
registry.suse.com:
endpoint:
- "${PRIVATE_REGISTRY_URL}"
rewrite:
"^(.*)$": "mirror/$1"
registry.suse.de:
endpoint:
- "${PRIVATE_REGISTRY_URL}"
rewrite:
"^(.*)$": "mirror/$1"
registry.opensuse.org:
endpoint:
- "${PRIVATE_REGISTRY_URL}"
rewrite:
"^(.*)$": "mirror/$1"
registry.rancher.com:
endpoint:
- "${PRIVATE_REGISTRY_URL}"
rewrite:
"^(.*)$": "mirror/$1"
configs:
"192.168.100.22:5000":
authSecret:
apiVersion: v1
kind: Secret
namespace: default
name: private-registry-auth
tls:
tlsConfigSecret:
apiVersion: v1
kind: Secret
namespace: default
name: private-registry-cert
insecureSkipVerify: false
serverConfig:
cni: calico
cniMultusEnable: true
agentConfig:
airGapped: true # Airgap true to enable airgap mode
format: ignition
additionalUserData:
config: |
variant: fcos
version: 1.4.0
storage:
files:
- path: /var/lib/rancher/rke2/server/manifests/configmap-sriov-custom-auto.yaml
overwrite: true
contents:
inline: |
apiVersion: v1
kind: ConfigMap
metadata:
name: sriov-custom-auto-config
namespace: sriov-network-operator
data:
config.json: |
[
{
"resourceName": "${RESOURCE_NAME1}",
"interface": "${SRIOV-NIC-NAME1}",
"pfname": "${PF_NAME1}",
"driver": "${DRIVER_NAME1}",
"numVFsToCreate": ${NUM_VFS1}
},
{
"resourceName": "${RESOURCE_NAME2}",
"interface": "${SRIOV-NIC-NAME2}",
"pfname": "${PF_NAME2}",
"driver": "${DRIVER_NAME2}",
"numVFsToCreate": ${NUM_VFS2}
}
]
mode: 0644
user:
name: root
group:
name: root
- path: /var/lib/rancher/rke2/server/manifests/sriov.yaml
overwrite: true
contents:
inline: |
apiVersion: v1
data:
.dockerconfigjson: ${REGISTRY_AUTH_DOCKERCONFIGJSON}
kind: Secret
metadata:
name: privregauth
namespace: kube-system
type: kubernetes.io/dockerconfigjson
---
apiVersion: v1
kind: ConfigMap
metadata:
namespace: kube-system
name: example-repo-ca
data:
ca.crt: |-
-----BEGIN CERTIFICATE-----
${CA_BASE64_CERT}
-----END CERTIFICATE-----
---
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: sriov-crd
namespace: kube-system
spec:
chart: oci://${PRIVATE_REGISTRY_URL}/mirror/sriov-crd
dockerRegistrySecret:
name: privregauth
repoCAConfigMap:
name: example-repo-ca
createNamespace: true
set:
global.clusterCIDR: 192.168.0.0/18
global.clusterCIDRv4: 192.168.0.0/18
global.clusterDNS: 10.96.0.10
global.clusterDomain: cluster.local
global.rke2DataDir: /var/lib/rancher/rke2
global.serviceCIDR: 10.96.0.0/12
targetNamespace: sriov-network-operator
version: 307.1.0+up1.6.0
---
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: sriov-network-operator
namespace: kube-system
spec:
chart: oci://${PRIVATE_REGISTRY_URL}/mirror/sriov-network-operator
dockerRegistrySecret:
name: privregauth
repoCAConfigMap:
name: example-repo-ca
createNamespace: true
set:
global.clusterCIDR: 192.168.0.0/18
global.clusterCIDRv4: 192.168.0.0/18
global.clusterDNS: 10.96.0.10
global.clusterDomain: cluster.local
global.rke2DataDir: /var/lib/rancher/rke2
global.serviceCIDR: 10.96.0.0/12
targetNamespace: sriov-network-operator
version: 307.1.0+up1.6.0
mode: 0644
user:
name: root
group:
name: root
kernel_arguments:
should_exist:
- intel_iommu=on
- iommu=pt
- idle=poll
- mce=off
- hugepagesz=1G hugepages=40
- hugepagesz=2M hugepages=0
- default_hugepagesz=1G
- irqaffinity=${NON-ISOLATED_CPU_CORES}
- isolcpus=domain,nohz,managed_irq,${ISOLATED_CPU_CORES}
- nohz_full=${ISOLATED_CPU_CORES}
- rcu_nocbs=${ISOLATED_CPU_CORES}
- rcu_nocb_poll
- nosoftlockup
- nowatchdog
- nohz=on
- nmi_watchdog=0
- skew_tick=1
- quiet
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
- name: cpu-partitioning.service
enabled: true
contents: |
[Unit]
Description=cpu-partitioning
Wants=network-online.target
After=network.target network-online.target
[Service]
Type=oneshot
User=root
ExecStart=/bin/sh -c "echo isolated_cores=${ISOLATED_CPU_CORES} > /etc/tuned/cpu-partitioning-variables.conf"
ExecStartPost=/bin/sh -c "tuned-adm profile cpu-partitioning"
ExecStartPost=/bin/sh -c "systemctl enable tuned.service"
[Install]
WantedBy=multi-user.target
- name: performance-settings.service
enabled: true
contents: |
[Unit]
Description=performance-settings
Wants=network-online.target
After=network.target network-online.target cpu-partitioning.service
[Service]
Type=oneshot
User=root
ExecStart=/bin/sh -c "/opt/performance-settings/performance-settings.sh"
[Install]
WantedBy=multi-user.target
- name: sriov-custom-auto-vfs.service
enabled: true
contents: |
[Unit]
Description=SRIOV Custom Auto VF Creation
Wants=network-online.target rke2-server.target
After=network.target network-online.target rke2-server.target
[Service]
User=root
Type=forking
TimeoutStartSec=1800
ExecStart=/bin/sh -c "while ! /var/lib/rancher/rke2/bin/kubectl --kubeconfig=/etc/rancher/rke2/rke2.yaml wait --for condition=ready nodes --timeout=30m --all ; do sleep 10 ; done"
ExecStartPost=/bin/sh -c "/opt/sriov/sriov-auto-filler.sh"
RemainAfterExit=yes
KillMode=process
[Install]
WantedBy=multi-user.target
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
nodeName: "localhost.localdomain"第 VIII 部分 第 2 天运维 #
本节介绍了管理员如何处理管理集群和下游集群上的不同“第 2 天”运维任务。
- 58 边缘 3.7 迁移
本节介绍了如何将您的
management和downstream集群从SUSE Telco Cloud 3.6迁移到SUSE Telco Cloud 3.7.0。- 59 管理群集
目前,有两种方法可以对您的
management集群执行“第2天”操作:- 60 生命周期操作
本节涵盖了通过 SUSE Telco Cloud 部署的集群的生命周期管理操作。
58 边缘 3.7 迁移 #
本节介绍了如何将您的 management 和 downstream 集群从 SUSE Telco Cloud 3.6 迁移到 SUSE Telco Cloud 3.7.0。
请务必从 latest Z-stream 的 SUSE Telco Cloud 3.6 版本执行集群迁移。
请务必迁移到 SUSE Telco Cloud 3.7.0 版本。有关后续迁移后的升级,请参阅 管理 (第 59 章 “管理群集”)
中的各个部分。
下表列出了不同类型的集群以及升级集群的方法:
| 集群类型 | 方法 |
|---|---|
EIB 配置的集群 | 有关详细信息,请参见第 58.1.3 节 “Fleet”。 |
Metal3 配置的集群 | 有关详细信息,请参阅 下游集群升级 (第 60.3 节 “下游集群升级”)。 |
58.1 管理群集 #
本节包含下列主题:
第 58.1.1 节 “先决条件” - 开始迁移前需要完成的先决条件步骤。
第 58.1.2 节 “升级控制器” - 如何使用 management 执行 第 21 章 “升级控制器” 集群迁移。
第 58.1.3 节 “Fleet” - 如何使用 management 执行 第 9 章 “Fleet” 集群迁移。
58.1.1 先决条件 #
58.1.1.1 升级裸机操作员 CRD #
Metal3 Helm chart 通过利用 Helm 的 CRD 目录包含 Bare Metal Operator (BMO) CRD。
然而,这种方法有一定的局限性,特别是无法使用 Helm 升级此目录中的 CRD。有关详细信息,请参见 Helm 文档。
因此,在将 Metal3 升级到 SUSE Telco Cloud 3.7.0 兼容版本之前,用户必须手动升级底层的 BMO CRD。
在安装了 Helm 且 kubectl 配置为指向您的 management 集群的机器上:
手动应用 BMO CRD:
helm show crds oci://registry.suse.com/edge/charts/metal3 --version 307.0.31+up0.16.0 | kubectl apply -f -
58.1.2 升级控制器 #
Upgrade Controller 目前仅支持 SUSE Telco Cloud 版本迁移,仅适用于 非隔离的管理 集群。
本节涵盖以下主题:
第 58.1.2.1 节 “先决条件” - Upgrade Controller 的特定先决条件。
第 58.1.2.2 节 “迁移步骤” - 使用 Upgrade Controller 将 management 集群迁移到新 SUSE Telco Cloud 版本的步骤。
58.1.2.1 先决条件 #
58.1.2.1.1 SUSE Telco Cloud 3.7 升级控制器 #
在使用 Upgrade Controller 之前,您必须首先确保其运行的版本能够迁移到所需的 SUSE Telco Cloud 版本。
要执行这一操作:
如果您已经从之前的
Upgrade Controller版本部署了SUSE Telco Cloud,请升级其 chart:helm upgrade upgrade-controller -n upgrade-controller-system oci://registry.suse.com/edge/charts/upgrade-controller --version 307.0.4+up0.1.3如果您 没有 部署
Upgrade Controller,请遵循 第 21.3 节 “安装升级控制器”。
58.1.2.2 迁移步骤 #
使用 management 执行 Upgrade Controller 集群迁移与执行升级基本相似。
唯一的区别是您的 UpgradePlan 必须 指定 3.7.0 发布版本:
apiVersion: lifecycle.suse.com/v1alpha1
kind: UpgradePlan
metadata:
name: upgrade-plan-mgmt
# Change to the namespace of your Upgrade Controller
namespace: CHANGE_ME
spec:
releaseVersion: 3.7.0有关如何使用上述 UpgradePlan 进行迁移的信息,请参阅 Upgrade Controller 升级流程 (第 59.1 节 “Upgrade Controller”)。
58.1.3 Fleet #
使用 management 执行 Fleet 集群迁移与执行升级基本相似。
*关键*区别在于:
必须使用
suse-edge/fleet-examples储存库的 release-3.7.0 版本中的 Fleet。计划升级的 Chart *必须*升级到与
SUSE Telco Cloud 3.7.0版本兼容的版本。有关SUSE Telco Cloud 3.7.0组件的列表,请参阅 第 78.3 节 “3.7.0 版本”。
为确保 SUSE Telco Cloud 3.7.0 迁移成功,用户务必遵守上述要点。
58.2 下游集群 #
第 58.2.1 节 “Fleet” - 如何使用 downstream 执行 第 9 章 “Fleet” 集群迁移。
58.2.1 Fleet #
使用 downstream 执行 Fleet 集群迁移与执行升级基本相似。
*关键*区别在于:
必须使用
suse-edge/fleet-examples储存库的 release-3.7.0 版本中的 Fleet。计划升级的 Chart *必须*升级到与
SUSE Telco Cloud 3.7.0版本兼容的版本。有关SUSE Telco Cloud 3.7.0组件的列表,请参阅 第 78.3 节 “3.7.0 版本”。
为确保 SUSE Telco Cloud 3.7.0 迁移成功,用户务必遵守上述要点。
59 管理群集 #
目前,有两种方法可以对您的 management 集群执行“第2天”操作:
59.1 Upgrade Controller #
Upgrade Controller 目前仅支持 非隔离的管理 集群的 Day 2 操作。
本节介绍了如何执行与将 management 集群从一个 SUSE Telco Cloud 平台版本升级到另一个版本相关的各种 Day 2 操作。
Day 2 操作由 升级控制器 (第 21 章 “升级控制器”) 自动执行,包括:
SUSE Linux Micro (第 10 章 “SUSE Linux Micro”) 操作系统升级
第 14 章 “RKE2” Kubernetes 升级
SUSE 附加组件(SUSE Rancher Prime、SUSE Security 等)升级
59.1.1 先决条件 #
在升级您的 management 集群之前,必须满足以下先决条件:
SCC registered nodes- 确保您的集群节点操作系统已使用支持您打算升级到的SUSE Telco Cloud版本 (第 78 章 “发行说明”) 中指定的操作系统版本的订阅密钥进行注册。Upgrade Controller- 确保Upgrade Controller已部署在您的management集群上。有关安装步骤,请参阅 第 21.3 节 “安装升级控制器”。
59.1.2 升级 #
确定您希望将
management集群升级到的SUSE Telco Cloud版本 (第 78 章 “发行说明”)。在
management集群中,部署一个指定所需UpgradePlan的release version。UpgradePlan必须部署在Upgrade Controller的名称空间中。kubectl apply -n <upgrade_controller_namespace> -f - <<EOF apiVersion: lifecycle.suse.com/v1alpha1 kind: UpgradePlan metadata: name: upgrade-plan-mgmt namespace: upgrade-controller-system # replaces it if the upgrade controller has been deployed in a different namespace spec: # Version retrieved from release notes releaseVersion: 3.X.Y EOF将
UpgradePlan部署到Upgrade Controller’s名称空间将开始upgrade process。注意有关实际
upgrade process的详细信息,请参考 第 21.5 节 “升级控制器如何工作?”。有关如何跟踪
upgrade process的信息,请参考 第 21.7 节 “跟踪升级过程”。
59.1.3 升级后步骤 #
SUSE Telco Cloud`从最新的 `3.6 z-stream 升级到 3.7.0 需要在 Upgrade Controller 完成升级过程后执行最后的几个手动步骤,这与 rke2-traefik 版本中包含的 Helm chart 中的一些 Helm 参数更改有关。SUSE Telco Cloud`3.7.0`
在
helmchartconfigs.helm.cattle.io/rke2-traefik名称空间中应用kube-systemAPI 对象中的以下更改(或者,如果该 API 对象不存在,则在helmcharts.helm.cattle.io/rke2-traefikAPI 对象中应用它们):
使用 HelmChartConfig(或 HelmChart)清单按如下所示应用这些更改,以确保 Upgrade Controller 在未来的管理集群升级中保留它们。
# You can use `kubectl edit', `kubectl patch` or `kubectl apply` commands to apply the changes indicated below
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-traefik
namespace: kube-system
spec:
failurePolicy: reinstall
valuesContent: |-
ingressClass:
isDefaultClass: true
ports:
web:
hostPort: null
exposedPort: 80
websecure:
hostPort: null
exposedPort: 443
service:
enabled: true
# type: LoadBalancer # CHANGE_1: This Helm parameter has been REMOVED
# ipFamilyPolicy: PreferDualStack # CHANGE_2: This Helm parameter has been REMOVED
spec:
type: LoadBalancer # CHANGE_3: NEW Helm parameter replacing the old/removed one (above)
ipFamilyPolicy: PreferDualStack # CHANGE_4: NEW Helm parameter replacing the old/removed one (above)
externalTrafficPolicy: Local
allocateLoadBalancerNodePorts: false
providers:
kubernetesIngressNGINX: # CHANGE_5: NEW Helm parameter replacing the old/removed "KubernetesIngressNginx"
enabled: true
ingressClass: "rke2-ingress-nginx-migration"
controllerClass: "rke2.cattle.io/ingress-nginx-migration"
EOF或者,如果 helmchartconfigs.helm.cattle.io/rke2-traefik 名称空间中的 kube-system API 对象不存在:
# You can use `kubectl edit', `kubectl patch` or `kubectl apply` commands to apply the changes indicated below
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: rke2-traefik
namespace: kube-system
spec:
chart: rke2-traefik
version: {rke2-traefik Helm chart version}
repo: https://rke2-charts.rancher.io
bootstrap: false
failurePolicy: reinstall
backOffLimit: 20
targetNamespace: kube-system
set:
global.cattle.systemDefaultRegistry: registry.rancher.com
global.rke2DataDir: /var/lib/rancher/rke2
global.systemDefaultRegistry: registry.rancher.com
valuesContent: |-
ingressClass:
isDefaultClass: true
ports:
web:
hostPort: null
exposedPort: 80
websecure:
hostPort: null
exposedPort: 443
service:
enabled: true
# type: LoadBalancer # CHANGE_1: This Helm parameter has been REMOVED
# ipFamilyPolicy: PreferDualStack # CHANGE_2: This Helm parameter has been REMOVED
spec:
type: LoadBalancer # CHANGE_3: NEW Helm parameter replacing the old/removed one (above)
ipFamilyPolicy: PreferDualStack # CHANGE_4: NEW Helm parameter replacing the old/removed one (above)
externalTrafficPolicy: Local
allocateLoadBalancerNodePorts: false
providers:
kubernetesIngressNGINX: # CHANGE_5: NEW Helm parameter replacing the old/removed "KubernetesIngressNginx"
enabled: true
ingressClass: "rke2-ingress-nginx-migration"
controllerClass: "rke2.cattle.io/ingress-nginx-migration"
EOF上面显示的 {rke2-traefik Helm chart version} 是 SUSE Telco Cloud 3.7.0 版本中用于升级的 RKE2/k3s 版本所提供的(您可以从相应的 RKE2 发布页面 / k3s 发布页面 获取它)。
59.2 Fleet #
本节提供有关如何使用 Fleet (第 9 章 “Fleet”) 组件执行“第 2 天”操作的信息。
本节涵盖以下主题:
第 59.2.1 节 “组件” - 用于所有“第 2 天”操作的默认组件。
第 59.2.2 节 “确定您的用例” - 提供将要使用的 Fleet 自定义资源概述,以及它们对不同“第 2 天”操作用例的适用性。
第 59.2.3 节 “Day 2 工作流” - 提供使用 Fleet 执行“第 2 天”操作的工作流程指南。
第 59.2.4 节 “操作系统升级” - 描述如何使用 Fleet 进行操作系统升级。
第 59.2.5 节 “Kubernetes 版本升级” - 描述如何使用 Fleet 进行 Kubernetes 版本升级。
第 59.2.6 节 “Helm chart 升级” - 描述如何使用 Fleet 进行 Helm chart 升级。
59.2.1 组件 #
您可以在下方找到应在您的 management 集群上设置的默认组件说明,以便您能够使用 Fleet 成功执行“第 2 天”操作。
59.2.1.1 Rancher #
可选;负责管理 downstream clusters 并在您的 System Upgrade Controller 上部署 management cluster。
有关详细信息,请访问 第 6 章 “Rancher”。
59.2.1.2 系统升级控制器 (SUC) #
*系统升级控制器*负责根据通过名为 Plan 的自定义资源提供配置数据,在指定节点上执行任务。
*SUC*被主动用于升级操作系统和 Kubernetes 发行版。
有关 SUC 组件及其如何适配 Edge 堆栈的更多信息,请参阅 第 20 章 “系统升级控制器”。
59.2.2 确定您的用例 #
Fleet 使用两种类型的 自定义资源 来实现 Kubernetes 和 Helm 资源的管理。
您可以在下方找到有关这些资源的目的以及它们在“第 2 天”操作背景下最适合的用例的信息。
59.2.2.1 GitRepo #
GitRepo 是一个 Fleet (第 9 章 “Fleet”) 资源,它代表一个 Fleet 可以从中创建 Bundles 的 Git 储存库。每个 Bundle 都是基于 GitRepo 资源内定义的配置路径创建的。有关详细信息,请参见 GitRepo 文档。
在“Day 2”操作的背景下,GitRepo 资源通常用于在利用 Fleet GitOps 方法的 非隔离的 环境中部署 SUC 或 SUC Plans。
或者,GitRepo 资源也可用于在 隔离的 环境中部署 SUC 或 SUC Plans,前提是您通过本地 git 服务器镜像您的储存库设置。
59.2.2.2 捆绑包 #
Bundles 包含将部署在目标集群上的 原始 Kubernetes 资源。通常它们是从 GitRepo 资源创建的,但在某些用例中也可以手动部署它们。有关详细信息,请参考 Bundle 文档。
在“Day 2”操作的背景下,Bundle 资源通常用于在不使用某种 本地 GitOps 流程(例如 本地 git 服务器)的 隔离的 环境中部署 SUC 或 SUC Plans。
或者,如果您的用例不允许 GitOps 工作流(例如使用 Git 储存库),则 Bundle 资源也可用于在 非隔离的 环境中部署 SUC 或 SUC Plans。
59.2.3 Day 2 工作流 #
以下是升级 management 集群到特定 Edge 版本时应遵循的“Day 2”工作流。
操作系统升级 (第 59.2.4 节 “操作系统升级”)
Kubernetes 版本升级 (第 59.2.5 节 “Kubernetes 版本升级”)
Helm chart 升级 (第 59.2.6 节 “Helm chart 升级”)
59.2.4 操作系统升级 #
本节介绍如何使用 第 9 章 “Fleet” 和 第 20 章 “系统升级控制器” 执行操作系统升级。
本节涵盖以下主题:
第 59.2.4.1 节 “组件” - 升级过程中使用的附加组件。
第 59.2.4.2 节 “概述” - 升级过程概述。
第 59.2.4.3 节 “要求” - 升级过程的要求。
第 59.2.4.4 节 “操作系统升级 - SUC 计划部署” - 有关如何部署负责触发升级过程的
SUC plans的信息。
59.2.4.1 组件 #
本节涵盖 OS upgrade 过程在默认“第 2 天”组件 (第 59.2.1 节 “组件”) 之外使用的自定义组件。
59.2.4.1.1 systemd.service #
特定节点上的操作系统升级由 systemd.service 处理。
根据操作系统从一个 Edge 版本升级到另一个版本所需的升级类型,会创建不同的服务:
上述服务通过 SUC plan 在每个节点上部署,该服务必须位于需要操作系统升级的 management 集群上。
59.2.4.2 概述 #
management 集群节点的操作系统升级是通过利用 Fleet 和 System Upgrade Controller (SUC) 完成的。
Fleet 用于在目标集群上部署和管理 SUC plans。
OS SUC plans 通过将 GitRepo 或 Bundle 资源部署到特定的 Fleet 工作区 来分发到每个集群。Fleet 会检索已部署的 GitRepo/Bundle 并将其内容(即 OS SUC plans)部署到目标集群。
GitRepo/Bundle 资源始终部署在 management cluster 上。是否使用 GitRepo 或 Bundle 资源取决于您的用例,请查看 第 59.2.2 节 “确定您的用例” 以获取更多信息。
OS SUC plans 描述了以下工作流程:
在操作系统升级之前,请务必 隔离 节点。
请务必先升级
control-plane节点,然后再升级worker节点。请务必一次只升级一个 one 节点。
一旦部署了 OS SUC plans,工作流程如下所示:
SUC 会协调已部署的
OS SUC plans并在 每个节点 上创建一个Kubernetes Job。Kubernetes Job会为软件包升级或操作系统迁移创建一个 systemd.service (第 59.2.4.1.1 节 “systemd.service”)。所创建的
systemd.service会触发特定节点上的操作系统升级过程。重要一旦操作系统升级过程完成,相应的节点将被
rebooted以应用系统更新。
您可以在下方找到上述描述的图示:
59.2.4.3 要求 #
常规:
SCC 注册机器 - 所有 management 集群节点都应注册到
https://scc.suse.com/,这是使相应的systemd.service能够成功连接到所需 RPM 储存库所必需的。重要对于需要操作系统版本迁移的 Edge 版本(例如
6.1→6.2),请确保您的 SCC 密钥支持迁移到新版本。确保 SUC Plan 容忍度与节点容忍度匹配 - 如果您的 Kubernetes 集群节点具有自定义 污点,请确保在 SUC Plans 中为这些污点添加 容忍度。默认情况下,SUC Plans 仅具有针对 控制平面 节点的容忍度。默认容忍度包括:
CriticalAddonsOnly=true:NoExecute
node-role.kubernetes.io/control-plane:NoSchedule
node-role.kubernetes.io/etcd:NoExecute
注意任何额外的容忍度必须添加到每个计划的
.spec.tolerations部分下。与操作系统升级相关的*SUC 计划*可以在`fleets/day2/system-upgrade-controller-plans/os-upgrade`下的suse-edge/fleet-examples储存库中找到。确保您使用来自有效存储库发布标签的计划。为*控制平面* SUC 计划定义自定义容忍度的示例如下:
apiVersion: upgrade.cattle.io/v1 kind: Plan metadata: name: os-upgrade-control-plane spec: ... tolerations: # default tolerations - key: "CriticalAddonsOnly" operator: "Equal" value: "true" effect: "NoExecute" - key: "node-role.kubernetes.io/control-plane" operator: "Equal" effect: "NoSchedule" - key: "node-role.kubernetes.io/etcd" operator: "Equal" effect: "NoExecute" # custom toleration - key: "foo" operator: "Equal" value: "bar" effect: "NoSchedule" ...
隔离的:
镜像 SUSE RPM 储存库 - 应在本地镜像操作系统 RPM 储存库,以便`systemd.service`可以访问它们。这可以通过使用 RMT 或 SUSE Multi-Linux Manager Documentation 来实现。
59.2.4.4 操作系统升级 - SUC 计划部署 #
对于之前使用此过程升级过的环境,用户应确保完成以下其中*一*步骤:
这样做是为了避免旧版 Edge 发行版本之间的`SUC Plans`冲突。
如果用户在 management 集群上存在现有的 SUC Plans 时尝试升级,他们将看到以下 fleet 错误:
Not installed: Unable to continue with install: Plan <plan_name> in namespace <plan_namespace> exists and cannot be imported into the current release: invalid ownership metadata; annotation validation error..如 第 59.2.4.2 节 “概述” 中所述,操作系统升级是通过以下方式之一将 SUC plans 部署到目标集群来完成的:
Fleet
GitRepo资源 - 第 59.2.4.4.1 节 “SUC 计划部署 - GitRepo 资源”。Fleet
Bundle资源 - 第 59.2.4.4.2 节 “SUC 计划部署 - Bundle 资源”。
要确定应使用哪种资源,请参阅第 59.2.2 节 “确定您的用例”。
对于希望从第三方 GitOps 工具部署`OS SUC plans`的用例,请参阅第 59.2.4.4.3 节 “SUC 计划部署 - 第三方 GitOps 工作流”
59.2.4.4.1 SUC 计划部署 - GitRepo 资源 #
可以采用以下方式之一部署包含所需`OS SUC plans`的*GitRepo*资源:
通过
Rancher UI- 第 59.2.4.4.1.1 节 “GitRepo 创建 - Rancher UI”(当Rancher可用时)。通过 手动部署 (第 59.2.4.4.1.2 节 “GitRepo 创建 - 手动”) 资源到您的
management cluster。
部署完成后,要监控目标集群节点的操作系统升级过程,请参阅 第 20.3 节 “监控 System Upgrade Controller 计划”。
59.2.4.4.1.1 GitRepo 创建 - Rancher UI #
要通过 Rancher UI 创建 GitRepo 资源,请遵循其官方 文档。
Edge 团队维护着一个可直接使用的 Fleet。根据您的环境,此 Fleet 可以直接使用或作为模板使用。
对于不需要对 Fleet 附带的 SUC plans 进行任何自定义更改的用例,用户可以直接引用来自 suse-edge/fleet-examples 储存库的 os-upgrade Fleet。
如果需要自定义更改(例如添加自定义容忍度),用户应引用来自单独储存库的 os-upgrade Fleet,以便根据需要将更改添加到 SUC 计划中。
关于如何配置 GitRepo 以使用来自 suse-edge/fleet-examples 储存库的 Fleet 的示例,可以在 此处 查看。
59.2.4.4.1.2 GitRepo 创建 - 手动 #
拉取 GitRepo 资源:
curl -o os-upgrade-gitrepo.yaml https://raw.githubusercontent.com/suse-edge/fleet-examples/refs/tags/release-3.7.0/gitrepos/day2/os-upgrade-gitrepo.yaml编辑 GitRepo 配置:
删除
spec.targets部分 - 仅下游集群需要。# Example using sed sed -i.bak '/^ targets:/,$d' os-upgrade-gitrepo.yaml && rm -f os-upgrade-gitrepo.yaml.bak # Example using yq (v4+) yq eval 'del(.spec.targets)' -i os-upgrade-gitrepo.yaml将
GitRepo的命名空间指向fleet-local命名空间 - 这样做是为了在管理集群上部署资源。# Example using sed sed -i.bak 's/namespace: fleet-default/namespace: fleet-local/' os-upgrade-gitrepo.yaml && rm -f os-upgrade-gitrepo.yaml.bak # Example using yq (v4+) yq eval '.metadata.namespace = "fleet-local"' -i os-upgrade-gitrepo.yaml
应用 GitRepo 资源到您的
management cluster:kubectl apply -f os-upgrade-gitrepo.yaml在
fleet-local名称空间下查看已创建的 GitRepo 资源:kubectl get gitrepo os-upgrade -n fleet-local # Example output NAME REPO COMMIT BUNDLEDEPLOYMENTS-READY STATUS os-upgrade https://github.com/suse-edge/fleet-examples.git release-3.7.0 0/0
59.2.4.4.2 SUC 计划部署 - Bundle 资源 #
一个 Bundle 资源(用于交付所需的 OS SUC Plans)可以通过以下方式之一进行部署:
通过
Rancher UI- 第 59.2.4.4.2.1 节 “Bundle 创建 - Rancher UI”(当Rancher可用时)。通过 手动部署 (第 59.2.4.4.2.2 节 “Bundle 创建 - 手动”) 资源到您的
management cluster。
部署完成后,要监控目标集群节点的操作系统升级过程,请参阅 第 20.3 节 “监控 System Upgrade Controller 计划”。
59.2.4.4.2.1 Bundle 创建 - Rancher UI #
Edge 团队维护了一个可直接使用的 bundle,可用于以下步骤。
通过 Rancher UI 创建 bundle:
在左上角,点击 ☰ → 持续交付
转到 高级 > Bundles
选择 从 YAML 创建
在此处,您可以通过以下方式之一创建 Bundle:
注意在某些用例中,您可能需要将自定义更改包含到 bundle 所交付的
SUC plans中(例如,添加自定义容忍度)。请确保将这些更改包含在通过以下步骤生成的 bundle 中。通过手动将 bundle 内容 从
suse-edge/fleet-examples复制到 从 YAML 创建 页面。通过从所需的 发布 标签克隆 suse-edge/fleet-examples 储存库,并在 从 YAML 创建 页面中选择 从文件读取 选项。从那里,导航到 bundle 位置 (
bundles/day2/system-upgrade-controller-plans/os-upgrade) 并选择 bundle 文件。这将自动填充 从 YAML 创建 页面中的 bundle 内容。
在 Rancher UI 中编辑 Bundle:
将
Bundle的 名称空间 更改为指向fleet-local的名称空间。# Example kind: Bundle apiVersion: fleet.cattle.io/v1alpha1 metadata: name: os-upgrade namespace: fleet-local ...将
Bundle的 目标 集群更改为指向您的local(管理)集群:spec: targets: - clusterName: local注意在某些用例中,您的
local集群可能具有不同的名称。要检索您的
local集群名称,请执行以下命令:kubectl get clusters.fleet.cattle.io -n fleet-local
选择 创建
59.2.4.4.2.2 Bundle 创建 - 手动 #
拉取 Bundle 资源:
curl -o os-upgrade-bundle.yaml https://raw.githubusercontent.com/suse-edge/fleet-examples/refs/tags/release-3.7.0/bundles/day2/system-upgrade-controller-plans/os-upgrade/os-upgrade-bundle.yaml编辑
Bundle配置:将
Bundle的 目标 集群更改为指向您的local(管理)集群:spec: targets: - clusterName: local注意在某些用例中,您的
local集群可能具有不同的名称。要检索您的
local集群名称,请执行以下命令:kubectl get clusters.fleet.cattle.io -n fleet-local将
Bundle的 名称空间 更改为指向fleet-local的名称空间。# Example kind: Bundle apiVersion: fleet.cattle.io/v1alpha1 metadata: name: os-upgrade namespace: fleet-local ...
将 Bundle 资源应用到您的
management cluster:kubectl apply -f os-upgrade-bundle.yaml在
fleet-local名称空间下查看已创建的 Bundle 资源:kubectl get bundles -n fleet-local
59.2.4.4.3 SUC 计划部署 - 第三方 GitOps 工作流 #
在某些用例中,用户可能希望将 OS SUC plans 集成到他们自己的第三方 GitOps 工作流(例如 Flux)中。
要获取所需的操作系统升级资源,请首先确定您想要使用的 suse-edge/fleet-examples 储存库的 Edge 发布 标签。
之后,可以在 fleets/day2/system-upgrade-controller-plans/os-upgrade 处找到资源,其中:
plan-control-plane.yaml是用于 控制平面 节点的 SUC 计划资源。plan-worker.yaml是用于 工作节点 的 SUC 计划资源。secret.yaml是一个包含upgrade.sh脚本的 Secret,该脚本负责创建 systemd.service (第 59.2.4.1.1 节 “systemd.service”)。config-map.yaml是一个 ConfigMap,其中保存了供upgrade.sh脚本使用的配置。
这些 Plan 资源由 System Upgrade Controller 进行解释,并应部署在您希望升级的每个下游集群上。有关 SUC 部署信息,请参见 第 20.2 节 “安装系统升级控制器”。
为了更好地了解如何使用 GitOps 工作流来部署用于操作系统升级的 SUC Plans,查看 overview (第 59.2.4.2 节 “概述”) 会有所帮助。
59.2.5 Kubernetes 版本升级 #
本节介绍了如何使用 第 9 章 “Fleet” 和 第 20 章 “系统升级控制器” 执行 Kubernetes 升级。
本节涵盖以下主题:
第 59.2.5.1 节 “组件” - 升级过程中使用的其他组件。
第 59.2.5.2 节 “概述” - 升级过程概述。
第 59.2.5.3 节 “要求” - 升级过程的要求。
第 59.2.5.4 节 “K8s 升级 - SUC 计划部署” - 有关如何部署
SUC plans的信息,它负责触发升级过程。
59.2.5.1 组件 #
本节涵盖了 K8s upgrade 过程在默认“Day 2”组件 (第 59.2.1 节 “组件”)之外使用的自定义组件。
59.2.5.1.1 rke2-upgrade #
负责升级特定节点 RKE2 版本的容器镜像。
通过 SUC 基于 SUC 计划 创建的 Pod 进行分发。该计划应位于每个需要 RKE2 升级的 集群 上。
有关 rke2-upgrade 镜像如何执行升级的更多信息,请参阅 上游 文档。
59.2.5.1.2 k3s-upgrade #
负责升级特定节点 K3s 版本的容器镜像。
通过 SUC 基于 SUC 计划 创建的 Pod 进行分发。该计划应位于每个需要 K3s 升级的 集群 上。
有关 k3s-upgrade 镜像如何执行升级的更多信息,请参阅 上游 文档。
59.2.5.2 概述 #
management 集群节点的 Kubernetes 发行版升级是通过利用 Fleet 和 System Upgrade Controller (SUC) 完成的。
Fleet 用于将 SUC plans 部署并管理到目标集群上。
K8s SUC plans 通过将 GitRepo 或 Bundle 资源部署到特定的 Fleet 工作区,从而在每个集群上进行交付。Fleet 获取已部署的 GitRepo/Bundle 并将其内容(即 K8s SUC plans)部署到一个或多个目标集群。
GitRepo/Bundle 资源始终部署在 management cluster 上。是否使用 GitRepo 或 Bundle 资源取决于您的用例,请查看 第 59.2.2 节 “确定您的用例” 以获取更多信息。
K8s SUC plans 描述了以下工作流程:
在 K8s 升级之前,请务必 隔离 节点。
请务必先升级
control-plane节点,然后再升级worker节点。请务必每次升级
control-plane节点中的 一个 节点,以及worker节点中的 两个 节点。
一旦部署了 K8s SUC plans,工作流程如下所示:
SUC 会协调已部署的
K8s SUC plans并在 每个节点 上创建一个Kubernetes Job。根据 Kubernetes 发行版的不同,该 Job 将创建一个运行 rke2-upgrade (第 59.2.5.1.1 节 “rke2-upgrade”) 或 k3s-upgrade (第 59.2.5.1.2 节 “k3s-upgrade”) 容器镜像的 Pod。
创建的 Pod 将经历以下工作流程:
将节点上现有的
rke2/k3s二进制文件替换为来自rke2-upgrade/k3s-upgrade镜像的文件。终止正在运行的
rke2/k3s进程。
终止
rke2/k3s进程会触发重启,启动一个运行更新后二进制文件的新进程,从而实现 Kubernetes 发行版版本的升级。
您可以在下方找到上述描述的图示:
59.2.5.3 要求 #
备份您的 Kubernetes 发行版:
对于 RKE2 集群,请参阅 RKE2 备份与恢复 文档。
对于 K3s 集群,请参阅 K3s 备份与恢复 文档。
确保 SUC Plan 容忍度与节点容忍度匹配 - 如果您的 Kubernetes 集群节点具有自定义 污点,请确保在 SUC Plans 中为这些污点添加 容忍度。默认情况下,SUC Plans 仅包含针对 控制平面 节点的容忍度。默认容忍度包括:
CriticalAddonsOnly=true:NoExecute
node-role.kubernetes.io/control-plane:NoSchedule
node-role.kubernetes.io/etcd:NoExecute
注意任何额外的容忍度必须添加到每个 Plan 的
.spec.tolerations部分下。与 Kubernetes 版本升级相关的 SUC Plans 可以在 suse-edge/fleet-examples 储存库的以下位置找到:对于 RKE2 -
fleets/day2/system-upgrade-controller-plans/rke2-upgrade对于 K3s -
fleets/day2/system-upgrade-controller-plans/k3s-upgrade
请确保您使用的是来自有效储存库 发布 标签的 Plans。
为 RKE2 控制平面 SUC Plan 定义自定义容忍度的示例如下:
apiVersion: upgrade.cattle.io/v1 kind: Plan metadata: name: rke2-upgrade-control-plane spec: ... tolerations: # default tolerations - key: "CriticalAddonsOnly" operator: "Equal" value: "true" effect: "NoExecute" - key: "node-role.kubernetes.io/control-plane" operator: "Equal" effect: "NoSchedule" - key: "node-role.kubernetes.io/etcd" operator: "Equal" effect: "NoExecute" # custom toleration - key: "foo" operator: "Equal" value: "bar" effect: "NoSchedule" ...
59.2.5.4 K8s 升级 - SUC 计划部署 #
对于之前使用此过程升级过的环境,用户应确保完成以下 一项 步骤:
这样做是为了避免旧版 Edge 发行版本之间的`SUC Plans`冲突。
如果用户在 management 集群上存在现有 SUC Plans 的情况下尝试升级,他们将看到以下 fleet 错误:
Not installed: Unable to continue with install: Plan <plan_name> in namespace <plan_namespace> exists and cannot be imported into the current release: invalid ownership metadata; annotation validation error..如 第 59.2.5.2 节 “概述” 中所述,Kubernetes 升级是通过以下方式之一将 SUC plans 发送到目标集群来完成的:
Fleet GitRepo 资源 (第 59.2.5.4.1 节 “SUC 计划部署 - GitRepo 资源”)
Fleet Bundle 资源 (第 59.2.5.4.2 节 “SUC 计划部署 - Bundle 资源”)
要确定应使用哪种资源,请参阅 第 59.2.2 节 “确定您的用例”。
对于希望从第三方 GitOps 工具部署 K8s SUC plans 的用例,请参阅 第 59.2.5.4.3 节 “SUC 计划部署 - 第三方 GitOps 工作流”
59.2.5.4.1 SUC 计划部署 - GitRepo 资源 #
所需 K8s SUC plans 的 GitRepo 资源可通过以下方式之一进行部署:
通过
Rancher UI- 第 59.2.5.4.1.1 节 “GitRepo 创建 - Rancher UI”(当Rancher可用时)。通过 手动部署 (第 59.2.5.4.1.2 节 “GitRepo 创建 - 手动”) 资源到您的
management cluster。
部署完成后,要监控目标集群节点的 Kubernetes 升级过程,请参阅 第 20.3 节 “监控 System Upgrade Controller 计划”。
59.2.5.4.1.1 GitRepo 创建 - Rancher UI #
要通过 Rancher UI 创建 GitRepo 资源,请遵循其官方 文档。
Edge 团队维护着适用于 rke2 和 k3s Kubernetes 发行版的现成 fleet。根据您的环境,此 fleet 可以直接使用或作为模板使用。
对于不需要对这些 fleet 所发送的 SUC plans 进行任何自定义更改的用例,用户可以直接引用 suse-edge/fleet-examples 储存库中的 fleet。
如果需要自定义更改(例如添加自定义容忍度),用户应引用单独储存库中的 fleet,以便根据需要将更改添加到 SUC 计划中。
使用来自 GitRepo 储存库的 fleet 的 suse-edge/fleet-examples 资源配置示例:
59.2.5.4.1.2 GitRepo 创建 - 手动 #
拉取 GitRepo 资源:
对于 RKE2 集群:
curl -o rke2-upgrade-gitrepo.yaml https://raw.githubusercontent.com/suse-edge/fleet-examples/refs/tags/release-3.7.0/gitrepos/day2/rke2-upgrade-gitrepo.yaml对于 K3s 集群:
curl -o k3s-upgrade-gitrepo.yaml https://raw.githubusercontent.com/suse-edge/fleet-examples/refs/tags/release-3.7.0/gitrepos/day2/k3s-upgrade-gitrepo.yaml
编辑 GitRepo 配置:
删除
spec.targets部分 - 仅下游集群需要。对于 RKE2:
# Example using sed sed -i.bak '/^ targets:/,$d' rke2-upgrade-gitrepo.yaml && rm -f rke2-upgrade-gitrepo.yaml.bak # Example using yq (v4+) yq eval 'del(.spec.targets)' -i rke2-upgrade-gitrepo.yaml对于 K3s:
# Example using sed sed -i.bak '/^ targets:/,$d' k3s-upgrade-gitrepo.yaml && rm -f k3s-upgrade-gitrepo.yaml.bak # Example using yq (v4+) yq eval 'del(.spec.targets)' -i k3s-upgrade-gitrepo.yaml
将
GitRepo的命名空间指向fleet-local命名空间——这样做是为了在管理集群上部署资源。对于 RKE2:
# Example using sed sed -i.bak 's/namespace: fleet-default/namespace: fleet-local/' rke2-upgrade-gitrepo.yaml && rm -f rke2-upgrade-gitrepo.yaml.bak # Example using yq (v4+) yq eval '.metadata.namespace = "fleet-local"' -i rke2-upgrade-gitrepo.yaml对于 K3s:
# Example using sed sed -i.bak 's/namespace: fleet-default/namespace: fleet-local/' k3s-upgrade-gitrepo.yaml && rm -f k3s-upgrade-gitrepo.yaml.bak # Example using yq (v4+) yq eval '.metadata.namespace = "fleet-local"' -i k3s-upgrade-gitrepo.yaml
将 GitRepo 资源应用到您的
management cluster:# RKE2 kubectl apply -f rke2-upgrade-gitrepo.yaml # K3s kubectl apply -f k3s-upgrade-gitrepo.yaml在
fleet-local命名空间下查看创建的 GitRepo 资源:# RKE2 kubectl get gitrepo rke2-upgrade -n fleet-local # K3s kubectl get gitrepo k3s-upgrade -n fleet-local # Example output NAME REPO COMMIT BUNDLEDEPLOYMENTS-READY STATUS k3s-upgrade https://github.com/suse-edge/fleet-examples.git fleet-local 0/0 rke2-upgrade https://github.com/suse-edge/fleet-examples.git fleet-local 0/0
59.2.5.4.2 SUC 计划部署 - Bundle 资源 #
可以采用以下方式之一部署包含所需 Kubernetes upgrade SUC Plans 的 Bundle 资源:
通过
Rancher UI- 第 59.2.5.4.2.1 节 “Bundle 创建 - Rancher UI”(当Rancher可用时)。通过 手动部署 (第 59.2.5.4.2.2 节 “Bundle 创建 - 手动创建”) 资源到您的
management cluster。
部署完成后,要监控目标集群节点的 Kubernetes 升级过程,请参阅 第 20.3 节 “监控 System Upgrade Controller 计划”。
59.2.5.4.2.1 Bundle 创建 - Rancher UI #
Edge 团队为 rke2 和 k3s Kubernetes 发行版维护了可直接使用的 bundle。根据您的环境,这些 bundle 可以直接使用或作为模板使用。
通过 Rancher UI 创建 bundle:
在左上角,点击 ☰ → 持续交付
转到 高级 > Bundles
选择 从 YAML 创建
在此处,您可以通过以下方式之一创建 Bundle:
注意在某些用例中,您可能需要将自定义更改包含到 bundle 所交付的
SUC plans中(例如,添加自定义容忍度)。请确保在通过以下步骤生成的 Bundle 中包含这些更改。通过手动将 RKE2 或 K3s 的 Bundle 内容从
suse-edge/fleet-examples复制到 从 YAML 创建 页面。通过从所需的 发布 标签克隆 suse-edge/fleet-examples 储存库,并在 从 YAML 创建 页面中选择 从文件读取 选项。从那里,导航到您需要的 Bundle(RKE2 为
bundles/day2/system-upgrade-controller-plans/rke2-upgrade/plan-bundle.yaml,K3s 为bundles/day2/system-upgrade-controller-plans/k3s-upgrade/plan-bundle.yaml)。这将自动填充 从 YAML 创建 页面中的 Bundle 内容。
在 Rancher UI 中编辑 Bundle:
将
Bundle的 名称空间 更改为指向fleet-local的名称空间。# Example kind: Bundle apiVersion: fleet.cattle.io/v1alpha1 metadata: name: rke2-upgrade namespace: fleet-local ...将
Bundle的 目标 集群更改为指向您的local(管理)集群:spec: targets: - clusterName: local注意在某些用例中,您的
local集群可能具有不同的名称。要检索您的
local集群名称,请执行以下命令:kubectl get clusters.fleet.cattle.io -n fleet-local
选择 创建
59.2.5.4.2.2 Bundle 创建 - 手动创建 #
拉取 Bundle 资源:
对于 RKE2 集群:
curl -o rke2-plan-bundle.yaml https://raw.githubusercontent.com/suse-edge/fleet-examples/refs/tags/release-3.7.0/bundles/day2/system-upgrade-controller-plans/rke2-upgrade/plan-bundle.yaml对于 K3s 集群:
curl -o k3s-plan-bundle.yaml https://raw.githubusercontent.com/suse-edge/fleet-examples/refs/tags/release-3.7.0/bundles/day2/system-upgrade-controller-plans/k3s-upgrade/plan-bundle.yaml
编辑
Bundle配置:将
Bundle的 目标 集群更改为指向您的local(管理)集群:spec: targets: - clusterName: local注意在某些用例中,您的
local集群可能具有不同的名称。要检索您的
local集群名称,请执行以下命令:kubectl get clusters.fleet.cattle.io -n fleet-local将
Bundle的 名称空间 更改为指向fleet-local名称空间。# Example kind: Bundle apiVersion: fleet.cattle.io/v1alpha1 metadata: name: rke2-upgrade namespace: fleet-local ...
将 Bundle 资源应用到您的
management cluster:# For RKE2 kubectl apply -f rke2-plan-bundle.yaml # For K3s kubectl apply -f k3s-plan-bundle.yaml在
fleet-local命名空间下查看创建的 Bundle 资源:# For RKE2 kubectl get bundles rke2-upgrade -n fleet-local # For K3s kubectl get bundles k3s-upgrade -n fleet-local # Example output NAME BUNDLEDEPLOYMENTS-READY STATUS k3s-upgrade 0/0 rke2-upgrade 0/0
59.2.5.4.3 SUC 计划部署 - 第三方 GitOps 工作流 #
在某些情况下,用户可能希望将 Kubernetes upgrade SUC plans 集成到他们自己的第三方 GitOps 工作流中(例如 Flux)。
要获取所需的 K8s 升级资源,请首先确定您想要使用的 suse-edge/fleet-examples 储存库的 Edge release 标签。
之后,可以在以下位置找到这些资源:
针对 RKE2 集群升级:
针对
control-plane节点 -fleets/day2/system-upgrade-controller-plans/rke2-upgrade/plan-control-plane.yaml针对
worker节点 -fleets/day2/system-upgrade-controller-plans/rke2-upgrade/plan-worker.yaml
针对 K3s 集群升级:
针对
control-plane节点 -fleets/day2/system-upgrade-controller-plans/k3s-upgrade/plan-control-plane.yaml针对
worker节点 -fleets/day2/system-upgrade-controller-plans/k3s-upgrade/plan-worker.yaml
为了更好地了解如何使用您的 GitOps 工作流来部署用于 Kubernetes 版本升级的 SUC Plans,建议查看使用 Fleet 的更新流程的 概览 (第 59.2.5.2 节 “概述”)。
59.2.6 Helm chart 升级 #
本节包含以下部分:
第 59.2.6.1 节 “针对隔离环境的准备工作” - 包含有关如何将 Edge 相关的 OCI chart 和镜像传输到您的私有镜像仓库的信息。
第 59.2.6.2 节 “升级过程” - 包含有关不同 Helm chart 升级用例及其升级过程的信息。
59.2.6.1 针对隔离环境的准备工作 #
59.2.6.1.1 确保您可以访问您的 Helm chart Fleet #
根据您的环境支持情况,您可以选择以下选项之一:
将您的 chart Fleet 资源托管在您的
management cluster可访问的本地 Git 服务器上。使用 Fleet 的 CLI 将 Helm chart 转换为 Bundle,这样您就可以直接使用它,而无需将其托管在其他地方。可以从 Fleet 的 发布 页面获取其 CLI,对于 Mac 用户,有一个 fleet-cli Homebrew 公式。
59.2.6.1.2 查找 Edge 发布版本所需的资产 #
转到“Day 2”发布页面,找到您要将 chart 升级到的 Edge 版本,然后点击 资产。
从 “资产” 部分,下载以下文件:
发布文件
说明
edge-save-images.sh
拉取
edge-release-images.txt文件中指定的镜像,并将它们打包到 '.tar.gz' 归档文件中。edge-save-oci-artefacts.sh
拉取与特定 Edge 版本相关的 OCI chart 镜像,并将它们打包到 '.tar.gz' 归档文件中。
edge-load-images.sh
从 '.tar.gz' 归档文件中加载镜像,重新标记并将其推送到私有镜像仓库。
edge-load-oci-artefacts.sh
获取包含 Edge OCI '.tgz' chart 包的目录,并将它们加载到私有镜像仓库。
edge-release-helm-oci-artefacts.txt
包含与特定 Edge 版本相关的 OCI chart 镜像列表。
edge-release-images.txt
包含与特定 Edge 版本相关的镜像列表。
59.2.6.1.3 创建 Edge 版本镜像归档文件 #
在有互联网连接的机器上:
使
edge-save-images.sh成为一个可执行程序:chmod +x edge-save-images.sh生成镜像归档文件:
./edge-save-images.sh --source-registry registry.suse.com这将创建一个名为
edge-images.tar.gz的待加载归档文件。注意如果指定了
-i|--images选项,归档文件的名称可能会有所不同。将此归档文件复制到您的 隔离的 机器:
scp edge-images.tar.gz <user>@<machine_ip>:/path
59.2.6.1.4 创建 Edge OCI chart 镜像归档文件 #
在有互联网连接的机器上:
使
edge-save-oci-artefacts.sh成为一个可执行程序:chmod +x edge-save-oci-artefacts.sh生成 OCI chart 镜像归档文件:
./edge-save-oci-artefacts.sh --source-registry registry.suse.com这将创建一个名为
oci-artefacts.tar.gz的归档文件。注意如果指定了
-a|--archive选项,归档文件的名称可能会有所不同。将此归档文件复制到您的 隔离的 机器:
scp oci-artefacts.tar.gz <user>@<machine_ip>:/path
59.2.6.1.5 将 Edge 版本镜像加载到您的隔离的机器上 #
在您的隔离的机器上:
登录到您的私有镜像仓库(如果需要):
podman login <REGISTRY.YOURDOMAIN.COM:PORT>使
edge-load-images.sh成为一个可执行程序:chmod +x edge-load-images.sh执行脚本,传入之前 复制 的
edge-images.tar.gz归档文件:./edge-load-images.sh --source-registry registry.suse.com --registry <REGISTRY.YOURDOMAIN.COM:PORT> --images edge-images.tar.gz注意这将从
edge-images.tar.gz加载所有镜像,重新打标签并将其推送到--registry选项下指定的镜像仓库。
59.2.6.1.6 将 Edge OCI chart 镜像加载到您的隔离的机器上 #
在您的隔离的机器上:
登录到您的私有镜像仓库(如果需要):
podman login <REGISTRY.YOURDOMAIN.COM:PORT>使
edge-load-oci-artefacts.sh成为一个可执行程序:chmod +x edge-load-oci-artefacts.sh解包已复制的
oci-artefacts.tar.gz归档文件:tar -xvf oci-artefacts.tar.gz这将生成一个带有命名模板
edge-release-oci-tgz-<date>的目录将此目录传递给
edge-load-oci-artefacts.sh脚本,以将 Edge OCI chart 镜像加载到您的私有镜像仓库:./edge-load-oci-artefacts.sh --archive-directory edge-release-oci-tgz-<date> --registry <REGISTRY.YOURDOMAIN.COM:PORT> --source-registry registry.suse.com
59.2.6.1.7 在您的 Kubernetes 发行版中配置您的私有镜像仓库 #
对于 RKE2,请参阅 Private Registry Configuration
对于 K3s,请参阅 Private Registry Configuration
59.2.6.2 升级过程 #
本节重点介绍以下 Helm 升级过程用例:
手动部署的 Helm charts 无法可靠地升级。我们建议使用 第 59.2.6.2.1 节 “我有一个新集群,想要部署和管理 Edge Helm chart” 方法重新部署 Helm chart。
59.2.6.2.1 我有一个新集群,想要部署和管理 Edge Helm chart #
本节介绍如何:
59.2.6.2.1.1 为您的 chart 准备 fleet 资源 #
从您希望使用的 Edge release 标签中获取该 chart 的 Fleet 资源。
导航至 Helm chart fleet (
fleets/day2/chart-templates/<chart>)如果您打算使用 GitOps 工作流,请将 chart Fleet 目录复制到您将执行 GitOps 的 Git 储存库中。
可选,如果 Helm chart 需要对其 values 进行配置,请编辑已复制目录中
.helm.values文件内的fleet.yaml配置。可选,在某些用例中,您可能需要向 chart 的 fleet 添加额外资源,以便使其更好地适应您的环境。有关如何增强 Fleet 目录的信息,请参阅 Git Repository Contents。
在某些情况下,Fleet 用于 Helm 操作的默认超时时间可能不足,从而导致以下错误:
failed pre-install: context deadline exceeded在这种情况下,请在 fleet.yaml 文件的 helm 配置下添加 timeoutSeconds 属性。
*示例*的`longhorn` Helm chart 看起来如下:
用户 Git 储存库结构:
<user_repository_root> ├── longhorn │ └── fleet.yaml └── longhorn-crd └── fleet.yaml填充了用户
fleet.yaml数据的Longhorn内容:defaultNamespace: longhorn-system helm: # timeoutSeconds: 10 releaseName: "longhorn" chart: "longhorn" repo: "https://charts.rancher.io/" version: "1.12.1" takeOwnership: true # custom chart value overrides values: # Example for user provided custom values content defaultSettings: deletingConfirmationFlag: true # https://fleet.rancher.io/bundle-diffs diff: comparePatches: - apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition name: engineimages.longhorn.io operations: - {"op":"remove", "path":"/status/conditions"} - {"op":"remove", "path":"/status/storedVersions"} - {"op":"remove", "path":"/status/acceptedNames"} - apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition name: nodes.longhorn.io operations: - {"op":"remove", "path":"/status/conditions"} - {"op":"remove", "path":"/status/storedVersions"} - {"op":"remove", "path":"/status/acceptedNames"} - apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition name: volumes.longhorn.io operations: - {"op":"remove", "path":"/status/conditions"} - {"op":"remove", "path":"/status/storedVersions"} - {"op":"remove", "path":"/status/acceptedNames"}注意这些仅是用于说明
longhornchart 自定义配置的示例值。它们 *不*应被视为longhornchart 的部署指南。
59.2.6.2.1.2 为您的 chart 部署 Fleet #
您可以通过使用 GitRepo (第 59.2.6.2.1.2.1 节 “GitRepo”) 或 Bundle (第 59.2.6.2.1.2.2 节 “捆绑包”) 为您的 chart 部署 Fleet。
在部署 Fleet 时,如果您收到 Modified 消息,请确保在 Fleet 的 diff 部分中添加相应的 comparePatches 条目。有关更多信息,请参阅 生成忽略已修改 GitRepo 的差异。
59.2.6.2.1.2.1 GitRepo #
Fleet 的 GitRepo 资源包含有关如何访问您的 chart 的 Fleet 资源以及需要将这些资源应用到哪些集群的信息。
GitRepo 资源可以通过 Rancher UI 部署,也可以通过将资源 部署 到 management cluster 来手动部署。
用于 手动 部署的 Longhorn GitRepo 资源示例:
apiVersion: fleet.cattle.io/v1alpha1
kind: GitRepo
metadata:
name: longhorn-git-repo
namespace: fleet-local
spec:
# If using a tag
# revision: user_repository_tag
#
# If using a branch
# branch: user_repository_branch
paths:
# As seen in the 'Prepare your Fleet resources' example
- longhorn
- longhorn-crd
repo: user_repository_url59.2.6.2.1.2.2 捆绑包 #
Bundle 资源包含需要由 Fleet 部署的原始 Kubernetes 资源。通常建议使用 GitRepo 方法,但对于环境处于隔离状态且无法支持本地 Git 服务器的用例,Bundles 可以帮助您将 Helm chart Fleet 传播到目标集群。
Bundle 可以通过 Rancher UI (Continuous Delivery → Advanced → Bundles → Create from YAML) 部署,也可以通过在正确的 Fleet 名称空间中手动部署 Bundle 资源来部署。有关 Fleet 名称空间的信息,请参阅上游 文档。
可以通过利用 Fleet 的 将 Helm Chart 转换为 Bundle 方法来创建用于 Edge Helm chart 的 Bundles。
您可以在下方找到关于如何从 longhorn 和 longhorn-crd Helm chart fleet 模板创建 Bundle 资源,并将此 bundle 手动部署到您的 management cluster 的示例。
导航到 longhorn Chart fleet 模板:
cd fleets/day2/chart-templates/longhorn/longhorn创建一个
targets.yaml文件,用于指示 Fleet 应将 Helm chart 部署到哪些集群:cat > targets.yaml <<EOF targets: # Match your local (management) cluster - clusterName: local EOF注意在某些用例中,您的本地群集可能具有不同的名称。
要检索您的本地群集名称,请执行以下命令:
kubectl get clusters.fleet.cattle.io -n fleet-local使用 fleet-cli 将
LonghornHelm chart Fleet 转换为 Bundle 资源。fleet apply --compress --targets-file=targets.yaml -n fleet-local -o - longhorn-bundle > longhorn-bundle.yaml导航到 longhorn-crd Chart fleet 模板:
cd fleets/day2/chart-templates/longhorn/longhorn-crd创建一个
targets.yaml文件,用于指示 Fleet 应将 Helm chart 部署到哪些集群:cat > targets.yaml <<EOF targets: # Match your local (management) cluster - clusterName: local EOF使用 fleet-cli 将
Longhorn CRDHelm chart Fleet 转换为 Bundle 资源。fleet apply --compress --targets-file=targets.yaml -n fleet-local -o - longhorn-crd-bundle > longhorn-crd-bundle.yaml将
longhorn-bundle.yaml和longhorn-crd-bundle.yaml文件部署到您的management cluster:kubectl apply -f longhorn-crd-bundle.yaml kubectl apply -f longhorn-bundle.yaml
遵循这些步骤将确保 SUSE Storage 被部署到所有指定的 management 集群上。
59.2.6.2.1.3 管理已部署的 Helm chart #
使用 Fleet 部署后,有关 Helm chart 升级的信息,请参阅 第 59.2.6.2.2 节 “我想升级一个由 Fleet 管理的 Helm chart”。
59.2.6.2.2 我想升级一个由 Fleet 管理的 Helm chart #
确定您需要将 chart 升级到的版本,以便其与所需的 Edge 版本兼容。每个 Edge 版本的 Helm chart 版本可以在 发行说明 (第 78 章 “发行说明”) 中查看。
在您由 Fleet 监控的 Git 储存库中,使用 发行说明 (第 78 章 “发行说明”) 中的正确 chart 版本 和 储存库 编辑 Helm chart 的
fleet.yaml文件。提交并推送更改到您的储存库后,这将触发所需 Helm chart 的升级
59.2.6.2.3 我想升级一个通过 EIB 部署的 Helm chart #
第 12 章 “Edge Image Builder” 通过创建 HelmChart 资源并利用 RKE2/K3s Helm 集成功能引入的 helm-controller 来部署 Helm chart。
为确保通过 EIB 部署的 Helm chart 成功升级,用户需要对相应的 HelmChart 资源进行升级。
您可以在下方找到以下信息:
升级过程的常规概述 (第 59.2.6.2.3.1 节 “概述”)。
必要的升级步骤 (第 59.2.6.2.3.2 节 “升级步骤”)。
一个示例 (第 59.2.6.2.3.3 节 “示例”),展示了使用所解释的方法进行Longhorn chart 升级。
如何将升级过程与不同的 GitOps 工具 (第 59.2.6.2.3.4 节 “使用第三方 GitOps 工具进行 Helm chart 升级”)结合使用。
59.2.6.2.3.1 概述 #
通过`EIB`部署的 Helm charts 将通过一个名为eib-charts-upgrader的`fleet`进行升级。
此`fleet`处理*用户提供*的数据,以*更新*特定的一组 HelmChart 资源。
更新这些资源会触发helm-controller,它会*升级*与修改后的`HelmChart`资源相关联的 Helm charts。
用户仅需:
在本地拉取需要升级的每个 Helm chart 的归档文件。
将这些归档文件传递给generate-chart-upgrade-data.sh
generate-chart-upgrade-data.sh`脚本,该脚本会将这些归档文件中的数据包含到`eib-charts-upgraderfleet 中。将`eib-charts-upgrader` fleet 部署到其`management cluster`。这可以通过`GitRepo`或`Bundle`资源来完成。
部署完成后,`eib-charts-upgrader`将在 Fleet 的帮助下,将其资源发送到目标management集群。
这些资源包括:
一组`Secrets`,其中包含*用户提供*的 Helm chart 数据。
一个`Kubernetes Job`,它将部署一个`Pod`,该组件将挂载前面提到的`Secrets`,并据此对相应的 HelmChart 资源应用补丁。
如前所述,这将触发`helm-controller`,它将执行实际的 Helm chart 升级。
您可以在下方找到上述描述的图示:
59.2.6.2.3.2 升级步骤 #
从正确的发布标签克隆`suse-edge/fleet-examples`储存库。
创建一个目录,用于存储拉取的 Helm chart 归档文件。
mkdir archives在新建的归档目录中,拉取您希望升级的 Helm chart 的归档文件:
cd archives helm pull [chart URL | repo/chartname] # Alternatively if you want to pull a specific version: # helm pull [chart URL | repo/chartname] --version 0.0.0从所需 发布标签 的 资产 中,下载
generate-chart-upgrade-data.sh脚本。执行
generate-chart-upgrade-data.sh脚本:chmod +x ./generate-chart-upgrade-data.sh ./generate-chart-upgrade-data.sh --archive-dir /foo/bar/archives/ --fleet-path /foo/bar/fleet-examples/fleets/day2/eib-charts-upgrader对于
--archive-dir目录中的每个 chart 归档文件,该脚本都会生成一个包含 chart 升级数据的Kubernetes Secret YAML文件,并将其存储在由--fleet-path指定的 fleet 的base/secrets目录中。generate-chart-upgrade-data.sh脚本还会对 fleet 进行额外的修改,以确保生成的Kubernetes Secret YAML文件能被 fleet 部署的工作负载正确使用。重要用户不应在
generate-chart-upgrade-data.sh脚本生成的内容之上进行任何更改。
以下步骤取决于您运行的环境:
对于支持 GitOps 的环境(例如:非隔离的,或隔离的但允许本地 Git 服务器支持):
将
fleets/day2/eib-charts-upgraderFleet 复制到您将用于 GitOps 的储存库中。注意确保 Fleet 包含由
generate-chart-upgrade-data.sh脚本所做的更改。配置一个
GitRepo资源,该资源将用于交付eib-charts-upgraderFleet 的所有资源。有关通过 Rancher UI 进行
GitRepo配置和部署的信息,请参阅 在 Rancher UI 中访问 Fleet。有关
GitRepo手动配置和部署的信息,请参阅 创建部署。
对于不支持 GitOps 的环境(例如:为隔离的且不允许使用本地 Git 服务器):
从
fleet-clirancher/fleet发布 页面下载 二进制文件(fleet-linux-amd64适用于 Linux)。对于 Mac 用户,可以使用 Homebrew 配方 - fleet-cli。导航至
eib-charts-upgraderFleet:cd /foo/bar/fleet-examples/fleets/day2/eib-charts-upgrader创建一个
targets.yaml文件,用于指示 Fleet 在何处部署您的资源:cat > targets.yaml <<EOF targets: # To map the local(management) cluster - clusterName: local EOF注意在某些适用场景中,您的
local集群可能具有不同的名称。要检索您的
local集群名称,请执行以下命令:kubectl get clusters.fleet.cattle.io -n fleet-local使用
fleet-cli将 Fleet 转换为Bundle资源:fleet apply --compress --targets-file=targets.yaml -n fleet-local -o - eib-charts-upgrade > bundle.yaml这将创建一个 Bundle (
bundle.yaml),其中将包含来自eib-charts-upgraderFleet 的所有模板化资源。有关
fleet apply命令的更多信息,请参阅 fleet apply。有关将 Fleet 转换为 Bundle 的更多信息,请参阅 将 Helm Chart 转换为 Bundle。
部署
Bundle。可以通过以下两种方式之一完成此操作:通过 Rancher UI - 导航到 持续交付 → 高级 → Bundles → 从 YAML 创建,然后粘贴
bundle.yaml内容,或者点击Read from File选项并传入文件本身。手动 - 在您的
management cluster中手动部署bundle.yaml文件。
执行这些步骤将成功部署 GitRepo/Bundle 资源。该资源将被 Fleet 获取,其内容将部署到用户在先前步骤中指定的目标集群上。有关该过程的概述,请参阅 第 59.2.6.2.3.1 节 “概述”。
有关如何跟踪升级过程的信息,您可以参阅 第 59.2.6.2.3.3 节 “示例”。
一旦成功验证了 Chart 升级,请删除 Bundle/GitRepo 资源。
这将从您的 management 集群中删除不再需要的升级资源,以确保不会发生未来的版本冲突。
59.2.6.2.3.3 示例 #
下面的示例演示了如何在 management 集群上将通过 EIB 部署的 Helm Chart 从一个版本升级到另一个版本。请注意,此示例中使用的版本 不是 建议版本。有关特定于 Edge 版本的版本建议,请参阅 发行说明 (第 78 章 “发行说明”)。
适用场景:
一个
management集群正在运行 Longhorn 的旧版本。该集群已通过 EIB 部署,使用了以下镜像定义 snippet:
kubernetes: helm: charts: - name: longhorn-crd repositoryName: rancher-charts targetNamespace: longhorn-system createNamespace: true version: 104.2.0+up1.7.1 installationNamespace: kube-system - name: longhorn repositoryName: rancher-charts targetNamespace: longhorn-system createNamespace: true version: 104.2.0+up1.7.1 installationNamespace: kube-system repositories: - name: rancher-charts url: https://charts.rancher.io/ ...SUSE Storage需要升级到与 Edge 3.7 版本兼容的版本。这意味着它需要升级到1.12.1。假设
management cluster是 隔离的,不支持本地 Git 服务器,并且拥有正常运行的 Rancher 设置。
遵循 升级步骤 (第 59.2.6.2.3.2 节 “升级步骤”):
从
release-3.7.0标签克隆suse-edge/fleet-example储存库。git clone -b release-3.7.0 https://github.com/suse-edge/fleet-examples.git创建一个目录,用于存储
Longhorn升级归档文件。mkdir archives拉取所需的
Longhornchart 归档版本:# First add the Rancher Helm chart repository helm repo add rancher-charts https://charts.rancher.io/ # Pull the Longhorn 1.12.1 chart archive helm pull oci://dp.apps.rancher.io/charts/suse-storage --version 1.12.1在
archives目录之外,从suse-edge/fleet-examples版本 tag 下载generate-chart-upgrade-data.sh脚本。目录设置应如下所示:
. ├── archives │ └── longhorn-1.12.1.tgz ├── fleet-examples ... │ ├── fleets │ │ ├── day2 | | | ├── ... │ │ │ ├── eib-charts-upgrader │ │ │ │ ├── base │ │ │ │ │ ├── job.yaml │ │ │ │ │ ├── kustomization.yaml │ │ │ │ │ ├── patches │ │ │ │ │ │ └── job-patch.yaml │ │ │ │ │ ├── rbac │ │ │ │ │ │ ├── cluster-role-binding.yaml │ │ │ │ │ │ ├── cluster-role.yaml │ │ │ │ │ │ ├── kustomization.yaml │ │ │ │ │ │ └── sa.yaml │ │ │ │ │ └── secrets │ │ │ │ │ ├── eib-charts-upgrader-script.yaml │ │ │ │ │ └── kustomization.yaml │ │ │ │ ├── fleet.yaml │ │ │ │ └── kustomization.yaml │ │ │ └── ... │ └── ... └── generate-chart-upgrade-data.sh执行
generate-chart-upgrade-data.sh脚本:# First make the script executable chmod +x ./generate-chart-upgrade-data.sh # Then execute the script ./generate-chart-upgrade-data.sh --archive-dir ./archives --fleet-path ./fleet-examples/fleets/day2/eib-charts-upgrader脚本执行后的目录结构应如下所示:
. ├── archives │ └── longhorn-1.12.1.tgz ├── fleet-examples ... │ ├── fleets │ │ ├── day2 │ │ │ ├── ... │ │ │ ├── eib-charts-upgrader │ │ │ │ ├── base │ │ │ │ │ ├── job.yaml │ │ │ │ │ ├── kustomization.yaml │ │ │ │ │ ├── patches │ │ │ │ │ │ └── job-patch.yaml │ │ │ │ │ ├── rbac │ │ │ │ │ │ ├── cluster-role-binding.yaml │ │ │ │ │ │ ├── cluster-role.yaml │ │ │ │ │ │ ├── kustomization.yaml │ │ │ │ │ │ └── sa.yaml │ │ │ │ │ └── secrets │ │ │ │ │ ├── eib-charts-upgrader-script.yaml │ │ │ │ │ ├── kustomization.yaml │ │ │ │ │ ├── longhorn-VERSION.yaml - secret created by the generate-chart-upgrade-data.sh script │ │ │ │ │ └── longhorn-crd-VERSION.yaml - secret created by the generate-chart-upgrade-data.sh script │ │ │ │ ├── fleet.yaml │ │ │ │ └── kustomization.yaml │ │ │ └── ... │ └── ... └── generate-chart-upgrade-data.shgit 中更改的文件应如下所示:
Changes not staged for commit: (use "git add <file>..." to update what will be committed) (use "git restore <file>..." to discard changes in working directory) modified: fleets/day2/eib-charts-upgrader/base/patches/job-patch.yaml modified: fleets/day2/eib-charts-upgrader/base/secrets/kustomization.yaml Untracked files: (use "git add <file>..." to include in what will be committed) fleets/day2/eib-charts-upgrader/base/secrets/longhorn-VERSION.yaml fleets/day2/eib-charts-upgrader/base/secrets/longhorn-crd-VERSION.yaml为
eib-charts-upgraderFleet 创建一个Bundle:首先,导航到 Fleet 本身:
cd ./fleet-examples/fleets/day2/eib-charts-upgrader然后创建一个
targets.yaml文件:cat > targets.yaml <<EOF targets: - clusterName: local EOF然后使用
fleet-cli二进制文件将 Fleet 转换为 Bundle:fleet apply --compress --targets-file=targets.yaml -n fleet-local -o - eib-charts-upgrade > bundle.yaml
通过 Rancher UI 部署 Bundle:
图 59.1︰ 通过 Rancher UI 部署 Bundle #在此处,选择 从文件读取 并在您的系统上找到
bundle.yaml文件。这将自动填充 Rancher UI 中的
Bundle。选择 创建。
部署成功后,您的 Bundle 应如下所示:
图 59.2︰ Bundle 部署成功 #
Bundle 成功部署后,要监控升级过程:
验证
Upgrade Pod的日志:现在,验证由 helm-controller 为升级创建的 Pod 的日志:
Pod 名称将遵循以下模板 -
helm-install-longhorn-<random-suffix>Pod 将位于部署了
HelmChart资源的名称空间中。在我们的案例中,这是kube-system。图 59.3︰ 成功升级 Longhorn chart 的日志 #
通过导航到 Rancher 的
HelmCharts部分 (More Resources → HelmCharts),验证HelmChart版本是否已更新。选择部署 chart 的名称空间,在此示例中为kube-system。最后,检查 Longhorn Pod 是否正在运行。
完成上述验证后,可以确信 Longhorn Helm chart 已升级到 1.12.1 版本。
59.2.6.2.3.4 使用第三方 GitOps 工具进行 Helm chart 升级 #
在某些用例中,用户可能希望将此升级过程与 Fleet 以外的 GitOps 工作流(例如 Flux)结合使用。
为生成升级过程所需的资源,您可以使用 generate-chart-upgrade-data.sh 脚本将用户提供的数据填充到 eib-charts-upgrader Fleet 中。有关如何操作的详细信息,请参见 第 59.2.6.2.3.2 节 “升级步骤”。
完成完整设置后,您可以使用 kustomize 生成一个可在集群中部署的完整工作解决方案:
cd /foo/bar/fleets/day2/eib-charts-upgrader
kustomize build .如果您希望将该解决方案包含在 GitOps 工作流中,可以去除 fleet.yaml 文件,并将剩余部分用作有效的 Kustomize 设置。请务必先运行 generate-chart-upgrade-data.sh 脚本,以便其使用您希望升级到的 Helm chart 所需的数据来填充 Kustomize 设置。
要了解此工作流的预期用途,查看 第 59.2.6.2.3.1 节 “概述” 和 第 59.2.6.2.3.2 节 “升级步骤” 会有所帮助。
60 生命周期操作 #
本节涵盖了通过 SUSE Telco Cloud 部署的集群的生命周期管理操作。
60.1 负载均衡器排除 #
有许多生命周期操作需要对节点进行排空。在排空过程中,所有 Pod 都将被移动到集群中的其他节点。排空过程完成后,该节点不再承载任何服务,因此不应有任何流量路由到该节点。可以通过为节点应用标签,使 MetalLB 等负载均衡器感知到这一点:
node.kubernetes.io/exclude-from-external-load-balancers: "true"有关更多详细信息,请参阅: Kubernetes 文档。
要查看集群中所有节点的标签,您可以运行:
kubectl get nodes -o json | jq -r '.items[].metadata | .name, .labels'对于下游集群的升级,可以通过在管理集群上对 RKE2ControlPlane 添加注释来实现自动化:
rke2.controlplane.cluster.x-k8s.io/load-balancer-exclusion="true"这会立即在管理集群上为该 RKE2ControlPlane 的所有机器对象创建注释。
pre-drain.delete.hook.machine.cluster.x-k8s.io/rke2-lb-exclusion: ""有了机器对象上的此注释,下游集群中任何计划进行排空的节点都会在排空过程开始前附加上述节点标签。一旦节点再次可用并就绪,该标签将从节点中移除。
60.2 管理集群升级 #
管理集群的升级在 Day 2 管理集群 (第 59 章 “管理群集”) 文档中有相关描述。
60.3 下游集群升级 #
升级下游集群涉及更新多个组件。以下章节涵盖了每个组件的升级过程。
升级操作系统
对于此过程,请查看以下 参考 (第 50 章 “为连接场景准备下游集群镜像”) 以使用新的操作系统版本构建新镜像。
使用由 EIB 生成的新镜像,下一个配置阶段将使用所提供的新操作系统版本。
在接下来的步骤中,新镜像将用于升级节点。
升级 RKE2 集群
使用自动化工作流升级 RKE2 集群所需的更改如下:
更改以下 部分 (第 52 章 “使用定向网络配置(单节点)进行下游集群配置”) 中显示的
capi-provisioning-example.yaml中的块RKE2ControlPlane:指定所需的
rolloutStrategy请注意,在至少包含 3 个控制平面节点的
RKE2多节点集群中,将RKE2ControlPlane.spec.rolloutStrategy.type字段设置为"RollingUpdate"并将rolloutStrategy.rollingUpdate.maxSurge设置为0,可确保在相关Metal3MachineTemplate.spec.nodeReuse也设置为True时,升级期间不会创建或需要额外的节点(如下所述)。
将
RKE2集群的版本更改为替换${RKE2_NEW_VERSION}的新版本。
apiVersion: controlplane.cluster.x-k8s.io/v1beta2
kind: RKE2ControlPlane
metadata:
name: multinode-cluster
namespace: default
spec:
infrastructureRef:
apiGroup: infrastructure.cluster.x-k8s.io
kind: Metal3MachineTemplate
name: multinode-cluster-controlplane
version: ${RKE2_NEW_VERSION}
replicas: 3
rolloutStrategy:
type: "RollingUpdate"
rollingUpdate:
maxSurge: 0
serverConfig:
cni: cilium
tlsSan:
- ${EDGE_VIP_ADDRESS_IPV4}
- ${EDGE_VIP_ADDRESS_IPV6}
- https://${EDGE_VIP_ADDRESS_IPV4}.sslip.io
- https://${EDGE_VIP_ADDRESS_IPV6}.sslip.io
rolloutStrategy:
rollingUpdate:
maxSurge: 0
registrationMethod: "control-plane-endpoint"
registrationAddress: ${EDGE_VIP_ADDRESS}
agentConfig:
format: ignition
additionalUserData:
config: |
variant: fcos
version: 1.4.0
systemd:
units:
- name: rke2-preinstall.service
enabled: true
contents: |
[Unit]
Description=rke2-preinstall
Wants=network-online.target
Before=rke2-install.service
ConditionPathExists=!/run/cluster-api/bootstrap-success.complete
[Service]
Type=oneshot
User=root
ExecStartPre=/bin/sh -c "mount -L config-2 /mnt"
# Note we use _ as a delimiter for sed here because the providerid includes / characters
ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml"
ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml"
ExecStartPost=/bin/sh -c "umount /mnt"
[Install]
WantedBy=multi-user.target
storage:
directories:
- path: /var/lib/rancher/rke2/server/manifests
overwrite: true
files:
- path: /var/lib/rancher/rke2/server/manifests/endpoint-copier-operator.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: endpoint-copier-operator
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/endpoint-copier-operator
targetNamespace: endpoint-copier-operator
version: {version-endpoint-copier-operator-chart}
createNamespace: true
- path: /var/lib/rancher/rke2/server/manifests/metallb.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
name: metallb
namespace: kube-system
spec:
chart: oci://registry.suse.com/edge/charts/metallb
targetNamespace: metallb-system
version: {version-metallb-chart}
createNamespace: true
- path: /var/lib/rancher/rke2/server/manifests/metallb-cr.yaml
overwrite: true
contents:
inline: |
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: kubernetes-vip-ip-pool
namespace: metallb-system
spec:
addresses:
- ${EDGE_VIP_ADDRESS_IPV4}/32
- ${EDGE_VIP_ADDRESS_IPV6}/128
serviceAllocation:
priority: 100
namespaces:
- default
serviceSelectors:
- matchExpressions:
- {key: "serviceType", operator: In, values: [kubernetes-vip]}
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: ip-pool-l2-adv
namespace: metallb-system
spec:
ipAddressPools:
- kubernetes-vip-ip-pool
- path: /var/lib/rancher/rke2/server/manifests/endpoint-svc.yaml
overwrite: true
contents:
inline: |
apiVersion: v1
kind: Service
metadata:
name: kubernetes-vip
namespace: default
labels:
serviceType: kubernetes-vip
spec:
ipFamilyPolicy: PreferDualStack
ports:
- name: rke2-api
port: 9345
protocol: TCP
targetPort: 9345
- name: k8s-api
port: 6443
protocol: TCP
targetPort: 6443
type: LoadBalancer
###############################################################################
# In case of deploying the RKE2 ingress controller, the following 2 files must
# be added.
# NOTE: The .providers stanza can be removed from the Helm parameters settings
# here below in case of not deploying/not planning to deploy Ingress
# objects including ingress-nginx annotations in its `.metadata` stanza.
###############################################################################
- path: /var/lib/rancher/rke2/server/manifests/rke2-traefik-config.yaml
overwrite: true
contents:
inline: |
apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
name: rke2-traefik
namespace: kube-system
spec:
valuesContent: |-
ingressClass:
isDefaultClass: false
ports:
web:
hostPort: null # disallow hostPort
exposedPort: 80
websecure:
hostPort: null # disallow hostPort
exposedPort: 443
service:
enabled: true
spec:
type: LoadBalancer
ipFamilyPolicy: PreferDualStack
externalTrafficPolicy: Local
allocateLoadBalancerNodePorts: false
providers:
kubernetesIngressNGINX: # this provider allows Traefik to "understand" most of the Ingress-NGINX annotations
enabled: true
ingressClass: "rke2-ingress-nginx-migration"
controllerClass: "rke2.cattle.io/ingress-nginx-migration"
mode: 0644
user:
name: root
group:
name: root
- path: /var/lib/rancher/rke2/server/manifests/metallb-traefik-cr.yaml
overwrite: true
contents:
inline: |
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: ingress-ippool
namespace: metallb-system
spec:
addresses:
- ${INGRESS_IPV4}/32
- ${INGRESS_IPV6}/128
serviceAllocation:
priority: 100
serviceSelectors:
- matchExpressions:
- {key: app.kubernetes.io/name, operator: In, values: [rke2-traefik]} # assign to rke2-traefik LB svc
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: ingress-l2-adv
namespace: metallb-system
spec:
ipAddressPools:
- ingress-ippool
mode: 0644
user:
name: root
group:
name: root
kubelet:
extraArgs:
- provider-id=metal3://PROVIDERID
nodeName: "localhost.localdomain"更改以下 部分 (第 52 章 “使用定向网络配置(单节点)进行下游集群配置”) 中显示的
capi-provisioning-example.yaml中的块Metal3MachineTemplate:将镜像名称和校验和更改为上一步中生成的新版本。
将指令
nodeReuse添加到true以避免创建新节点。将指令
automatedCleaningMode添加到metadata以启用节点的自动清理功能。
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3MachineTemplate
metadata:
name: multinode-cluster-controlplane
namespace: default
spec:
nodeReuse: True
template:
spec:
automatedCleaningMode: metadata
dataTemplate:
name: multinode-cluster-controlplane-template
hostSelector:
matchLabels:
cluster-role: control-plane
image:
checksum: http://imagecache.local:8080/${NEW_IMAGE_GENERATED}.sha256
checksumType: sha256
diskFormat: raw
url: http://imagecache.local:8080/${NEW_IMAGE_GENERATED}.raw在应用 capi-provisioning-example.yaml 文件之前,最好先通知外部负载均衡器(例如 MetalLB)有关节点正在被排空的信息,以便它们不会将流量路由到处于此状态的节点。正如 第 60.1 节 “负载均衡器排除” 部分所提到的,您可以通过在管理集群上标注 RKE2ControlPlane 来实现自动化。在此示例中,名为 multinode-cluster 的 RKE2ControlPlane 对象被注释:
kubectl annotate RKE2ControlPlane/multinode-cluster rke2.controlplane.cluster.x-k8s.io/load-balancer-exclusion="true"验证机器对象是否已被注释:
pre-drain.delete.hook.machine.cluster.x-k8s.io/rke2-lb-exclusion: ""获取所有机器对象的注释:
kubectl get machines -o json | jq -r '.items[].metadata | .name, .annotations'如果没有这些注释,用户可能会遇到服务响应时间变长的情况,因为负载均衡器无法感知已排空的节点。
进行这些更改后,可以使用以下命令将 capi-provisioning-example.yaml 文件应用到集群:
kubectl apply -f capi-provisioning-example.yaml60.4 Longhorn Engine 镜像清理 #
本节介绍了如何实现自动清理集群升级后积累的过时的 Longhorn Engine 镜像。
60.4.1 问题描述 #
Longhorn 不会在升级后自动删除旧的 Longhorn Engine 镜像。这是一个刻意的设计决策,旨在防止意外的数据丢失——Longhorn 保留了之前的 Longhorn Engine 镜像版本,作为需要回滚时的安全措施。
然而,在频繁升级的生产环境中,这些未使用的引擎镜像会随时间推移而积累,导致:
存储消耗:每个引擎镜像都会占用集群节点上的磁盘空间
资源开销:Kubernetes 不必要地管理了额外的镜像资源
运维复杂性:需要手动识别并清理过时的镜像
60.4.2 何时实施清理 #
建议在以下场景中进行引擎镜像清理:
定期集群升级:频繁进行 Longhorn 版本升级的环境
存储受限的部署:节点存储容量有限的集群
运维规范:作为日常运维流程的一部分
此清理过程被归类为 低风险,因为它仅删除零活动引用的引擎镜像 (refCount == 0)。当前卷正在使用的镜像受到保护,不会被删除。
60.4.3 解决方案架构 #
清理解决方案使用执行定期维护任务的 Kubernetes CronJob:
发现:识别集群中部署的最新 Longhorn Engine 镜像版本
候选选择:定位所有没有活动卷引用的旧的 Longhorn Engine 镜像版本
清理执行:删除符合安全标准的过时的 Longhorn Engine 镜像
Audit 日志记录:记录清理操作以实现运维可见性
该实现需要:
ServiceAccount:用于向 Kubernetes API 进行身份验证
RBAC 权限:对
engineimages.longhorn.io资源的读取和删除访问权限CronJob:带有清理逻辑的定时执行容器
60.4.4 实现 #
完整的清理解决方案由部署到 longhorn-system 名称空间的四个 Kubernetes 清单组成。
创建 ServiceAccount
为清理 CronJob 创建一个专用的 ServiceAccount:
apiVersion: v1 kind: ServiceAccount metadata: name: longhorn-engineimage-cleanup namespace: longhorn-system labels: app: longhorn-engineimage-cleanup配置 RBAC 权限
定义一个具有所需最小权限的 Role:
apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: longhorn-engineimage-cleanup namespace: longhorn-system labels: app: longhorn-engineimage-cleanup rules: - apiGroups: [longhorn.io] resources: [engineimages] verbs: [get, list, delete]将 Role 绑定到 ServiceAccount:
apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: longhorn-engineimage-cleanup namespace: longhorn-system labels: app: longhorn-engineimage-cleanup subjects: - kind: ServiceAccount name: longhorn-engineimage-cleanup namespace: longhorn-system roleRef: kind: Role name: longhorn-engineimage-cleanup apiGroup: rbac.authorization.k8s.io
部署清理 CronJob
部署自动清理 CronJob:
apiVersion: batch/v1 kind: CronJob metadata: name: longhorn-engineimage-cleanup namespace: longhorn-system labels: app: longhorn-engineimage-cleanup annotations: description: "Cleanup old Longhorn engine images left over after upgrades" source: "SUSE Edge Telco Cloud - Day 2 Operations" spec: # Execute weekly on Sunday at 2:00 AM UTC schedule: "0 2 * * 0" successfulJobsHistoryLimit: 3 failedJobsHistoryLimit: 3 concurrencyPolicy: Forbid jobTemplate: spec: backoffLimit: 2 activeDeadlineSeconds: 600 template: metadata: labels: app: longhorn-engineimage-cleanup spec: serviceAccountName: longhorn-engineimage-cleanup restartPolicy: Never automountServiceAccountToken: true containers: - name: cleanup image: registry.suse.com/bci/bci-base:15.6 command: - sh - -c - | set -e # Install required tools zypper --non-interactive install curl jq # Install kubectl from official Kubernetes curl -LO "https://dl.k8s.io/release/v1.36.3/bin/linux/amd64/kubectl" chmod +x kubectl mv kubectl /usr/local/bin/ echo "=== Longhorn Engine Image Cleanup ===" echo "Automated maintenance - Day 2 Operations" echo "" echo "Step 1: Discovering latest engine image version..." ENGINE_IMAGES=$(kubectl get engineimages.longhorn.io -n longhorn-system -o json) LATEST_VERSION=$(echo "$ENGINE_IMAGES" | jq -r ' .items[] | select(.status.version != null) | .status.version' | sed 's/^v//' | sort -V | tail -1) if [ -z "$LATEST_VERSION" ]; then echo "No engine images found. Nothing to cleanup." exit 0 fi echo "Latest version detected: v${LATEST_VERSION}" echo "" echo "Step 2: Identifying obsolete engine images..." TO_DELETE=$(echo "$ENGINE_IMAGES" | jq -r --arg latest "v${LATEST_VERSION}" ' .items[] | select(.status.version != $latest) | select(.status.refCount == 0) | .metadata.name') if [ -z "$TO_DELETE" ]; then echo "No obsolete engine images found" echo "All engine images are either:" echo " - Latest version (v${LATEST_VERSION})" echo " - Still in use (refCount > 0)" exit 0 fi DELETE_COUNT=$(echo "$TO_DELETE" | wc -l | tr -d ' ') echo "Found $DELETE_COUNT obsolete engine image(s) for deletion:" echo "$TO_DELETE" echo "" COUNT=0 FAILED=0 for IMAGE_NAME in $TO_DELETE; do VERSION=$(echo "$ENGINE_IMAGES" | jq -r --arg name "$IMAGE_NAME" \ '.items[] | select(.metadata.name == $name) | .status.version') REFCOUNT=$(echo "$ENGINE_IMAGES" | jq -r --arg name "$IMAGE_NAME" \ '.items[] | select(.metadata.name == $name) | .status.refCount') echo "Deleting: $IMAGE_NAME (version: $VERSION, refCount: $REFCOUNT)" if kubectl delete engineimages.longhorn.io "$IMAGE_NAME" -n longhorn-system; then COUNT=$((COUNT + 1)) echo " ✓ Deleted successfully" else FAILED=$((FAILED + 1)) echo " ✗ Failed to delete" fi done echo "" echo "=== Cleanup Summary ===" echo "Latest version: v${LATEST_VERSION}" echo "Successfully deleted: $COUNT obsolete engine images" echo "Failed deletions: $FAILED engine images" if [ $FAILED -gt 0 ]; then exit 1 fi echo "" echo "Cleanup completed successfully"应用配置
将所有四个清单保存到单个文件(例如
longhorn-engine-cleanup.yaml)中,然后将其部署到集群:kubectl apply -f longhorn-engine-cleanup.yaml验证 CronJob 是否已创建:
kubectl get cronjob -n longhorn-system longhorn-engineimage-cleanup预期输出:
NAME SCHEDULE SUSPEND ACTIVE LAST SCHEDULE AGE longhorn-engineimage-cleanup 0 2 * * 0 False 0 <none> 5s
60.4.5 操作流程 #
本节介绍了管理 Longhorn Engine 镜像清理 CronJob 的日常操作任务,包括手动执行、计划自定义、监控和验证。
60.4.5.1 手动执行 #
若要立即执行清理而不等待预定时间,请运行以下命令:
kubectl create job --from=cronjob/longhorn-engineimage-cleanup \
longhorn-engineimage-cleanup-manual-$(date +%Y%m%d-%H%M%S) \
-n longhorn-system监控手动执行:
查看作业状态:
kubectl get jobs -n longhorn-system -w查看作业日志:
kubectl logs -n longhorn-system -l app=longhorn-engineimage-cleanup --tail=100
60.4.5.2 调度配置 #
默认计划于每周日协调世界时 (UTC) 上午 2:00 执行清理:
schedule: "0 2 * * 0"常见的计划替代方案:
每天凌晨 3:00:
"0 3 * * *"每月 1 日凌晨 4:00:
"0 4 1 * *"每 6 小时:
"0 */6 * * *"
修改调度:
kubectl patch cronjob longhorn-engineimage-cleanup \
-n longhorn-system \
--type='merge' \
-p '{"spec":{"schedule":"0 3 * * *"}}'60.4.5.3 监控和日志 #
查看清理历史记录:
列出已完成的作业:
kubectl get jobs -n longhorn-system -l app=longhorn-engineimage-cleanup查看上次成功运行的日志:
kubectl logs -n longhorn-system \ -l app=longhorn-engineimage-cleanup \ --tail=200 \ | grep -A 50 "Cleanup Summary"
检查特定作业执行情况:
# Get job name
JOB_NAME=$(kubectl get jobs -n longhorn-system \
-l app=longhorn-engineimage-cleanup \
--sort-by=.metadata.creationTimestamp \
-o jsonpath='{.items[-1].metadata.name}')
# View job details
kubectl describe job $JOB_NAME -n longhorn-system
# View job logs
kubectl logs job/$JOB_NAME -n longhorn-system60.4.5.4 校验 #
清理执行后,请验证是否仅保留了当前的引擎镜像:
列出所有 Longhorn Engine 镜像:
kubectl get engineimages.longhorn.io -n longhorn-system检查引用计数:
kubectl get engineimages.longhorn.io -n longhorn-system \ -o custom-columns=NAME:.metadata.name,VERSION:.status.version,REFCOUNT:.status.refCount
预期输出仅显示带有活动引用的最新版本:
NAME VERSION REFCOUNT
ei-acba2c08 v1.12.1 3第 IX 部分 操作指南 #
How-to 指南和最佳实践
- 61 K3s 上的 MetalLB(使用层 2 模式)
MetalLB 是一种用于裸机 Kubernetes 集群的负载平衡器实现,它使用标准路由协议。
- 62 K3s 上的 MetalLB(使用层 3 模式)
MetalLB 是一个用于裸机 Kubernetes 集群的负载均衡器实现,它使用标准路由协议。
- 63 Kubernetes API 服务器前的 MetalLB
本指南演示了如何使用 MetalLB 服务在具有三个控制平面节点的高可用集群上向外部暴露 RKE2/K3s API。 为实现此目的,将手动创建一个 LoadBalancer 类型的 Kubernetes 服务。然后将自动创建一个 EndpointSlices 对象,该对象使集群中所有控制平面节点的 IP 保持可用。 为了使 EndpointSlices 与集群中发生的事件(添加/删除节点或节点离线)持续同步,将部署 Endpoint Copier Operator (第 18 章 “端点复制器操作员”)。该 Operator 会监控默认 kubernetes EndpointSlices 中发…
- 64 使用 Edge Image Builder 进行隔离的部署
本指南将展示如何利用 Edge Image Builder(EIB) (第 12 章 “Edge Image Builder”) 在 SUSE Linux Micro 6.2 上完全隔离地部署 SUSE Telco Cloud 的多个组件。通过此操作,您将能够引导至由 EIB 创建的定制化、可启动 (CRB) 镜像,并在没有互联网连接且无需任何手动操作的情况下,在 RKE2 或 K3s 集群上部署指定的组件。对于希望将部署所需的所有工件预先构建到其操作系统镜像中,以便在引导时立即可用的客户,此配置非常理想。
- 65 使用 Kiwi 构建更新的 SUSE Linux Micro 镜像
本节介绍了如何生成更新的 SUSE Linux Micro 镜像,以供 Edge Image Builder、Cluster API (CAPI) + Metal3 使用,或直接将磁盘镜像写入块设备。此过程在以下情况下非常有用:需要在初始系统引导镜像中包含最新补丁(以最大限度地减少安装后的补丁传输),或者在使用 CAPI 的场景中,首选使用新镜像重新安装操作系统,而不是就地升级主机。
- 66 SUSE Storage V2 Data Engine
SUSE Storage 1.12.1 将 Longhorn V2 Data Engine 作为正式发布功能包含在内。 从 SUSE Telco Cloud 3.7 版本开始,当集群满足 V2 先决条件时,建议对新配置的卷使用 V2 Data Engine。
- 67 使用 ClusterClass 部署下游集群
部署 Kubernetes 集群是一项复杂的任务,需要深厚的配置集群组件的专业知识。随着配置变得越来越复杂,或者不同提供程序的需求引入了大量特定于提供程序的资源定义,集群创建可能会让人望而生畏。 值得庆幸的是,Kubernetes 集群 API (CAPI) 提供了一种更优雅的声明式方法,并通过 ClusterClass 得到了进一步增强。 此功能引入了模板驱动的模型,允许您定义一个可重用的集群类,该类封装了复杂性并促进了一致性。
- 68 Longhorn Volume 加密
Longhorn 是一个用于 Kubernetes 的分布式块存储系统,提供具有复制和高可用性功能的持久化存储。本指南演示了如何配置带有 LUKS/AES-256 加密的 Longhorn,以确保数据在静止状态下得到保护。
61 K3s 上的 MetalLB(使用层 2 模式) #
MetalLB 是一种用于裸机 Kubernetes 集群的负载平衡器实现,它使用标准路由协议。
在本指南中,我们将演示如何以层 2 (L2) 模式部署 MetalLB。
61.1 为什么要使用 MetalLB #
MetalLB 是裸机 Kubernetes 集群中负载平衡的理想选择,原因如下:
与 Kubernetes 的原生集成:MetalLB 与 Kubernetes 无缝集成,使用熟悉的 Kubernetes 工具和实践即可轻松部署和管理。
裸机兼容性:与基于云的负载平衡器不同,MetalLB 专为本地部署而设计,在这些环境中,传统的负载平衡器可能无法使用或不可行。
支持多个协议:MetalLB 支持层 2 和 BGP(边界网关协议)模式,为不同的网络架构和需求提供了灵活性。
高可用性:通过在多个节点之间分配负载平衡职责,MetalLB 可确保服务的高可用性和可靠性。
可伸缩性:MetalLB 可以处理大规模部署,并随着 Kubernetes 集群的伸缩而伸缩,以满足不断增长的需求。
在层 2 模式下,一个节点负责向本地网络通告服务。从网络的角度来看,这看起来就像该机器的网络接口分配了多个IP地址。
层 2 模式的主要优势在于其通用性:它适用于任何以太网,无需特殊硬件,甚至不需要高级路由器。
61.2 K3s 上的 MetalLB(使用层 2) #
在本快速入门中,将使用层 2 模式。 这意味着我们不需要任何特殊的网络设备,只需要网络范围内三个空闲的IP地址。
61.3 先决条件 #
一个即将部署 MetalLB 的 K3s 集群。
Helm
网络范围内三个空闲的IP地址。在此示例中为
192.168.122.10-192.168.122.12
您必须确保这些 IP 地址未被分配。 在 DHCP 环境中,这些地址不得属于 DHCP 地址池,以避免双重分配。
61.4 部署 #
我们将使用作为 SUSE Telco Cloud 解决方案一部分发布的 MetalLB Helm chart:
helm install \
metallb oci://registry.suse.com/edge/charts/metallb \
--namespace metallb-system \
--create-namespace
while ! kubectl wait --for condition=ready -n metallb-system $(kubectl get\
pods -n metallb-system -l app.kubernetes.io/component=controller -o name)\
--timeout=10s; do
sleep 2
done61.5 配置 #
此时,安装已完成。现在是时候使用我们的示例值进行 配置 了:
cat <<-EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: ip-pool
namespace: metallb-system
spec:
addresses:
- 192.168.122.10/32
- 192.168.122.11/32
- 192.168.122.12/32
EOFcat <<-EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: ip-pool-l2-adv
namespace: metallb-system
spec:
ipAddressPools:
- ip-pool
EOF现在,它已准备好可以使用。您可以为 L2 模式自定义许多内容,例如:
以及更多关于 BGP的内容。
61.5.1 Traefik 和 MetalLB #
Traefik 默认随 K3s 部署( 可以禁用 使用 --disable=traefik),并且默认作为 LoadBalancer 暴露(供 Klipper 使用)。然而,由于需要禁用 Klipper,用于 Ingress 的 Traefik 服务仍然是 LoadBalancer 类型。因此,在部署 MetalLB 时,第一个 IP 将自动分配给 Traefik Ingress。
# Before deploying MetalLB
kubectl get svc -n kube-system traefik
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
traefik LoadBalancer 10.43.44.113 <pending> 80:31093/TCP,443:32095/TCP 28s
# After deploying MetalLB
kubectl get svc -n kube-system traefik
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
traefik LoadBalancer 10.43.44.113 192.168.122.10 80:31093/TCP,443:32095/TCP 3m10s这将在流程的 稍后 (第 61.6.1 节 “使用 MetalLB 的 Ingress”) 阶段应用。
61.6 用法 #
让我们创建一个示例部署:
cat <<- EOF | kubectl apply -f -
---
apiVersion: v1
kind: Namespace
metadata:
name: hello-kubernetes
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: hello-kubernetes
namespace: hello-kubernetes
labels:
app.kubernetes.io/name: hello-kubernetes
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: hello-kubernetes
namespace: hello-kubernetes
labels:
app.kubernetes.io/name: hello-kubernetes
spec:
replicas: 2
selector:
matchLabels:
app.kubernetes.io/name: hello-kubernetes
template:
metadata:
labels:
app.kubernetes.io/name: hello-kubernetes
spec:
serviceAccountName: hello-kubernetes
containers:
- name: hello-kubernetes
image: "paulbouwer/hello-kubernetes:1.10"
imagePullPolicy: IfNotPresent
ports:
- name: http
containerPort: 8080
protocol: TCP
livenessProbe:
httpGet:
path: /
port: http
readinessProbe:
httpGet:
path: /
port: http
env:
- name: HANDLER_PATH_PREFIX
value: ""
- name: RENDER_PATH_PREFIX
value: ""
- name: KUBERNETES_NAMESPACE
valueFrom:
fieldRef:
fieldPath: metadata.namespace
- name: KUBERNETES_POD_NAME
valueFrom:
fieldRef:
fieldPath: metadata.name
- name: KUBERNETES_NODE_NAME
valueFrom:
fieldRef:
fieldPath: spec.nodeName
- name: CONTAINER_IMAGE
value: "paulbouwer/hello-kubernetes:1.10"
EOF最后是服务:
cat <<- EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
name: hello-kubernetes
namespace: hello-kubernetes
labels:
app.kubernetes.io/name: hello-kubernetes
spec:
type: LoadBalancer
ports:
- port: 80
targetPort: http
protocol: TCP
name: http
selector:
app.kubernetes.io/name: hello-kubernetes
EOF让我们看看它的实际运行效果:
kubectl get svc -n hello-kubernetes
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
hello-kubernetes LoadBalancer 10.43.127.75 192.168.122.11 80:31461/TCP 8s
curl http://192.168.122.11
<!DOCTYPE html>
<html>
<head>
<title>Hello Kubernetes!</title>
<link rel="stylesheet" type="text/css" href="/css/main.css">
<link rel="stylesheet" href="https://fonts.googleapis.com/css?family=Ubuntu:300" >
</head>
<body>
<div class="main">
<img src="/images/kubernetes.png"/>
<div class="content">
<div id="message">
Hello world!
</div>
<div id="info">
<table>
<tr>
<th>namespace:</th>
<td>hello-kubernetes</td>
</tr>
<tr>
<th>pod:</th>
<td>hello-kubernetes-7c8575c848-2c6ps</td>
</tr>
<tr>
<th>node:</th>
<td>allinone (Linux 5.14.21-150400.24.46-default)</td>
</tr>
</table>
</div>
<div id="footer">
paulbouwer/hello-kubernetes:1.10 (linux/amd64)
</div>
</div>
</div>
</body>
</html>61.6.1 使用 MetalLB 的 Ingress #
由于 Traefik 已经作为 Ingress 控制器运行,我们可以通过 Ingress 对象来暴露任何 HTTP/HTTPS 流量,例如:
IP=$(kubectl get svc -n kube-system traefik -o jsonpath="{.status.loadBalancer.ingress[0].ip}")
cat <<- EOF | kubectl apply -f -
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: hello-kubernetes-ingress
namespace: hello-kubernetes
spec:
rules:
- host: hellok3s.${IP}.sslip.io
http:
paths:
- path: "/"
pathType: Prefix
backend:
service:
name: hello-kubernetes
port:
name: http
EOF然后:
curl http://hellok3s.${IP}.sslip.io
<!DOCTYPE html>
<html>
<head>
<title>Hello Kubernetes!</title>
<link rel="stylesheet" type="text/css" href="/css/main.css">
<link rel="stylesheet" href="https://fonts.googleapis.com/css?family=Ubuntu:300" >
</head>
<body>
<div class="main">
<img src="/images/kubernetes.png"/>
<div class="content">
<div id="message">
Hello world!
</div>
<div id="info">
<table>
<tr>
<th>namespace:</th>
<td>hello-kubernetes</td>
</tr>
<tr>
<th>pod:</th>
<td>hello-kubernetes-7c8575c848-fvqm2</td>
</tr>
<tr>
<th>node:</th>
<td>allinone (Linux 5.14.21-150400.24.46-default)</td>
</tr>
</table>
</div>
<div id="footer">
paulbouwer/hello-kubernetes:1.10 (linux/amd64)
</div>
</div>
</div>
</body>
</html>验证 MetalLB 是否正常工作:
% arping hellok3s.${IP}.sslip.io
ARPING 192.168.64.210
60 bytes from 92:12:36:00:d3:58 (192.168.64.210): index=0 time=1.169 msec
60 bytes from 92:12:36:00:d3:58 (192.168.64.210): index=1 time=2.992 msec
60 bytes from 92:12:36:00:d3:58 (192.168.64.210): index=2 time=2.884 msec在上面的示例中,流量流向如下:
hellok3s.${IP}.sslip.io被解析为实际 IP。然后流量由
metallb-speakerPod 处理。metallb-speaker将流量重定向到traefik控制器。最后,Traefik 将请求转发到
hello-kubernetes服务。
62 K3s 上的 MetalLB(使用层 3 模式) #
MetalLB 是一个用于裸机 Kubernetes 集群的负载均衡器实现,它使用标准路由协议。
在本指南中,我们将演示如何以第 3 层 (L3) BGP 模式部署 MetalLB。
62.1 为什么要使用 MetalLB #
MetalLB 是裸机 Kubernetes 集群中负载平衡的理想选择,原因如下:
与 Kubernetes 的原生集成:MetalLB 与 Kubernetes 无缝集成,使用熟悉的 Kubernetes 工具和实践即可轻松部署和管理。
裸机兼容性:与基于云的负载平衡器不同,MetalLB 专为本地部署而设计,在这些环境中,传统的负载平衡器可能无法使用或不可行。
支持多个协议:MetalLB 支持第 2 层和第 3 层 BGP(边界网关协议)模式,为不同的网络架构和需求提供了灵活性。
高可用性:通过在多个节点之间分配负载平衡职责,MetalLB 可确保服务的高可用性和可靠性。
可伸缩性:MetalLB 可以处理大规模部署,并随着 Kubernetes 集群的伸缩而伸缩,以满足不断增长的需求。
在层 2 模式下,一个节点负责向本地网络通告服务。从网络的角度来看,这看起来就像该机器的网络接口分配了多个IP地址。
第 2 层模式的主要优势在于其通用性:它适用于任何以太网,无需特殊硬件,甚至不需要花哨的路由器。
62.2 K3s 上的 MetalLB(使用 L3) #
在本快速入门中,使用了 L3 模式。 这意味着我们需要在网络范围内拥有具备 BGP 功能的相邻路由器。
从0.16.0版本开始,`frr-k8s`是BGP的默认后端。FRR模式将被弃用,最终目标是在未来将其移除。
62.3 先决条件 #
部署了MetalLB的K3s集群。
网络中支持 BGP 协议的路由器。
网络范围内用于该服务的空闲 IP 地址。在此示例中\n
192.168.10.100
您必须确保此 IP 地址未被分配。 在 DHCP 环境中,此地址不得属于 DHCP 地址池,以避免双重分配。
62.4 通告服务 IP 地址的配置 #
开箱即用,BGP 会将服务 IP 地址通告给所有已配置的对等体。这些通常为路由器的对等体将接收每个带有 32 位网络掩码的服务 IP 地址的路由。在此示例中,我们将使用基于 FRR 的路由器,它与我们的集群位于同一网络上。然后,我们将使用 MetalLB 的 BGP 功能向该基于 FRR 的路由器通告服务。
62.5 部署 #
MetalLB默认用于L2 VIP功能,因此无需单独安装。
验证您在 metallb-system 命名空间中是否有 4 个 pod,并且它们都运行正常:
k get pods -n metallb-system
NAME READY STATUS RESTARTS AGE
metallb-controller-7fbfd8977d-m2q9t 1/1 Running 0 46s
metallb-metallb-frr-k8s-9w7wl 6/6 Running 0 46s
metallb-metallb-frr-k8s-webhook-server-5d9d67ffd6-8jqnc 1/1 Running 1 (6s ago) 46s
metallb-speaker-qx8bl 1/1 Running 0 46s62.6 配置 #
创建一个
IPAddressPool:
cat <<-EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: bgp-pool
namespace: metallb-system
labels:
app: httpd
spec:
addresses:
- 192.168.10.100/32
autoAssign: true
avoidBuggyIPs: false
serviceAllocation:
namespaces:
- metallb-system
priority: 100
serviceSelectors:
- matchExpressions:
- key: serviceType
operator: In
values:
- httpd
EOF配置一个
BGPPeer。
FRR 路由器的 ASN 为 1000,而我们的 BGPPeer 将为 1001。我们还可以看到 FRR 路由器的 IP 地址为 192.168.3.140。
cat <<-EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta2
kind: BGPPeer
metadata:
namespace: metallb-system
name: mypeertest
spec:
peerAddress: 192.168.3.140
peerASN: 1000
myASN: 1001
routerID: 4.4.4.4
EOF创建 BGPAdvertisement (L3):
cat <<-EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: BGPAdvertisement
metadata:
name: bgpadvertisement-test
namespace: metallb-system
spec:
ipAddressPools:
- bgp-pool
EOF62.7 用法 #
创建一个带有服务的示例应用程序。在此情况下,该服务的
IPAddressPool中的 IP 地址为192.168.10.100。
cat <<- EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
name: httpd-deployment
namespace: metallb-system
labels:
app: httpd
spec:
replicas: 3
selector:
matchLabels:
pod-label: httpd
template:
metadata:
labels:
pod-label: httpd
spec:
containers:
- name: httpdcontainer
image: image: docker.io/library/httpd:2.4
ports:
- containerPort: 80
protocol: TCP
restartPolicy: Always
---
apiVersion: v1
kind: Service
metadata:
name: http-service
namespace: metallb-system
labels:
serviceType: httpd
spec:
selector:
pod-label: httpd
type: LoadBalancer
ports:
- protocol: TCP
port: 8080
name: 8080-tcp
targetPort: 80
EOF若要验证,请登录 FRR 路由器以查看通过 BGP 通告创建的路由。
42178089cba5# show ip bgp all
For address family: IPv4 Unicast
BGP table version is 3, local router ID is 2.2.2.2, vrf id 0
Default local pref 100, local AS 1000
Status codes: s suppressed, d damped, h history, * valid, > best, = multipath,
i internal, r RIB-failure, S Stale, R Removed
Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found
Network Next Hop Metric LocPrf Weight Path
* i172.16.0.0/24 1.1.1.1 0 100 0 i
*> 0.0.0.0 0 32768 i
* i172.17.0.0/24 3.3.3.3 0 100 0 i
*> 0.0.0.0 0 32768 i
*= 192.168.10.100/32
192.168.3.162 0 1001 i
*= 192.168.3.163 0 1001 i
*> 192.168.3.161 0 1001 i
Displayed 3 routes and 7 total paths
kubectl get svc -n hello-kubernetes
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
hello-kubernetes LoadBalancer 10.43.127.75 192.168.122.11 80:31461/TCP 8s如果此路由器是您网络的默认网关,您可以从该网络上的主机运行
curl命令,以验证它们是否可以访问 httpd 示例应用程序。
# curl http://192.168.10.100:8080
<html><body><h1>It works!</h1></body></html>
#63 Kubernetes API 服务器前的 MetalLB #
本指南演示了如何使用 MetalLB 服务在具有三个控制平面节点的高可用集群上向外部暴露 RKE2/K3s API。
为实现此目的,将手动创建一个 LoadBalancer 类型的 Kubernetes 服务。然后将自动创建一个 EndpointSlices 对象,该对象使集群中所有控制平面节点的 IP 保持可用。
为了使 EndpointSlices 与集群中发生的事件(添加/删除节点或节点离线)持续同步,将部署 Endpoint Copier Operator (第 18 章 “端点复制器操作员”)。该 Operator 会监控默认 kubernetes EndpointSlices 中发生的事件,并自动更新受管的 EndpointSlices 以保持同步。
由于受管服务类型为 LoadBalancer,MetalLB 会为其分配一个静态 ExternalIP。此 ExternalIP 将用于与 API 服务器通信。
63.1 先决条件 #
用于部署 RKE2/K3s 的三台主机。
确保主机具有不同的主机名。
对于测试,这些可以是虚拟机。
网络中至少有 2 个可用 IP(一个用于 Traefik 入口控制器暴露的服务,另一个用于受管服务)。
Helm
63.2 安装 RKE2/K3s #
如果您不想使用全新的集群,而是想使用现有的集群,请跳过此步骤并继续下一步。
首先,必须在网络中预留一个空闲 IP,稍后将用于受管服务的 ExternalIP。
通过 SSH 连接到第一台主机,并以集群模式安装所需的发行版。
对于 RKE2:
# As a root user, create the /etc/rancher/rke2/config.yaml config file with the following content:
mkdir -p /etc/rancher/rke2/
cat <<EOF > /etc/rancher/rke2/config.yaml
# An example of the config.yaml file for a server node:
write-kubeconfig-mode: "0644"
tls-san:
- "${VIP_SERVICE_IP}"
- "https://${VIP_SERVICE_IP}.sslip.io"
EOF
# Install RKE2
curl -sfL https://get.rke2.io | INSTALL_RKE2_EXEC="server" sh -
# Enable and start the RKE2 service with the configuration specified in the config.yaml file
systemctl enable rke2-server.service
systemctl start rke2-server.service
# Fetch the cluster token to be used later:
RKE2_TOKEN=$(tr -d '\n' < /var/lib/rancher/rke2/server/node-token)对于 K3s:
# Export the free IP mentioned above
export VIP_SERVICE_IP=<ip>
export INSTALL_K3S_SKIP_START=false
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="server --cluster-init \
--disable=servicelb --write-kubeconfig-mode=644 --tls-san=${VIP_SERVICE_IP} \
--tls-san=https://${VIP_SERVICE_IP}.sslip.io" K3S_TOKEN=foobar sh -确保在 --disable=servicelb 命令中提供了 k3s server 标志。
从现在起,应在本地机器上运行命令。
要从外部访问 API 服务器,将使用 RKE2/K3s 虚拟机的 IP。
# Replace <node-ip> with the actual IP of the machine
export NODE_IP=<node-ip>
export KUBE_DISTRIBUTION=<k3s/rke2>
scp ${NODE_IP}:/etc/rancher/${KUBE_DISTRIBUTION}/${KUBE_DISTRIBUTION}.yaml ~/.kube/config && sed \
-i '' "s/127.0.0.1/${NODE_IP}/g" ~/.kube/config && chmod 600 ~/.kube/config63.3 配置现有的集群 #
此步骤仅在您打算使用现有的 RKE2/K3s 集群时有效。
要使用现有集群,应修改 tls-san 标志。此外,对于 K3s,应禁用 servicelb LB。
要更改 RKE2 或 K3s 服务器的标志,您需要根据发行版修改集群中所有虚拟机上的 /etc/systemd/system/rke2.service 或 /etc/systemd/system/k3s.service 文件。
标志应插入到 ExecStart 中。例如:
对于 RKE2:
# Replace the <vip-service-ip> with the actual ip
ExecStart=/usr/local/bin/rke2 \
server \
'--write-kubeconfig-mode=644' \
'--tls-san=<vip-service-ip>' \
'--tls-san=https://<vip-service-ip>.sslip.io' \对于 K3s:
# Replace the <vip-service-ip> with the actual ip
ExecStart=/usr/local/bin/k3s \
server \
'--cluster-init' \
'--write-kubeconfig-mode=644' \
'--disable=servicelb' \
'--tls-san=<vip-service-ip>' \
'--tls-san=https://<vip-service-ip>.sslip.io' \然后应执行以下命令以加载新配置:
systemctl daemon-reload
systemctl restart ${KUBE_DISTRIBUTION}63.4 安装 MetalLB #
要部署 MetalLB,可以使用 MetalLB on K3s (第 61 章 “K3s 上的 MetalLB(使用层 2 模式)”) 指南。
*注意:*确保 VIP_SERVICE_IP IP 地址不会与集群中现有的 IPAddressPools 重叠。
创建一个仅用于受管服务的独立 IpAddressPool 和 L2Advertisement。
*注意:*下方的 IPAddressPool 将被分配给 LoadBalancer 名称空间中类型为 default 的服务。如果那里存在多个 LoadBalancer 服务,则可以配置额外的 ServiceSelectors 以明确匹配此 VIP 服务。
# Export the VIP_SERVICE_IP on the local machine
# Replace with the actual IP
export VIP_SERVICE_IP=<ip>
cat <<-EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: kubernetes-vip-ip-pool
namespace: metallb-system
spec:
addresses:
- ${VIP_SERVICE_IP}/32
serviceAllocation:
priority: 100
namespaces:
- default
EOFcat <<-EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: kubernetes-vip-l2-adv
namespace: metallb-system
spec:
ipAddressPools:
- kubernetes-vip-ip-pool
EOF63.5 安装 Endpoint Copier Operator #
helm install \
endpoint-copier-operator oci://registry.suse.com/edge/charts/endpoint-copier-operator \
--namespace endpoint-copier-operator \
--create-namespace上述命令将部署具有两个副本的 endpoint-copier-operator Operator 部署。其中一个将作为领导者,如果需要,另一个将接管领导者角色。
现在,应该部署 kubernetes-vip 服务,该服务将由 Operator 协调,并创建一个具有已配置端口和 IP 的 EndpointSlices。
对于 RKE2:
cat <<-EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
name: kubernetes-vip
namespace: default
spec:
ports:
- name: rke2-api
port: 9345
protocol: TCP
targetPort: 9345
- name: k8s-api
port: 6443
protocol: TCP
targetPort: 6443
type: LoadBalancer
EOF对于 K3s:
cat <<-EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
name: kubernetes-vip
namespace: default
spec:
internalTrafficPolicy: Cluster
ipFamilies:
- IPv4
ipFamilyPolicy: SingleStack
ports:
- name: https
port: 6443
protocol: TCP
targetPort: 6443
sessionAffinity: None
type: LoadBalancer
EOF验证 kubernetes-vip 服务是否具有正确的 IP 地址:
kubectl get service kubernetes-vip -n default \
-o=jsonpath='{.status.loadBalancer.ingress[0].ip}'确保 default 名称空间中的 kubernetes-vip-* 和 kubernetes EndpointSlices 资源指向相同的 IP。
kubectl get endpointslices | grep kubernetes如果一切正确,最后剩下的就是使用我们 VIP_SERVICE_IP 中的 Kubeconfig。
sed -i '' "s/${NODE_IP}/${VIP_SERVICE_IP}/g" ~/.kube/config从现在开始,所有的 kubectl 都将通过 kubernetes-vip 服务。
63.6 添加控制平面节点 #
为了监控整个过程,可以再打开两个终端选项卡。
第一个终端:
watch kubectl get nodes第二个终端:
watch kubectl get endpointslices现在在第二个和第三个节点上执行以下命令。
对于 RKE2:
# As a root user, create the /etc/rancher/rke2/config.yaml config file with the following content:
mkdir -p /etc/rancher/rke2/
cat <<EOF > /etc/rancher/rke2/config.yaml
# An example of the config.yaml file for an additional server node:
server: https://${VIP_SERVICE_IP}:9345
write-kubeconfig-mode: "0644"
tls-san:
- "${VIP_SERVICE_IP}"
- "https://${VIP_SERVICE_IP}.sslip.io"
# The one from above
token: ${RKE2_TOKEN}
EOF
# Install RKE2
curl -sfL https://get.rke2.io | INSTALL_RKE2_TYPE="server" sh -
# Enable the RKE2 service with the configuration specified in the config.yaml file
systemctl enable --now rke2-server.service
# Fetch the cluster token to be used later:
RKE2_TOKEN=$(tr -d '\n' < /var/lib/rancher/rke2/server/node-token)对于 K3s:
# Export the VIP_SERVICE_IP in the VM
# Replace with the actual IP
export VIP_SERVICE_IP=<ip>
export INSTALL_K3S_SKIP_START=false
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="server \
--server https://${VIP_SERVICE_IP}:6443 --disable=servicelb \
--write-kubeconfig-mode=644" K3S_TOKEN=foobar sh -64 使用 Edge Image Builder 进行隔离的部署 #
64.1 简介 #
本指南将展示如何利用 Edge Image Builder(EIB) (第 12 章 “Edge Image Builder”) 在 SUSE Linux Micro 6.2 上完全隔离地部署 SUSE Telco Cloud 的多个组件。通过此操作,您将能够引导至由 EIB 创建的定制化、可启动 (CRB) 镜像,并在没有互联网连接且无需任何手动操作的情况下,在 RKE2 或 K3s 集群上部署指定的组件。对于希望将部署所需的所有工件预先构建到其操作系统镜像中,以便在引导时立即可用的客户,此配置非常理想。
我们将涵盖以下内容的隔离安装:
SUSE Private Registry
EIB 将解析并预先下载所提供的 Helm chart 和 Kubernetes 清单中引用的所有镜像。然而,其中一些可能试图在运行时拉取容器镜像并基于这些镜像创建 Kubernetes 资源。在这些情况下,如果我们想要建立一个完全隔离的环境,就必须在定义文件中手动指定必要的镜像。
本指南中为每个组件(Rancher、SUSE Security、SUSE Storage、KubeVirt 和 SUSE Private Registry)提供的镜像列表是此处演示场景的已验证基准,而非详尽目录。在此基准之上部署的任何额外或动态配置的工作负载(例如,额外的 Rancher 目录应用程序或特定于硬件的组件,如 SR-IOV 设备插件)都会在运行时拉取其自身的容器镜像。在部署到隔离的环境之前,请独立识别这些镜像并将其添加到定义文件中。
64.2 先决条件 #
如果您正在阅读本指南,则假定您已经熟悉 EIB (第 12 章 “Edge Image Builder”)。如果不是,请遵循 快速入门指南 (第 5 章 “使用 Edge Image Builder 的独立集群”) 以更好地理解下面实践中展示的概念。
64.3 Libvirt 网络配置 #
为了演示隔离的部署,本指南将使用模拟的隔离 libvirt 网络完成,以下配置将针对该网络进行调整。对于您自己的部署,您可能需要修改下一步中将介绍的 host1.local.yaml 配置。
如果您想使用相同的 libvirt 网络配置,请跟随操作。如果不想,请跳至第 64.4 节 “基础目录配置”。
让我们创建一个具有 DHCP IP 地址范围 192.168.100.2/24 的隔离网络配置:
cat << EOF > isolatednetwork.xml
<network>
<name>isolatednetwork</name>
<bridge name='virbr1' stp='on' delay='0'/>
<ip address='192.168.100.1' netmask='255.255.255.0'>
<dhcp>
<range start='192.168.100.2' end='192.168.100.254'/>
</dhcp>
</ip>
</network>
EOF现在,剩下的唯一事情就是创建网络并启动它:
virsh net-define isolatednetwork.xml
virsh net-start isolatednetwork64.4 基础目录配置 #
基础目录配置在所有不同组件中都是相同的,因此我们将在此处进行设置。
我们将首先创建必要的子目录:
export CONFIG_DIR=$HOME/config
mkdir -p $CONFIG_DIR/base-images
mkdir -p $CONFIG_DIR/network
mkdir -p $CONFIG_DIR/kubernetes/helm/values请务必将您计划使用的任何基础镜像添加到 base-images 目录中。本指南将重点介绍 此处 提供的自安装 ISO。
让我们复制下载的镜像:
cp SL-Micro.x86_64-6.2-Base-SelfInstall-GM.install.iso $CONFIG_DIR/base-images/slemicro.isoEIB 绝不会修改基础镜像输入。
让我们创建一个包含所需网络配置的文件:
cat << EOF > $CONFIG_DIR/network/host1.local.yaml
routes:
config:
- destination: 0.0.0.0/0
metric: 100
next-hop-address: 192.168.100.1
next-hop-interface: eth0
table-id: 254
- destination: 192.168.100.0/24
metric: 100
next-hop-address: 192.168.122.1
next-hop-interface: eth0
table-id: 254
dns-resolver:
config:
server:
- 192.168.100.1
- 8.8.8.8
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: 34:8A:B1:4B:16:E7
ipv4:
address:
- ip: 192.168.100.50
prefix-length: 24
dhcp: false
enabled: true
ipv6:
enabled: false
EOF此配置确保在置备的系统上存在以下内容(使用指定的 MAC 地址):
具有静态 IP 地址的以太网接口
路由选择
DNS
主机名 (
host1.local)
生成的文件结构现在应如下所示:
├── kubernetes/
│ └── helm/
│ └── values/
├── base-images/
│ └── slemicro.iso
└── network/
└── host1.local.yaml64.5 基础定义文件 #
Edge Image Builder 使用 定义文件 来修改 SUSE Linux Micro 镜像。这些文件包含了大部分可配置选项。 其中许多选项会在不同的组件部分中重复出现,因此我们将在此处列出并解释它们。
我们将查看所有定义文件中都会出现的以下字段:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
users:
- username: root
encryptedPassword: $6$jHugJNNd3HElGsUZ$eodjVe4te5ps44SVcWshdfWizrP.xAyd71CVEXazBJ/.v799/WRCBXxfYmunlBO2yp1hm/zb4r8EmnrrNCF.P/
kubernetes:
version: v1.36.3+rke2r1
embeddedArtifactRegistry:
images:
- ...image 部分是必需的,它指定了输入镜像、其架构和类型,以及输出镜像的名称。
operatingSystem 部分是可选的,包含用于通过 root/eib 用户名/密码在置备系统上启用登录的配置。
kubernetes 部分是可选的,它定义了 Kubernetes 的类型和版本。我们将使用 RKE2 发行版。如果需要 K3s,请使用 kubernetes.version: v1.36.3+k3s1。除非通过 kubernetes.nodes 字段明确配置,否则我们在本指南中引导的所有集群都将是单节点集群。
embeddedArtifactRegistry 部分将包含所有仅在运行时为特定组件引用和拉取的镜像。
64.6 Rancher 安装 #
Rancher 2.15.1 发布资产包含一个 rancher-images.txt 文件,其中列出了隔离的安装所需的所有镜像。
总共有超过 600 个容器镜像,这意味着生成的 CRB 镜像大约为 30GB。对于我们的 Rancher 安装,我们将把该列表精简为最小的工作配置。在此基础上,您可以添加部署可能需要的任何镜像。
我们将创建定义文件并包含精简后的镜像列表:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
users:
- username: root
encryptedPassword: $6$jHugJNNd3HElGsUZ$eodjVe4te5ps44SVcWshdfWizrP.xAyd71CVEXazBJ/.v799/WRCBXxfYmunlBO2yp1hm/zb4r8EmnrrNCF.P/
kubernetes:
version: v1.36.3+rke2r1
manifests:
urls:
- https://github.com/cert-manager/cert-manager/releases/download/v1.20.1/cert-manager.crds.yaml
helm:
charts:
- name: rancher
version: 2.15.1
repositoryName: rancher-prime
valuesFile: rancher-values.yaml
targetNamespace: cattle-system
createNamespace: true
installationNamespace: kube-system
- name: cert-manager
installationNamespace: kube-system
createNamespace: true
repositoryName: jetstack
targetNamespace: cert-manager
version: 1.20.1
repositories:
- name: jetstack
url: https://charts.jetstack.io
- name: rancher-prime
url: https://charts.rancher.com/server-charts/prime
embeddedArtifactRegistry:
images:
- name: registry.rancher.com/rancher/backup-restore-operator:v10.0.2
- name: registry.rancher.com/rancher/compliance-operator:v1.4.1
- name: registry.rancher.com/rancher/fleet-agent:v0.16.1
- name: registry.rancher.com/rancher/fleet:v0.16.1
- name: registry.rancher.com/rancher/hardened-addon-resizer:1.8.23-build20260717
- name: registry.rancher.com/rancher/hardened-calico:v3.32.1-build20260722
- name: registry.rancher.com/rancher/hardened-cluster-autoscaler:v1.10.3-build20260717
- name: registry.rancher.com/rancher/hardened-cni-plugins:v1.9.1-build20260717
- name: registry.rancher.com/rancher/hardened-coredns:v1.14.6-build20260722
- name: registry.rancher.com/rancher/hardened-dns-node-cache:1.26.8-build20260722
- name: registry.rancher.com/rancher/hardened-etcd:v3.6.14-k3s1-build20260723
- name: registry.rancher.com/rancher/hardened-flannel:v0.28.8-build20260722
- name: registry.rancher.com/rancher/hardened-k8s-metrics-server:v0.9.0-build20260722
- name: registry.rancher.com/rancher/hardened-kubernetes:v1.36.3-rke2r1-build20260723
- name: registry.rancher.com/rancher/hardened-multus-cni:v4.3.0-build20260722
- name: registry.rancher.com/rancher/hardened-multus-dynamic-networks-controller:v0.3.8-build20260722
- name: registry.rancher.com/rancher/hardened-multus-thick:v4.3.0-build20260722
- name: registry.rancher.com/rancher/hardened-traefik:v3.7.8-build20260717
- name: registry.rancher.com/rancher/hardened-whereabouts:v0.9.4-build20260721
- name: registry.rancher.com/rancher/k3s-upgrade:v1.36.3-k3s1
- name: registry.rancher.com/rancher/klipper-helm:v0.13.3-build20260727
- name: registry.rancher.com/rancher/klipper-lb:v0.4.17
- name: registry.rancher.com/rancher/kubectl:v1.35.2
- name: registry.rancher.com/rancher/kuberlr-kubectl:v7.1.1
- name: registry.rancher.com/rancher/local-path-provisioner:v0.0.36
- name: registry.rancher.com/rancher/machine:v0.15.0-rancher142
- name: registry.rancher.com/rancher/nginx-ingress-controller:v1.14.5-hardened2
- name: registry.rancher.com/rancher/prom-prometheus:v3.8.1
- name: registry.rancher.com/rancher/prometheus-federator:v6.0.0
- name: registry.rancher.com/rancher/pushprox:v0.1.10
- name: registry.rancher.com/rancher/rancher-agent:v2.15.1
- name: registry.rancher.com/rancher/rancher-csp-adapter:v10.0.0
- name: registry.rancher.com/rancher/rancher-webhook:v0.11.1
- name: registry.rancher.com/rancher/rancher:v2.15.1
- name: registry.rancher.com/rancher/remotedialer-proxy:v0.7.2
- name: registry.rancher.com/rancher/rke2-cloud-provider:v1.36.2-0.20260610225606-10b320a3ba51-build20260709
- name: registry.rancher.com/rancher/rke2-runtime:v1.36.3-rke2r1
- name: registry.rancher.com/rancher/rke2-upgrade:v1.36.3-rke2r1
- name: registry.rancher.com/rancher/scc-operator:v0.5.1
- name: registry.rancher.com/rancher/security-scan:v0.9.1
- name: registry.rancher.com/rancher/shell:v0.8.1
- name: registry.rancher.com/rancher/supportability-review-app-frontend:v0.19.0
- name: registry.rancher.com/rancher/supportability-review-internal:latest
- name: registry.rancher.com/rancher/supportability-review-operator:v0.19.0
- name: registry.rancher.com/rancher/supportability-review:latest
- name: registry.rancher.com/rancher/system-agent-installer-k3s:v1.36.3-k3s1
- name: registry.rancher.com/rancher/system-agent-installer-rke2:v1.36.3-rke2r1
- name: registry.rancher.com/rancher/system-agent:v0.3.16-suc
- name: registry.rancher.com/rancher/system-upgrade-controller:v0.20.1
- name: registry.rancher.com/rancher/turtles:v0.27.1
- name: registry.rancher.com/rancher/ui-plugin-catalog:4.15.0
- name: registry.rancher.com/rancher/mirrored-ingress-nginx-kube-webhook-certgen:v1.6.7与包含 600 多个容器镜像的完整列表相比,此精简版本仅包含约 60 个镜像,这使得新的 CRB 镜像仅约 7GB。
我们还需要为 Rancher 创建一个 Helm values 文件:
cat << EOF > $CONFIG_DIR/kubernetes/helm/values/rancher-values.yaml
hostname: 192.168.100.50.sslip.io
replicas: 1
bootstrapPassword: "adminadminadmin"
systemDefaultRegistry: registry.rancher.com
useBundledSystemChart: true
EOF将 systemDefaultRegistry 设置为 registry.rancher.com 允许 Rancher 在启动时自动在 CRB 镜像内启动的嵌入式工件仓库中查找镜像。省略此字段可能会导致无法在节点上找到容器镜像。
让我们构建镜像:
podman run --rm -it --privileged -v $CONFIG_DIR:/eib \
registry.suse.com/edge/3.7/edge-image-builder:1.3.4 \
build --definition-file eib-iso-definition.yaml输出应该与以下内容相似:
Downloading file: dl-manifest-1.yaml 100% |██████████████████████████████████████████████████████████████████████████████| (583/583 kB, 12 MB/s)
Pulling selected Helm charts... 100% |███████████████████████████████████████████████████████████████████████████████████████████| (2/2, 3 it/s)
Generating image customization components...
Identifier ................... [SUCCESS]
Custom Files ................. [SKIPPED]
Time ......................... [SKIPPED]
Network ...................... [SUCCESS]
Groups ....................... [SKIPPED]
Users ........................ [SUCCESS]
Proxy ........................ [SKIPPED]
Rpm .......................... [SKIPPED]
Os Files ..................... [SKIPPED]
Systemd ...................... [SKIPPED]
Fips ......................... [SKIPPED]
Elemental .................... [SKIPPED]
Suma ......................... [SKIPPED]
Populating Embedded Artifact Registry... 100% |███████████████████████████████████████████████████████████████████████████| (56/56, 8 it/min)
Embedded Artifact Registry ... [SUCCESS]
Keymap ....................... [SUCCESS]
Configuring Kubernetes component...
The Kubernetes CNI is not explicitly set, defaulting to 'cilium'.
Downloading file: rke2_installer.sh
Downloading file: rke2-images-core.linux-amd64.tar.zst 100% |███████████████████████████████████████████████████████████| (644/644 MB, 29 MB/s)
Downloading file: rke2-images-cilium.linux-amd64.tar.zst 100% |█████████████████████████████████████████████████████████| (400/400 MB, 29 MB/s)
Downloading file: rke2.linux-amd64.tar.gz 100% |███████████████████████████████████████████████████████████████████████████| (36/36 MB, 30 MB/s)
Downloading file: sha256sum-amd64.txt 100% |█████████████████████████████████████████████████████████████████████████████| (4.3/4.3 kB, 29 MB/s)
Kubernetes ................... [SUCCESS]
Certificates ................. [SKIPPED]
Cleanup ...................... [SKIPPED]
Building ISO image...
Kernel Params ................ [SKIPPED]
Build complete, the image can be found at: eib-image.iso一旦配置了使用所构建镜像的节点,我们就可以验证 Rancher 的安装:
/var/lib/rancher/rke2/bin/kubectl get all -n cattle-system --kubeconfig /etc/rancher/rke2/rke2.yaml输出应该与以下内容相似,显示所有内容已成功部署:
NAME READY STATUS RESTARTS AGE
pod/helm-operation-6l6ld 0/2 Completed 0 107s
pod/helm-operation-8tk2v 0/2 Completed 0 2m2s
pod/helm-operation-blnrr 0/2 Completed 0 2m49s
pod/helm-operation-hdcmt 0/2 Completed 0 3m19s
pod/helm-operation-m74c7 0/2 Completed 0 97s
pod/helm-operation-qzzr4 0/2 Completed 0 2m30s
pod/helm-operation-s9jh5 0/2 Completed 0 3m
pod/helm-operation-tq7ts 0/2 Completed 0 2m41s
pod/rancher-99d599967-ftjkk 1/1 Running 0 4m15s
pod/rancher-webhook-79798674c5-6w28t 1/1 Running 0 2m27s
pod/system-upgrade-controller-56696956b-trq5c 1/1 Running 0 104s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/rancher ClusterIP 10.43.255.80 <none> 80/TCP,443/TCP 4m15s
service/rancher-webhook ClusterIP 10.43.7.238 <none> 443/TCP 2m27s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/rancher 1/1 1 1 4m15s
deployment.apps/rancher-webhook 1/1 1 1 2m27s
deployment.apps/system-upgrade-controller 1/1 1 1 104s
NAME DESIRED CURRENT READY AGE
replicaset.apps/rancher-99d599967 1 1 1 4m15s
replicaset.apps/rancher-webhook-79798674c5 1 1 1 2m27s
replicaset.apps/system-upgrade-controller-56696956b 1 1 1 104s当我们转到 https://192.168.100.50.sslip.io 并使用我们之前设置的 adminadminadmin 密码登录时,我们会看到 Rancher 仪表板:
64.7 SUSE Security 安装 #
与 Rancher 安装不同,SUSE Security 安装在 EIB 中不需要任何特殊处理。EIB 将自动为底层组件 NeuVector 所需的每个镜像进行隔离处理。
我们将创建定义文件:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
users:
- username: root
encryptedPassword: $6$jHugJNNd3HElGsUZ$eodjVe4te5ps44SVcWshdfWizrP.xAyd71CVEXazBJ/.v799/WRCBXxfYmunlBO2yp1hm/zb4r8EmnrrNCF.P/
kubernetes:
version: v1.36.3+rke2r1
helm:
charts:
- name: neuvector-crd
version: 110.0.1+up2.11.1
repositoryName: rancher-charts
targetNamespace: neuvector
createNamespace: true
installationNamespace: kube-system
valuesFile: neuvector-values.yaml
- name: neuvector
version: 110.0.1+up2.11.1
repositoryName: rancher-charts
targetNamespace: neuvector
createNamespace: true
installationNamespace: kube-system
valuesFile: neuvector-values.yaml
repositories:
- name: rancher-charts
url: https://charts.rancher.io/我们还将为 NeuVector 创建一个 Helm values 文件:
cat << EOF > $CONFIG_DIR/kubernetes/helm/values/neuvector-values.yaml
controller:
replicas: 1
manager:
enabled: false
cve:
scanner:
enabled: false
replicas: 1
k3s:
enabled: true
crdwebhook:
enabled: false
EOF让我们构建镜像:
podman run --rm -it --privileged -v $CONFIG_DIR:/eib \
registry.suse.com/edge/3.7/edge-image-builder:1.3.4 \
build --definition-file eib-iso-definition.yaml输出应该与以下内容相似:
Pulling selected Helm charts... 100% |███████████████████████████████████████████████████████████████████████████████████████████| (2/2, 4 it/s)
Generating image customization components...
Identifier ................... [SUCCESS]
Custom Files ................. [SKIPPED]
Time ......................... [SKIPPED]
Network ...................... [SUCCESS]
Groups ....................... [SKIPPED]
Users ........................ [SUCCESS]
Proxy ........................ [SKIPPED]
Rpm .......................... [SKIPPED]
Os Files ..................... [SKIPPED]
Systemd ...................... [SKIPPED]
Fips ......................... [SKIPPED]
Elemental .................... [SKIPPED]
Suma ......................... [SKIPPED]
Populating Embedded Artifact Registry... 100% |██████████████████████████████████████████████████████████████████████████████| (5/5, 13 it/min)
Embedded Artifact Registry ... [SUCCESS]
Keymap ....................... [SUCCESS]
Configuring Kubernetes component...
The Kubernetes CNI is not explicitly set, defaulting to 'cilium'.
Downloading file: rke2_installer.sh
Kubernetes ................... [SUCCESS]
Certificates ................. [SKIPPED]
Cleanup ...................... [SKIPPED]
Building ISO image...
Kernel Params ................ [SKIPPED]
Build complete, the image can be found at: eib-image.iso一旦配置了使用构建镜像的节点,我们就可以验证 SUSE Security 安装:
/var/lib/rancher/rke2/bin/kubectl get all -n neuvector --kubeconfig /etc/rancher/rke2/rke2.yaml输出应该与以下内容相似,显示所有内容已成功部署:
NAME READY STATUS RESTARTS AGE
pod/neuvector-cert-upgrader-job-bxbnz 0/1 Completed 0 3m39s
pod/neuvector-controller-pod-7d854bfdc7-nhxjf 1/1 Running 0 3m44s
pod/neuvector-enforcer-pod-ct8jm 1/1 Running 0 3m44s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/neuvector-svc-admission-webhook ClusterIP 10.43.234.241 <none> 443/TCP 3m44s
service/neuvector-svc-controller ClusterIP None <none> 18300/TCP,18301/TCP,18301/UDP 3m44s
service/neuvector-svc-crd-webhook ClusterIP 10.43.50.190 <none> 443/TCP 3m44s
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
daemonset.apps/neuvector-enforcer-pod 1 1 1 1 1 <none> 3m44s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/neuvector-controller-pod 1/1 1 1 3m44s
NAME DESIRED CURRENT READY AGE
replicaset.apps/neuvector-controller-pod-7d854bfdc7 1 1 1 3m44s
NAME SCHEDULE TIMEZONE SUSPEND ACTIVE LAST SCHEDULE AGE
cronjob.batch/neuvector-cert-upgrader-pod 0 0 1 1 * <none> True 0 <none> 3m44s
cronjob.batch/neuvector-updater-pod 0 0 * * * <none> False 0 <none> 3m44s
NAME STATUS COMPLETIONS DURATION AGE
job.batch/neuvector-cert-upgrader-job Complete 1/1 7s 3m39s64.8 SUSE Storage 安装 #
Longhorn 的 官方文档 包含一个 longhorn-images.txt 文件,其中列出了隔离安装所需的所有镜像。
我们将在定义文件中包含来自 Rancher 容器镜像仓库的镜像对应项。
让我们创建它:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
users:
- username: root
encryptedPassword: $6$jHugJNNd3HElGsUZ$eodjVe4te5ps44SVcWshdfWizrP.xAyd71CVEXazBJ/.v799/WRCBXxfYmunlBO2yp1hm/zb4r8EmnrrNCF.P/
packages:
sccRegistrationCode: [reg-code]
packageList:
- open-iscsi
kubernetes:
version: v1.36.3+rke2r1
helm:
charts:
- name: suse-storage
releaseName: longhorn
repositoryName: rancher-application-collection
targetNamespace: longhorn-system
createNamespace: true
version: 1.12.1
repositories:
- name: rancher-application-collection
url: oci://dp.apps.rancher.io/charts
authentication:
username: $APPS.RANCHER.IO_USERNAME
password: $APPS.RANCHER.IO_ACCESS_TOKEN
embeddedArtifactRegistry:
registries:
- uri: dp.apps.rancher.io
authentication:
username: $APPS.RANCHER.IO_USERNAME
password: $APPS.RANCHER.IO_ACCESS_TOKEN
images:
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-attacher:4.12.0-17.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-provisioner:5.3.0-17.8
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-resizer:2.2.1-10.8
- name: dp.apps.rancher.io/containers/kubernetes-csi-external-snapshotter:8.6.0-17.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-livenessprobe:2.19.0-17.6
- name: dp.apps.rancher.io/containers/kubernetes-csi-node-driver-registrar:2.17.0-17.6
- name: dp.apps.rancher.io/containers/longhorn-backing-image-manager:1.12.1-1.5
- name: dp.apps.rancher.io/containers/longhorn-engine:1.12.1-1.6
- name: dp.apps.rancher.io/containers/longhorn-instance-manager:1.12.1-1.7
- name: dp.apps.rancher.io/containers/longhorn-manager:1.12.1-1.5
- name: dp.apps.rancher.io/containers/longhorn-share-manager:1.12.1-1.5
- name: dp.apps.rancher.io/containers/longhorn-ui:1.12.1-1.3
- name: dp.apps.rancher.io/containers/rancher-support-bundle-kit:0.0.92-13.12您会注意到定义文件列出了 open-iscsi 软件包。这是必要的,因为 Longhorn 依赖于在不同节点上运行的 iscsiadm 守护程序,以便为 Kubernetes 提供持久卷。
让我们构建镜像:
podman run --rm -it --privileged -v $CONFIG_DIR:/eib \
registry.suse.com/edge/3.7/edge-image-builder:1.3.4 \
build --definition-file eib-iso-definition.yaml输出应该与以下内容相似:
Setting up Podman API listener...
Pulling selected Helm charts... 100% |██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| (2/2, 3 it/s)
Generating image customization components...
Identifier ................... [SUCCESS]
Custom Files ................. [SKIPPED]
Time ......................... [SKIPPED]
Network ...................... [SUCCESS]
Groups ....................... [SKIPPED]
Users ........................ [SUCCESS]
Proxy ........................ [SKIPPED]
Resolving package dependencies...
Rpm .......................... [SUCCESS]
Os Files ..................... [SKIPPED]
Systemd ...................... [SKIPPED]
Fips ......................... [SKIPPED]
Elemental .................... [SKIPPED]
Suma ......................... [SKIPPED]
Populating Embedded Artifact Registry... 100% |███████████████████████████████████████████████████████████████████████████████████████████████████████████| (15/15, 20956 it/s)
Embedded Artifact Registry ... [SUCCESS]
Keymap ....................... [SUCCESS]
Configuring Kubernetes component...
The Kubernetes CNI is not explicitly set, defaulting to 'cilium'.
Downloading file: rke2_installer.sh
Downloading file: rke2-images-core.linux-amd64.tar.zst 100% (782/782 MB, 108 MB/s)
Downloading file: rke2-images-cilium.linux-amd64.tar.zst 100% (367/367 MB, 104 MB/s)
Downloading file: rke2.linux-amd64.tar.gz 100% (34/34 MB, 108 MB/s)
Downloading file: sha256sum-amd64.txt 100% (3.9/3.9 kB, 7.5 MB/s)
Kubernetes ................... [SUCCESS]
Certificates ................. [SKIPPED]
Cleanup ...................... [SKIPPED]
Building ISO image...
Kernel Params ................ [SKIPPED]
Build complete, the image can be found at: eib-image.iso一旦配置了使用构建镜像的节点,我们就可以验证 Longhorn 安装:
/var/lib/rancher/rke2/bin/kubectl get all -n longhorn-system --kubeconfig /etc/rancher/rke2/rke2.yaml输出应该与以下内容相似,显示所有内容已成功部署:
NAME READY STATUS RESTARTS AGE
pod/csi-attacher-787fd9c6c8-sf42d 1/1 Running 0 2m28s
pod/csi-attacher-787fd9c6c8-tb82p 1/1 Running 0 2m28s
pod/csi-attacher-787fd9c6c8-zhc6s 1/1 Running 0 2m28s
pod/csi-provisioner-74486b95c6-b2v9s 1/1 Running 0 2m28s
pod/csi-provisioner-74486b95c6-hwllt 1/1 Running 0 2m28s
pod/csi-provisioner-74486b95c6-mlrpk 1/1 Running 0 2m28s
pod/csi-resizer-859d4557fd-t54zk 1/1 Running 0 2m28s
pod/csi-resizer-859d4557fd-vdt5d 1/1 Running 0 2m28s
pod/csi-resizer-859d4557fd-x9kh4 1/1 Running 0 2m28s
pod/csi-snapshotter-6f69c6c8cc-r62gr 1/1 Running 0 2m28s
pod/csi-snapshotter-6f69c6c8cc-vrwjn 1/1 Running 0 2m28s
pod/csi-snapshotter-6f69c6c8cc-z65nb 1/1 Running 0 2m28s
pod/engine-image-ei-4623b511-9vhkb 1/1 Running 0 3m13s
pod/instance-manager-6f95fd57d4a4cd0459e469d75a300552 1/1 Running 0 2m43s
pod/longhorn-csi-plugin-gx98x 3/3 Running 0 2m28s
pod/longhorn-driver-deployer-55f9c88499-fbm6q 1/1 Running 0 3m28s
pod/longhorn-manager-dpdp7 2/2 Running 0 3m28s
pod/longhorn-ui-59c85fcf94-gg5hq 1/1 Running 0 3m28s
pod/longhorn-ui-59c85fcf94-s49jc 1/1 Running 0 3m28s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/longhorn-admission-webhook ClusterIP 10.43.77.89 <none> 9502/TCP 3m28s
service/longhorn-backend ClusterIP 10.43.56.17 <none> 9500/TCP 3m28s
service/longhorn-conversion-webhook ClusterIP 10.43.54.73 <none> 9501/TCP 3m28s
service/longhorn-frontend ClusterIP 10.43.22.82 <none> 80/TCP 3m28s
service/longhorn-recovery-backend ClusterIP 10.43.45.143 <none> 9503/TCP 3m28s
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
daemonset.apps/engine-image-ei-4623b511 1 1 1 1 1 <none> 3m13s
daemonset.apps/longhorn-csi-plugin 1 1 1 1 1 <none> 2m28s
daemonset.apps/longhorn-manager 1 1 1 1 1 <none> 3m28s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/csi-attacher 3/3 3 3 2m28s
deployment.apps/csi-provisioner 3/3 3 3 2m28s
deployment.apps/csi-resizer 3/3 3 3 2m28s
deployment.apps/csi-snapshotter 3/3 3 3 2m28s
deployment.apps/longhorn-driver-deployer 1/1 1 1 3m28s
deployment.apps/longhorn-ui 2/2 2 2 3m28s
NAME DESIRED CURRENT READY AGE
replicaset.apps/csi-attacher-787fd9c6c8 3 3 3 2m28s
replicaset.apps/csi-provisioner-74486b95c6 3 3 3 2m28s
replicaset.apps/csi-resizer-859d4557fd 3 3 3 2m28s
replicaset.apps/csi-snapshotter-6f69c6c8cc 3 3 3 2m28s
replicaset.apps/longhorn-driver-deployer-55f9c88499 1 1 1 3m28s
replicaset.apps/longhorn-ui-59c85fcf94 2 2 2 3m28s64.9 KubeVirt 和 CDI 安装 #
KubeVirt 和 CDI 的 Helm chart 仅安装它们各自的 operator。 部署其余系统取决于 operator,这意味着我们必须在定义文件中包含所有必要的容器镜像。让我们创建它:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
users:
- username: root
encryptedPassword: $6$jHugJNNd3HElGsUZ$eodjVe4te5ps44SVcWshdfWizrP.xAyd71CVEXazBJ/.v799/WRCBXxfYmunlBO2yp1hm/zb4r8EmnrrNCF.P/
kubernetes:
version: v1.36.3+rke2r1
helm:
charts:
- name: kubevirt
repositoryName: suse-edge
version: 307.0.3+up0.8.0
targetNamespace: kubevirt-system
createNamespace: true
installationNamespace: kube-system
- name: cdi
repositoryName: suse-edge
version: 307.0.3+up0.8.0
targetNamespace: cdi-system
createNamespace: true
installationNamespace: kube-system
repositories:
- name: suse-edge
url: oci://registry.suse.com/edge/charts
embeddedArtifactRegistry:
images:
- name: registry.suse.com/suse/sles/16.0/cdi-apiserver:1.65.0
- name: registry.suse.com/suse/sles/16.0/cdi-cloner:1.65.0
- name: registry.suse.com/suse/sles/16.0/cdi-controller:1.65.0
- name: registry.suse.com/suse/sles/16.0/cdi-importer:1.65.0
- name: registry.suse.com/suse/sles/16.0/cdi-operator:1.65.0
- name: registry.suse.com/suse/sles/16.0/cdi-uploadproxy:1.65.0
- name: registry.suse.com/suse/sles/16.0/cdi-uploadserver:1.65.0
- name: registry.suse.com/suse/sles/16.0/virt-api:1.8.3
- name: registry.suse.com/suse/sles/16.0/virt-controller:1.8.3
- name: registry.suse.com/suse/sles/16.0/virt-exportproxy:1.8.3
- name: registry.suse.com/suse/sles/16.0/virt-exportserver:1.8.3
- name: registry.suse.com/suse/sles/16.0/virt-handler:1.8.3
- name: registry.suse.com/suse/sles/16.0/virt-launcher:1.8.3
- name: registry.suse.com/suse/sles/16.0/virt-operator:1.8.3让我们构建镜像:
podman run --rm -it --privileged -v $CONFIG_DIR:/eib \
registry.suse.com/edge/3.7/edge-image-builder:1.3.4 \
build --definition-file eib-iso-definition.yaml输出应该与以下内容相似:
Pulling selected Helm charts... 100% |███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| (2/2, 48 it/min)
Generating image customization components...
Identifier ................... [SUCCESS]
Custom Files ................. [SKIPPED]
Time ......................... [SKIPPED]
Network ...................... [SUCCESS]
Groups ....................... [SKIPPED]
Users ........................ [SUCCESS]
Proxy ........................ [SKIPPED]
Rpm .......................... [SKIPPED]
Os Files ..................... [SKIPPED]
Systemd ...................... [SKIPPED]
Fips ......................... [SKIPPED]
Elemental .................... [SKIPPED]
Suma ......................... [SKIPPED]
Populating Embedded Artifact Registry... 100% |██████████████████████████████████████████████████████████████████████████████████████████████████████████| (15/15, 4 it/min)
Embedded Artifact Registry ... [SUCCESS]
Keymap ....................... [SUCCESS]
Configuring Kubernetes component...
The Kubernetes CNI is not explicitly set, defaulting to 'cilium'.
Downloading file: rke2_installer.sh
Kubernetes ................... [SUCCESS]
Certificates ................. [SKIPPED]
Cleanup ...................... [SKIPPED]
Building ISO image...
Kernel Params ................ [SKIPPED]
Build complete, the image can be found at: eib-image.iso一旦配置了使用构建镜像的节点,我们就可以验证 KubeVirt 和 CDI 的安装。
验证 KubeVirt:
/var/lib/rancher/rke2/bin/kubectl get all -n kubevirt-system --kubeconfig /etc/rancher/rke2/rke2.yaml输出应该与以下内容相似,显示所有内容已成功部署:
NAME READY STATUS RESTARTS AGE
pod/virt-api-59cb997648-mmt67 1/1 Running 0 2m34s
pod/virt-controller-69786b785-7cc96 1/1 Running 0 2m8s
pod/virt-controller-69786b785-wq2dz 1/1 Running 0 2m8s
pod/virt-handler-2l4dm 1/1 Running 0 2m8s
pod/virt-operator-7c444cff46-nps4l 1/1 Running 0 3m1s
pod/virt-operator-7c444cff46-r25xq 1/1 Running 0 3m1s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/kubevirt-operator-webhook ClusterIP 10.43.167.109 <none> 443/TCP 2m36s
service/kubevirt-prometheus-metrics ClusterIP None <none> 443/TCP 2m36s
service/virt-api ClusterIP 10.43.18.202 <none> 443/TCP 2m36s
service/virt-exportproxy ClusterIP 10.43.142.188 <none> 443/TCP 2m36s
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
daemonset.apps/virt-handler 1 1 1 1 1 kubernetes.io/os=linux 2m8s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/virt-api 1/1 1 1 2m34s
deployment.apps/virt-controller 2/2 2 2 2m8s
deployment.apps/virt-operator 2/2 2 2 3m1s
NAME DESIRED CURRENT READY AGE
replicaset.apps/virt-api-59cb997648 1 1 1 2m34s
replicaset.apps/virt-controller-69786b785 2 2 2 2m8s
replicaset.apps/virt-operator-7c444cff46 2 2 2 3m1s
NAME AGE PHASE
kubevirt.kubevirt.io/kubevirt 3m1s Deployed验证 CDI:
/var/lib/rancher/rke2/bin/kubectl get all -n cdi-system --kubeconfig /etc/rancher/rke2/rke2.yaml输出应该与以下内容相似,显示所有内容已成功部署:
NAME READY STATUS RESTARTS AGE
pod/cdi-apiserver-5598c9bf47-pqfxw 1/1 Running 0 3m44s
pod/cdi-deployment-7cbc5db7f8-g46z7 1/1 Running 0 3m44s
pod/cdi-operator-777c865745-2qcnj 1/1 Running 0 3m48s
pod/cdi-uploadproxy-646f4cd7f7-fzkv7 1/1 Running 0 3m44s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/cdi-api ClusterIP 10.43.2.224 <none> 443/TCP 3m44s
service/cdi-prometheus-metrics ClusterIP 10.43.237.13 <none> 8080/TCP 3m44s
service/cdi-uploadproxy ClusterIP 10.43.114.91 <none> 443/TCP 3m44s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/cdi-apiserver 1/1 1 1 3m44s
deployment.apps/cdi-deployment 1/1 1 1 3m44s
deployment.apps/cdi-operator 1/1 1 1 3m48s
deployment.apps/cdi-uploadproxy 1/1 1 1 3m44s
NAME DESIRED CURRENT READY AGE
replicaset.apps/cdi-apiserver-5598c9bf47 1 1 1 3m44s
replicaset.apps/cdi-deployment-7cbc5db7f8 1 1 1 3m44s
replicaset.apps/cdi-operator-777c865745 1 1 1 3m48s
replicaset.apps/cdi-uploadproxy-646f4cd7f7 1 1 1 3m44s64.10 SUSE Private Registry 安装 #
为了在隔离的部署中包含 SUSE Private Registry,我们必须更新定义文件,以包含所需的 helm chart 以及新镜像的嵌入式工件。
让我们更新定义文件:
apiVersion: 1.3
image:
imageType: iso
arch: x86_64
baseImage: slemicro.iso
outputImageName: eib-image.iso
operatingSystem:
users:
- username: root
encryptedPassword: $6$jHugJNNd3HElGsUZ$eodjVe4te5ps44SVcWshdfWizrP.xAyd71CVEXazBJ/.v799/WRCBXxfYmunlBO2yp1hm/zb4r8EmnrrNCF.P/
kubernetes:
version: v1.36.3+rke2r1
helm:
charts:
- name: metallb
version: 307.0.3+up0.16.1
targetNamespace: metallb-system
createNamespace: true
repositoryName: suse-edge-charts
installationNamespace: kube-system
- name: suse-storage
releaseName: longhorn
repositoryName: rancher-application-collection
targetNamespace: longhorn-system
createNamespace: true
version: 1.12.1
- name: private-registry-helm
createNamespace: true
installationNamespace: kube-system
repositoryName: privateregistry
targetNamespace: suse-private-registry
valuesFile: privateregistry.yaml
version: 1.1.1
repositories:
- name: privateregistry
authentication:
username: ${PRIVATE_REGISTRY_USERNAME}
password: ${PRIVATE_REGISTRY_PASSWORD}
plainHTTP: false
skipTLSVerify: false
url: oci://registry.suse.com/private-registry
- name: rancher-application-collection
url: oci://dp.apps.rancher.io/charts
authentication:
username: $APPS.RANCHER.IO_USERNAME
password: $APPS.RANCHER.IO_ACCESS_TOKEN
embeddedArtifactRegistry:
registries:
- uri: registry.suse.com
authentication:
username: ${PRIVATE_REGISTRY_USERNAME}
password: ${PRIVATE_REGISTRY_PASSWORD}
- uri: dp.apps.rancher.io
authentication:
username: $APPS.RANCHER.IO_USERNAME
password: $APPS.RANCHER.IO_ACCESS_TOKEN
images:
- name: registry.suse.com/private-registry/harbor-core:1.1.1-1.19
- name: registry.suse.com/private-registry/harbor-jobservice:1.1.1-1.19
- name: registry.suse.com/private-registry/harbor-portal:1.1.1-1.20
- name: registry.suse.com/private-registry/harbor-registry:1.1.1-1.19
- name: registry.suse.com/private-registry/harbor-registryctl:1.1.1-1.19
- name: registry.suse.com/private-registry/harbor-trivy-adapter:1.1.1-1.24您将需要某些凭据,可以通过遵循官方 SUSE Private Registry 文档 来获取这些凭据。
您还必须修改 ${PRIVATE_REGISTRY_USERNAME} 和 ${PRIVATE_REGISTRY_PASSWORD} 变量。请确保列出包含您所需组件版本的镜像。
现在,我们需要添加所需的 Kubernetes 清单,以正确配置 SUSE Private Registry。
您需要在以下文件中修改 ${MGMT_CLUSTER_REGISTRY_IP},为 SUSE Private Registry 保留一个静态 IP:
kubernetes/manifests/metallb-registry.yamlapiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: private-registry namespace: metallb-system spec: ipAddressPools: - private-registry-pool --- apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: private-registry-pool namespace: metallb-system spec: addresses: - ${MGMT_CLUSTER_REGISTRY_IP}/32 serviceAllocation: namespaces: - suse-private-registrykubernetes/helm/values/privateregistry.yamlcore: secretName: suse-registry-tls expose: tls: certSource: secret enabled: true secret: secretName: suse-registry-tls type: loadBalancer externalURL: https://${MGMT_CLUSTER_REGISTRY_IP} persistence: persistentVolumeClaim: registry: size: 20Gi
最后,必须使用以下内容创建 kubernetes/manifests/suse-private-registry-creds.yaml:
apiVersion: v1
kind: Secret
metadata:
name: suse-registry
namespace: suse-private-registry
type: kubernetes.io/dockerconfigjson
data:
.dockerconfigjson: ${DOCKER_CONFIG_JSON_BASE64}
---
apiVersion: v1
kind: Secret
metadata:
name: suse-registry-tls
namespace: suse-private-registry
type: kubernetes.io/tls
data:
tls.crt: ${TLS_CRT_BASE64}
tls.key: ${TLS_KEY_BASE64}要为 ${DOCKER_CONFIG_JSON_BASE64} 正确配置 docker config json (base64),请运行:
# ${DOCKER_CONFIG_JSON_BASE64} CONTENT
echo -n '{"auths": {"<MGMT_CLUSTER_REGISTRY_IP>": {"username": "<USERNAME>", "password": "<PASSWORD>", "auth": "<AUTH>"}}}' | base64其中 IP 与之前配置的 ${MGMT_CLUSTER_REGISTRY_IP} 相同,username、password 和 auth 可以从 SUSE Private Registry 官方文档 中获取。
要为 ${TLS_CRT_BASE64} 和 ${TLS_KEY_BASE64} 生成 base64 编码的 TLS 证书和密钥(tls.crt 和 tls.key),您可以运行以下命令来创建自己的证书和密钥:
# Generate a self-signed certificate and key
openssl req -x509 -newkey rsa:4096 -keyout key.pem -out cert.pem -sha256 -days 365 -nodes
# Convert them to base64 for the suse-private-registry-creds.yaml file
cat cert.pem | base64 -w 0
cat key.pem | base64 -w 0验证 SUSE Private Registry:
/var/lib/rancher/rke2/bin/kubectl get pods -n suse-private-registry --kubeconfig /etc/rancher/rke2/rke2.yaml输出应该与以下内容相似,显示所有内容已成功部署:
NAME READY STATUS RESTARTS AGE
pod/private-registry-harbor-core-588fd4876f-8tqnv 1/1 Running 0 4m30s
pod/private-registry-harbor-database-0 1/1 Running 0 4m30s
pod/private-registry-harbor-jobservice-7658f97fbc-4vq6n 1/1 Running 0 4m30s
pod/private-registry-harbor-portal-5455ccc4bc-jpmt5 1/1 Running 0 4m30s
pod/private-registry-harbor-redis-0 1/1 Running 0 4m30s
pod/private-registry-harbor-registry-5648b9d89-wdswz 2/2 Running 0 4m30s
pod/private-registry-harbor-trivy-0 1/1 Running 0 4m30s64.11 Metal3 安装 #
在通过 EIB 和 Hauler 在隔离的环境中部署 Metal3 时,需要为 Ironic Python Agent (IPA) 镜像进行特殊配置。IPA 镜像由 Metal3 用于裸机主机检查和配置。
要在隔离的部署中包含 Metal3,您需要:
将 Metal3 Helm chart 添加到您的定义文件中
将 IPA 镜像添加到嵌入式制品仓库中
使用
useHauler: true创建 Helm values 文件
将以下内容添加到定义文件的 kubernetes.helm.charts 部分:
helm:
charts:
- name: metal3
version: 307.0.31+up0.16.0
targetNamespace: metal3-system
createNamespace: true
repositoryName: suse-edge-charts
installationNamespace: kube-system
valuesFile: metal3-values.yaml将 IPA 镜像添加到 embeddedArtifactRegistry.images 部分:
embeddedArtifactRegistry:
images:
- name: registry.suse.com/edge/3.7/ironic-python-agent:3.0.10为 Metal3 创建一个 Helm values 文件:
cat << EOF > $CONFIG_DIR/kubernetes/helm/values/metal3-values.yaml
global:
ironicIP: <STATIC_IRONIC_IP>
metal3-ironic:
ipa:
useHauler: true
EOF在通过 EIB/Hauler 在隔离的环境中进行部署时,metal3-ironic.ipa.useHauler 值 必须 设置为 true(布尔数据类型)。这指示 Metal3 从嵌入式制品仓库中检索 IPA 镜像,而不是尝试从互联网下载。
64.12 查错 #
如果您在构建镜像时遇到任何问题,或者希望进一步测试和调试该过程,请参阅 上游文档。
65 使用 Kiwi 构建更新的 SUSE Linux Micro 镜像 #
本节介绍了如何生成更新的 SUSE Linux Micro 镜像,以供 Edge Image Builder、Cluster API (CAPI) + Metal3 使用,或直接将磁盘镜像写入块设备。此过程在以下情况下非常有用:需要在初始系统引导镜像中包含最新补丁(以最大限度地减少安装后的补丁传输),或者在使用 CAPI 的场景中,首选使用新镜像重新安装操作系统,而不是就地升级主机。
此过程利用 Kiwi 来运行镜像构建。SUSE Telco Cloud 附带了一个容器化版本,通过内置的辅助工具简化了整个过程,允许指定所需的 控制文件。控制文件定义了所需的输出镜像类型,常见类型如下:
“Base” - 包含精简软件包集(包含 podman)的 SUSE Linux Micro 磁盘镜像。
“Base-SelfInstall” - 基于上述“Base”的 SelfInstall 镜像。
“Base-RT” - 与上述“Base”相同,但改用实时 (rt) 内核。
“Base-RT-SelfInstall” - 基于上述“Base-RT”的 SelfInstall 镜像
“Default” - 基于上述“Base”的 SUSE Linux Micro 磁盘镜像,但包含更多工具,包括虚拟化堆栈、Cockpit 和 salt-minion。
“Default-SelfInstall” - 基于上述“Default”的 SelfInstall 镜像
有关更多详细信息,请参阅 SUSE Linux Micro 6.2 文档。
此过程适用于 AMD64/Intel 64 和 AArch64 架构,但必须使用与所构建镜像架构相同的构建主机。换句话说,要构建 AArch64 镜像,需要使用 AArch64 构建主机,反之亦然(对于 AMD64/Intel 64),目前不支持交叉构建。
65.1 先决条件 #
Kiwi 镜像构建器需要满足以下条件:
一台与所构建镜像架构相同的 SUSE Linux Micro 6.2 主机(“构建系统”)。
构建系统需要已通过
SUSEConnect注册(该注册用于从 SUSE 储存库拉取最新的软件包)可用于拉取所需软件包的互联网连接。如果通过代理连接,则需要预先配置构建主机。
构建主机上需要禁用 SELinux(因为 SELinux 标记是在容器中进行的,它可能会与主机策略冲突)
至少 10GB 的可用磁盘空间,以容纳容器镜像、构建根目录以及生成的输出镜像。
65.2 入门 #
由于某些限制,目前需要禁用 SELinux。连接到 SUSE Linux Micro 6.2 镜像构建主机并确保已禁用 SELinux:
# setenforce 0创建一个与 Kiwi 构建容器共享的输出目录,以保存生成的镜像:
# mkdir ~/output从 SUSE 注册中心拉取最新的 Kiwi 构建器镜像:
# podman pull registry.suse.com/edge/3.7/kiwi-builder:10.2.29.1
(...)65.3 构建默认镜像 #
如果在运行容器镜像时未提供任何参数,这是 Kiwi 镜像容器的默认行为。以下命令运行 podman,并将两个目录映射到容器:
来自底层主机的
/etc/zypp/repos.dSUSE Linux Micro 软件包储存库目录。上面创建的输出
~/output目录。
Kiwi 镜像容器需要按如下方式运行 build-image 辅助脚本:
# podman run --privileged -v /etc/zypp/repos.d:/micro-sdk/repos/ -v ~/output:/tmp/output \
-it registry.suse.com/edge/3.7/kiwi-builder:10.2.29.1 build-image
(...)如果您是第一次运行此脚本,预计它会在启动后不久 失败,并显示“错误:早期循环设备测试失败,请重试容器运行。”,这是底层主机系统上创建的循环设备在容器镜像内无法立即识别的症状。只需重新运行该命令即可顺利进行。
几分钟后,可以在本地输出目录中找到这些镜像:
(...)
INFO: Image build successful, generated images are available in the 'output' directory.
# ls -1 output/
SLE-Micro.x86_64-6.2.changes
SLE-Micro.x86_64-6.2.packages
SLE-Micro.x86_64-6.2.raw
SLE-Micro.x86_64-6.2.verified
build
kiwi.result
kiwi.result.json65.4 使用其他控制文件构建镜像 #
为了构建不同的控制文件,使用了 Kiwi 容器镜像辅助脚本中的“-p”命令选项。例如,要构建“Default-SelfInstall”ISO 映像:
# podman run --privileged -v /etc/zypp/repos.d:/micro-sdk/repos/ -v ~/output:/tmp/output \
-it registry.suse.com/edge/3.7/kiwi-builder:10.2.29.1 build-image -p Default-SelfInstall
(...)为避免数据丢失,如果 output 目录中有镜像,Kiwi 将拒绝运行。在继续 rm -f output/* 之前,必须删除输出目录的内容。
或者,要使用实时内核(“kernel-rt”)构建 SelfInstall ISO 映像:
# podman run --privileged -v /etc/zypp/repos.d:/micro-sdk/repos/ -v ~/output:/tmp/output \
-it registry.suse.com/edge/3.7/kiwi-builder:10.2.29.1 build-image -p Base-RT-SelfInstall
(...)65.5 构建具有大扇区大小的镜像 #
某些硬件需要具有大扇区大小的镜像,即 4096 bytes 而不是标准的 512 字节。容器化 Kiwi 构建器支持通过指定“-b”参数来生成具有大块大小的镜像。例如,要构建具有大扇区大小的“Default-SelfInstall”镜像:
# podman run --privileged -v /etc/zypp/repos.d:/micro-sdk/repos/ -v ~/output:/tmp/output \
-it registry.suse.com/edge/3.7/kiwi-builder:10.2.29.1 build-image -p Default-SelfInstall -b
(...)65.6 使用自定义 Kiwi 镜像定义文件 #
对于高级用例,可以使用自定义 Kiwi 镜像定义文件 (SL-Micro.kiwi) 以及任何必要的构建后脚本。这需要覆盖由 SUSE Telco Cloud 团队预打包的默认定义。
创建一个新的目录,并将其映射到辅助脚本正在查找的容器镜像中 (/micro-sdk/defs):
# mkdir ~/mydefs/
# cp /path/to/SL-Micro.kiwi ~/mydefs/
# cp /path/to/config.sh ~/mydefs/
# podman run --privileged -v /etc/zypp/repos.d:/micro-sdk/repos/ -v ~/output:/tmp/output -v ~/mydefs/:/micro-sdk/defs/ \
-it registry.suse.com/edge/3.7/kiwi-builder:10.2.29.1 build-image
(...)这仅适用于高级用例,并可能导致可支持性问题。请联系您的 SUSE 代表以获取进一步的建议和指导。
要获取容器中包含的默认 Kiwi 镜像定义文件,可以使用以下命令:
$ podman create --name kiwi-builder registry.suse.com/edge/3.7/kiwi-builder:10.2.29.1
$ podman cp kiwi-builder:/micro-sdk/defs/SL-Micro.kiwi .
$ podman cp kiwi-builder:/micro-sdk/defs/SL-Micro.kiwi.4096 .
$ podman rm kiwi-builder
$ ls ./SL-Micro.*
(...)66 SUSE Storage V2 Data Engine #
SUSE Storage 1.12.1 将 Longhorn V2 Data Engine 作为正式发布功能包含在内。 从 SUSE Telco Cloud 3.7 版本开始,当集群满足 V2 先决条件时,建议对新配置的卷使用 V2 Data Engine。
SUSE Storage Helm chart 不会将现有的 V1 卷转换为 V2。 数据引擎是不可变的卷属性。 现有的 V1 卷将继续使用 V1,直到其数据迁移到新配置的 V2 卷为止。
66.1 先决条件 #
在启用 V2 Data Engine 之前,请查看 上游 V2 要求。 特别是,每个可以托管 V2 副本的节点都需要:
一个专用的、未格式化的块设备。生产工作负载建议使用 NVMe 设备。
nvme-tcp、vfio_pci和uio_pci_generic内核模块。为 V2 实例管理器提供充足的 CPU 和内存。默认配置为每个实例管理器使用 2 GiB 大页内存。
受支持的 CPU 和内核。AMD64 CPU 需要 SSE4.2,并建议使用 6.7 或更高版本的内核。
Longhorn 建议在迁移完成后仅使用一个 Data Engine。 同时运行两个引擎会创建独立的实例管理器,从而消耗额外的 CPU 和内存。
66.2 为新卷配置 V2 #
在配置应用程序卷之前,请准备好所需的块设备。
使用 SUSE Storage UI 或更新相应的 nodes.longhorn.io 资源,将每个设备注册为对应 Longhorn 节点上的 block 磁盘。
对于没有 V1 卷的新集群,请使用以下 Helm 值:
defaultSettings:
v1DataEngine: false
v2DataEngine: true
persistence:
dataEngine: v2对于具有 V1 卷的现有集群,请在迁移期间保持两个引擎都处于启用状态:
defaultSettings:
v1DataEngine: true
v2DataEngine: true
persistence:
dataEngine: v2使用您正常的 Helm 部署或升级工作流程应用这些值。 例如:
helm upgrade --install longhorn oci://dp.apps.rancher.io/charts/suse-storage \
--version 1.12.1 \
--namespace longhorn-system \
--create-namespace \
--reuse-values \
--values suse-storage-v2-values.yaml在现有安装上,确认正在运行的 Longhorn 设置已启用。 如果 Helm 升级后它仍然处于禁用状态,请显式启用它:
kubectl -n longhorn-system patch settings.longhorn.io v2-data-engine \
--type merge --patch '{"value":"true"}'当集群中仍有任何 V1 卷时,请勿禁用 V1 Data Engine。
升级现有版本时,还要确认 --reuse-values 没有保留 persistence.dataEngine 的旧值 v1。
创建一个专用的 V2 StorageClass,而不是就地更改现有的 StorageClass:
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: longhorn-v2
provisioner: driver.longhorn.io
allowVolumeExpansion: true
reclaimPolicy: Delete
volumeBindingMode: Immediate
parameters:
dataEngine: "v2"
numberOfReplicas: "3"
staleReplicaTimeout: "2880"
fsType: "ext4"要使 V2 成为未指定 storageClassName 的 PVC 的默认设置,请将默认注释移动到新的存储类:
kubectl annotate storageclass longhorn \
storageclass.kubernetes.io/is-default-class="false" --overwrite
kubectl annotate storageclass longhorn-v2 \
storageclass.kubernetes.io/is-default-class="true" --overwrite此更改仅影响新配置的卷。 它不会更改现有卷的数据引擎。
验证设置、存储类、磁盘和卷:
kubectl -n longhorn-system get settings.longhorn.io \
v1-data-engine v2-data-engine
kubectl get storageclass longhorn-v2 \
-o jsonpath='dataEngine={.parameters.dataEngine}{"\n"}'
kubectl -n longhorn-system get nodes.longhorn.io
kubectl -n longhorn-system get volumes.longhorn.io \
-o custom-columns='NAME:.metadata.name,ENGINE:.spec.dataEngine,STATE:.status.state,ROBUSTNESS:.status.robustness'66.3 将 V1 卷迁移到 V2 #
SUSE Storage 1.12.1 不支持将现有卷就地从 V1 转换为 V2。 规划一个维护窗口,并将每个工作负载迁移到新的 V2 卷。
备份应用程序及其 V1 卷。
停止或缩减所有写入源 PVC 的工作负载。
在同一名称空间中创建一个目标 PVC,使用
longhorn-v2存储类,且容量等于或大于源 PVC。使用应用程序支持的方法复制数据。
在更改工作负载以使用目标 PVC 之前,请验证复制的数据。
更新或重新创建工作负载,使其引用 V2 PVC。
保留 V1 卷,直到在 V2 上验证了应用程序,然后根据您的保留策略将其删除。
对于不由数据库或其他需要一致性感知迁移的应用程序管理的文件系统卷,单个维护 Pod 可以以只读方式挂载 V1 源,并以读/写方式挂载 V2 目标:
apiVersion: batch/v1
kind: Job
metadata:
name: copy-v1-to-v2
namespace: <application-namespace>
spec:
backoffLimit: 3
template:
spec:
restartPolicy: Never
containers:
- name: copy
image: registry.suse.com/bci/bci-micro:latest
command:
- /bin/bash
- -c
- |
set -euo pipefail
cp -a /source/. /destination/
sync
volumeMounts:
- name: source
mountPath: /source
readOnly: true
- name: destination
mountPath: /destination
volumes:
- name: source
persistentVolumeClaim:
claimName: <v1-pvc-name>
- name: destination
persistentVolumeClaim:
claimName: <v2-pvc-name>复制作业仅是一个通用的文件系统示例。 对于数据库、原始块卷以及有自身一致性要求的应用程序,请使用应用程序原生的备份和恢复或复制功能。 在删除源 PVC 之前,请验证所有权、权限、扩展属性和应用程序数据。
在每个工作负载迁移完成后,确认没有剩余的 V1 卷:
kubectl -n longhorn-system get volumes.longhorn.io \
-o custom-columns='NAME:.metadata.name,ENGINE:.spec.dataEngine,STATE:.status.state'然后,您可以在 Helm 值中禁用 V1 Data Engine 并升级版本:
defaultSettings:
v1DataEngine: false
v2DataEngine: true
persistence:
dataEngine: v2如果 Helm 升级后运行设置仍处于启用状态,请显式禁用它:
kubectl -n longhorn-system patch settings.longhorn.io v1-data-engine \
--type merge --patch '{"value":"false"}'再次运行卷清单命令,并在删除任何 V1 特定节点存储之前确认没有遗漏任何 V1 卷。
66.4 使用限制 #
在将工作负载迁移到 V2 之前,请查看 V1 和 V2 功能比较。 以下限制与 SUSE Storage 1.12.1 特别相关:
V1 卷无法在原地转换为 V2。
不支持 V2 后端镜像。使用 CDI 进行 KubeVirt 镜像导入工作流。
V2 Data Engine 不支持严格本地卷、离线快速副本重建、修订计数器和孤立实例管理。
在SUSE Storage 1.12补丁版本之间升级之前,必须先分离V2卷,因为不支持V2引擎在线升级。
分片 V2 数据引擎处于实验阶段,且在功能上与复制的 V2 卷不完全对等。请勿将其用于需要不支持的功能(如备份和恢复、灾难恢复、克隆或在线迁移)的生产工作负载。
在 ARM64 上,由 NVMe 块设备支持的 V2 卷存在上游限制。部署前请查看 Longhorn 重要说明。
67 使用 ClusterClass 部署下游集群 #
67.1 简介 #
部署 Kubernetes 集群是一项复杂的任务,需要深厚的配置集群组件的专业知识。随着配置变得越来越复杂,或者不同提供程序的需求引入了大量特定于提供程序的资源定义,集群创建可能会让人望而生畏。 值得庆幸的是,Kubernetes 集群 API (CAPI) 提供了一种更优雅的声明式方法,并通过 ClusterClass 得到了进一步增强。 此功能引入了模板驱动的模型,允许您定义一个可重用的集群类,该类封装了复杂性并促进了一致性。
67.2 什么是 ClusterClass? #
CAPI 项目引入了 ClusterClass 功能,通过采用基于模板的集群实例化方法,实现了 Kubernetes 集群生命周期管理的范式转变。用户无需为每个集群独立定义资源,而是定义一个 ClusterClass,它充当全面且可重用的蓝图。这种抽象表示封装了 Kubernetes 集群的期望状态和配置,从而能够快速且一致地创建符合既定规范的多个集群。 这种抽象减少了配置负担,从而使部署清单更易于管理。 这意味着工作负载集群的核心组件是在类级别定义的,允许用户将这些模板作为 Kubernetes 集群类型反复用于集群配置。 ClusterClass 的实现带来了几个关键优势,解决了传统 CAPI 大规模管理中固有的挑战:
显著降低复杂性和 YAML 冗长性
优化的维护和更新流程
增强跨部署的一致性和标准化
改进的可伸缩性和自动化能力
声明式管理和强大的版本控制
67.3 当前 CAPI 配置文件示例 #
使用 CAPRKE2(控制平面和启动)和 CAPM3(基础设施)提供程序利用集群 API (CAPI) 部署 Kubernetes 集群,需要您定义多个自定义资源。 这些资源定义了集群的期望状态及其底层基础设施,使 CAPI 能够编排部署和管理生命周期。 下面的代码片段说明了为了实例化仅包含控制平面节点的 Kubernetes 集群而必须配置的资源类型:
集群:此资源封装了高级配置,包括规范节点间通信和服务发现的网络拓扑。此外,它建立了与控制平面规范和指定基础设施提供商资源的必要链接,从而告知 CAPI 有关期望的集群架构以及在其上进行部署的底层基础设施。
Metal3Cluster:此资源定义了 Metal3 特有的基础设施级属性,例如可通过其访问 Kubernetes API 服务器的外部端点。
RKE2ControlPlane:RKE2ControlPlane 资源定义了集群控制平面节点的特性和行为。在此规范中,配置了诸如控制平面副本的期望数量(对于确保高可用性和容错能力至关重要)、特定的 Kubernetes 发行版版本(与所选的 RKE2 版本保持一致)以及向控制平面组件推出更新的策略等参数。此外,该资源规定了将在集群中使用的容器网络接口(CNI),并促进了代理特定配置的注入,通常利用 Ignition 来实现控制平面节点上 RKE2 代理的无缝和自动化部署。
Metal3MachineTemplate:此资源用作创建构成集群控制平面节点的各个计算实例的蓝图。
Metal3DataTemplate:作为 Metal3MachineTemplate 的补充,Metal3DataTemplate 资源允许为新供应的机器实例指定额外的元数据。
apiVersion: cluster.x-k8s.io/v1beta2 kind: Cluster metadata: name: emea-spa-cluster-3 namespace: emea-spa labels: cluster-api.cattle.io/rancher-auto-import: "true" spec: clusterNetwork: pods: cidrBlocks: - 192.168.0.0/18 services: cidrBlocks: - 10.96.0.0/12 controlPlaneRef: apiGroup: controlplane.cluster.x-k8s.io kind: RKE2ControlPlane name: emea-spa-cluster-3 infrastructureRef: apiGroup: infrastructure.cluster.x-k8s.io kind: Metal3Cluster name: emea-spa-cluster-3 --- apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3Cluster metadata: name: emea-spa-cluster-3 namespace: emea-spa spec: controlPlaneEndpoint: host: 192.168.122.203 port: 6443 cloudProviderEnabled: false --- apiVersion: controlplane.cluster.x-k8s.io/v1beta2 kind: RKE2ControlPlane metadata: name: emea-spa-cluster-3 namespace: emea-spa spec: machineTemplate: spec: infrastructureRef: apiGroup: infrastructure.cluster.x-k8s.io kind: Metal3MachineTemplate name: emea-spa-cluster-3 replicas: 1 version: v1.36.3+rke2r1 rolloutStrategy: type: "RollingUpdate" rollingUpdate: maxSurge: 1 registrationMethod: "control-plane-endpoint" registrationAddress: 192.168.122.203 serverConfig: cni: cilium cniMultusEnable: true tlsSan: - 192.168.122.203 - https://192.168.122.203.sslip.io agentConfig: format: ignition additionalUserData: config: | variant: fcos version: 1.4.0 storage: files: - path: /var/lib/rancher/rke2/server/manifests/endpoint-copier-operator.yaml overwrite: true contents: inline: | apiVersion: helm.cattle.io/v1 kind: HelmChart metadata: name: endpoint-copier-operator namespace: kube-system spec: chart: oci://registry.suse.com/edge/charts/endpoint-copier-operator targetNamespace: endpoint-copier-operator version: 307.0.1+up0.3.0 createNamespace: true - path: /var/lib/rancher/rke2/server/manifests/metallb.yaml overwrite: true contents: inline: | apiVersion: helm.cattle.io/v1 kind: HelmChart metadata: name: metallb namespace: kube-system spec: chart: oci://registry.suse.com/edge/charts/metallb targetNamespace: metallb-system version: 307.0.3+up0.16.1 createNamespace: true - path: /var/lib/rancher/rke2/server/manifests/metallb-cr.yaml overwrite: true contents: inline: | apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: kubernetes-vip-ip-pool namespace: metallb-system spec: addresses: - 192.168.122.203/32 serviceAllocation: priority: 100 namespaces: - default serviceSelectors: - matchExpressions: - {key: "serviceType", operator: In, values: [kubernetes-vip]} --- apiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: ip-pool-l2-adv namespace: metallb-system spec: ipAddressPools: - kubernetes-vip-ip-pool - path: /var/lib/rancher/rke2/server/manifests/endpoint-svc.yaml overwrite: true contents: inline: | apiVersion: v1 kind: Service metadata: name: kubernetes-vip namespace: default labels: serviceType: kubernetes-vip spec: ports: - name: rke2-api port: 9345 protocol: TCP targetPort: 9345 - name: k8s-api port: 6443 protocol: TCP targetPort: 6443 type: LoadBalancer systemd: units: - name: rke2-preinstall.service enabled: true contents: | [Unit] Description=rke2-preinstall Wants=network-online.target Before=rke2-install.service ConditionPathExists=!/run/cluster-api/bootstrap-success.complete [Service] Type=oneshot User=root ExecStartPre=/bin/sh -c "mount -L config-2 /mnt" # Note we use _ as a delimiter for sed here because the providerid includes / characters ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml" ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml" ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml" ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml" ExecStartPost=/bin/sh -c "umount /mnt" [Install] WantedBy=multi-user.target kubelet: extraArgs: - provider-id=metal3://PROVIDERID nodeName: "localhost.localdomain" --- apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3MachineTemplate metadata: name: emea-spa-cluster-3 namespace: emea-spa spec: nodeReuse: True template: spec: automatedCleaningMode: metadata dataTemplate: name: emea-spa-cluster-3 hostSelector: matchLabels: cluster-role: control-plane deploy-region: emea-spa cluster-type: group-3 image: checksum: http://fileserver.local:8080/eibimage-downstream-cluster.raw.sha256 checksumType: sha256 diskFormat: raw url: http://fileserver.local:8080/eibimage-downstream-cluster.raw --- apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3DataTemplate metadata: name: emea-spa-cluster-3 namespace: emea-spa spec: clusterName: emea-spa-cluster-3 metaData: objectNames: - key: name object: machine - key: local-hostname object: machine - key: local_hostname object: machine
将标签 cluster-api.cattle.io/rancher-auto-import: "true" 添加到 Cluster API 对象所在的 cluster.x-k8s.io API 组中,将会把集群导入 Rancher(通过在 Cluster API 组中创建相应的 Rancher management.cattle.io API 对象)。
有关更多信息,请参阅 Cluster API 文档。
67.4 将 CAPI 配置文件转换为 ClusterClass #
67.4.1 ClusterClass 定义 #
以下代码定义了一个 ClusterClass 资源,这是一个用于一致地部署特定类型 Kubernetes 集群的声明式模板。本规范包含通用的基础设施和控制平面配置,能够实现跨集群组的高效配置和统一的生命周期管理。 在以下 ClusterClass 示例中定义了一些变量,这些变量将在集群实例化过程中使用为每个集群实例请求的实际值进行替换。 示例中使用了以下变量:
metallbHelmChartVersion:此可选变量允许指定要在集群中部署的MetalLBHelm chart 版本;如果不提供,则不会部署MetalLBHelm chart。endpointCopierOperatorHelmChartVersion:此可选变量允许指定要在集群中部署的Endpoint Copier OperatorHelm chart 版本(当同时也提供了MetalLBHelm chart 的版本时);如果不提供,则不会部署Endpoint Copier OperatorHelm chart。controlPlaneMachineTemplateImageURL:此必需变量允许指定用于配置控制平面机器的镜像 URL。controlPlaneMachineTemplateHostSelectorDeployRegion:此必需变量允许指定控制平面机器的deploy-region主机选择器值。controlPlaneMachineTemplateHostSelectorClusterType:此必需变量允许指定控制平面机器的cluster-type主机选择器值。controlPlaneMachineTemplateDataTemplateName:此必需变量允许指定用于控制平面机器的Metal3DataTemplateAPI 对象的名称。controlPlaneEndpointHost:此必需变量允许指定控制平面端点的主机名或 IP 地址。tlsSan:此必需变量用于指定控制平面端点的 TLS 主题备用名称列表。
ClusterClass 定义文件由以下四个资源组成:
ClusterClass:此资源封装了整个集群类定义,包括控制平面和基础设施模板。此外,它还包含将在实例化过程中替换的变量列表(并定义了使用这些变量的补丁)。
RKE2ControlPlaneTemplate:此资源定义了控制平面模板,指定了控制平面节点的所需配置。此外,一些参数将在实例化过程中被替换为正确的值。
Metal3ClusterTemplate:此资源定义了基础设施模板,指定了底层基础设施的所需配置。它包括控制平面端点和 cloudProviderEnabled (true|false) 标志等参数。此外,一些参数将在实例化过程中被替换为正确的值。
Metal3MachineTemplate:此资源定义了控制平面节点的机器模板蓝图,为在实例化过程中需要替换为正确值的参数提供了占位符。
apiVersion: controlplane.cluster.x-k8s.io/v1beta2 kind: RKE2ControlPlaneTemplate metadata: name: example-controlplane namespace: emea-spa spec: template: spec: rolloutStrategy: type: "RollingUpdate" rollingUpdate: maxSurge: 1 registrationMethod: "control-plane-endpoint" registrationAddress: TO-BE-PATCHED-AUTOMATICALLY # This will be replaced by the involved patch when applying the cluster instance serverConfig: cni: cilium cniMultusEnable: true tlsSan: - TO-BE-PATCHED-AUTOMATICALLY # This will be replaced by the involved patch when applying the cluster instance agentConfig: format: ignition additionalUserData: config: | # This will be replaced by the involved patch when applying the cluster instance TO-BE-PATCHED-AUTOMATICALLY kubelet: extraArgs: - provider-id=metal3://PROVIDERID nodeName: "localhost.localdomain" --- apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3ClusterTemplate metadata: name: example-cluster-template namespace: emea-spa spec: template: spec: controlPlaneEndpoint: host: TO-BE-PATCHED-AUTOMATICALLY # This will be replaced by the involved patch when applying the cluster instance port: 6443 cloudProviderEnabled: false --- apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3MachineTemplate metadata: name: example-controlplane-machineinfrastructure namespace: emea-spa spec: nodeReuse: true template: spec: automatedCleaningMode: metadata dataTemplate: name: to-be-patched-automatically # This will be replaced by the involved patch when applying the cluster instance hostSelector: matchLabels: # The labels used to identify the BMHs to select. cluster-role: control-plane deploy-region: TO-BE-PATCHED-AUTOMATICALLY # This will be replaced by the involved patch when applying the cluster instance cluster-type: TO-BE-PATCHED-AUTOMATICALLY # This will be replaced by the involved patch when applying the cluster instance image: checksum: http://TO-BE-PATCHED-AUTOMATICALLY # This will be replaced by the involved patch when applying the cluster instance checksumType: sha256 diskFormat: raw url: http://TO-BE-PATCHED-AUTOMATICALLY # This will be replaced by the involved patch when applying the cluster instance --- apiVersion: cluster.x-k8s.io/v1beta2 kind: ClusterClass metadata: name: example-clusterclass namespace: emea-spa spec: infrastructure: templateRef: kind: Metal3ClusterTemplate apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 name: example-cluster-template controlPlane: templateRef: kind: RKE2ControlPlaneTemplate apiVersion: controlplane.cluster.x-k8s.io/v1beta2 name: example-controlplane machineInfrastructure: templateRef: kind: Metal3MachineTemplate apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 name: example-controlplane-machineinfrastructure variables: - name: metallbHelmChartVersion required: false schema: openAPIV3Schema: type: string - name: endpointCopierOperatorHelmChartVersion required: false schema: openAPIV3Schema: type: string - name: controlPlaneMachineTemplateImageURL required: true schema: openAPIV3Schema: type: string - name: controlPlaneMachineTemplateHostSelectorDeployRegion required: true schema: openAPIV3Schema: type: string - name: controlPlaneMachineTemplateHostSelectorClusterType required: true schema: openAPIV3Schema: type: string - name: controlPlaneMachineTemplateDataTemplateName required: true schema: openAPIV3Schema: type: string - name: controlPlaneEndpointHost required: true schema: openAPIV3Schema: type: string - name: tlsSan required: true schema: openAPIV3Schema: type: array items: type: string patches: - name: setControlPlaneMachineTemplateImageURL definitions: - selector: apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3MachineTemplate matchResources: controlPlane: true # Added to select ControlPlane jsonPatches: - op: replace path: "/spec/template/spec/image/url" valueFrom: variable: controlPlaneMachineTemplateImageURL - op: replace path: "/spec/template/spec/image/checksum" valueFrom: template: "{{ .controlPlaneMachineTemplateImageURL }}.sha256" - name: setControlPlaneMachineTemplateHostSelectorDeployRegion definitions: - selector: apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3MachineTemplate matchResources: controlPlane: true jsonPatches: - op: replace path: "/spec/template/spec/hostSelector/matchLabels/deploy-region" valueFrom: variable: controlPlaneMachineTemplateHostSelectorDeployRegion - name: setControlPlaneMachineTemplateHostSelectorClusterType definitions: - selector: apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3MachineTemplate matchResources: controlPlane: true # Added to select ControlPlane jsonPatches: - op: replace path: "/spec/template/spec/hostSelector/matchLabels/cluster-type" valueFrom: variable: controlPlaneMachineTemplateHostSelectorClusterType - name: setControlPlaneMachineTemplateDataTemplateName definitions: - selector: apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3MachineTemplate matchResources: controlPlane: true # Added to select ControlPlane jsonPatches: - op: replace path: "/spec/template/spec/dataTemplate/name" valueFrom: variable: controlPlaneMachineTemplateDataTemplateName - name: setControlPlaneEndpoint definitions: - selector: apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3ClusterTemplate matchResources: infrastructureCluster: true # Added to select InfraCluster jsonPatches: - op: replace path: "/spec/template/spec/controlPlaneEndpoint/host" valueFrom: variable: controlPlaneEndpointHost - name: setRegistrationAddress definitions: - selector: apiVersion: controlplane.cluster.x-k8s.io/v1beta2 kind: RKE2ControlPlaneTemplate matchResources: controlPlane: true # Added to select ControlPlane jsonPatches: - op: replace path: "/spec/template/spec/registrationAddress" valueFrom: variable: controlPlaneEndpointHost - name: setTlsSan definitions: - selector: apiVersion: controlplane.cluster.x-k8s.io/v1beta2 kind: RKE2ControlPlaneTemplate matchResources: controlPlane: true # Added to select ControlPlane jsonPatches: - op: replace path: "/spec/template/spec/serverConfig/tlsSan" valueFrom: variable: tlsSan - name: updateAdditionalUserData definitions: - selector: apiVersion: controlplane.cluster.x-k8s.io/v1beta2 kind: RKE2ControlPlaneTemplate matchResources: controlPlane: true jsonPatches: - op: replace path: "/spec/template/spec/agentConfig/additionalUserData" valueFrom: template: | config: | variant: fcos version: 1.4.0 {{ if .metallbHelmChartVersion }} storage: files: - path: /var/lib/rancher/rke2/server/manifests/metallb.yaml overwrite: true contents: inline: | apiVersion: helm.cattle.io/v1 kind: HelmChart metadata: name: metallb namespace: kube-system spec: chart: oci://registry.suse.com/edge/charts/metallb targetNamespace: metallb-system version: {{ .metallbHelmChartVersion }} createNamespace: true {{ if .endpointCopierOperatorHelmChartVersion }} - path: /var/lib/rancher/rke2/server/manifests/endpoint-copier-operator.yaml overwrite: true contents: inline: | apiVersion: helm.cattle.io/v1 kind: HelmChart metadata: name: endpoint-copier-operator namespace: kube-system spec: chart: oci://registry.suse.com/edge/charts/endpoint-copier-operator targetNamespace: endpoint-copier-operator version: {{ .endpointCopierOperatorHelmChartVersion }} createNamespace: true - path: /var/lib/rancher/rke2/server/manifests/metallb-cr.yaml overwrite: true contents: inline: | apiVersion: metallb.io/v1beta1 kind: IPAddressPool metadata: name: kubernetes-vip-ip-pool namespace: metallb-system spec: addresses: - {{ .controlPlaneEndpointHost }}/32 serviceAllocation: priority: 100 namespaces: - default serviceSelectors: - matchExpressions: - {key: "serviceType", operator: In, values: [kubernetes-vip]} --- apiVersion: metallb.io/v1beta1 kind: L2Advertisement metadata: name: ip-pool-l2-adv namespace: metallb-system spec: ipAddressPools: - kubernetes-vip-ip-pool - path: /var/lib/rancher/rke2/server/manifests/endpoint-svc.yaml overwrite: true contents: inline: | apiVersion: v1 kind: Service metadata: name: kubernetes-vip namespace: default labels: serviceType: kubernetes-vip spec: ports: - name: rke2-api port: 9345 protocol: TCP targetPort: 9345 - name: k8s-api port: 6443 protocol: TCP targetPort: 6443 type: LoadBalancer {{ end }} {{ end }} systemd: units: - name: rke2-preinstall.service enabled: true contents: | [Unit] Description=rke2-preinstall Wants=network-online.target Before=rke2-install.service ConditionPathExists=!/run/cluster-api/bootstrap-success.complete [Service] Type=oneshot User=root ExecStartPre=/bin/sh -c "mount -L config-2 /mnt" # Note we use _ as a delimiter for sed here because the providerid includes / characters ExecStart=/bin/sh -c "sed -i \"s_PROVIDERID_$(jq -r .providerid /mnt/openstack/latest/meta_data.json)_\" /etc/rancher/rke2/config.yaml" ExecStart=/bin/sh -c "echo \"node-name: $(jq -r .name /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml" ExecStart=/bin/sh -c "echo \"node-label:\" >> /etc/rancher/rke2/config.yaml" ExecStart=/bin/sh -c "echo \" - metal3.io/uuid=$(jq -r .uuid /mnt/openstack/latest/meta_data.json)\" >> /etc/rancher/rke2/config.yaml" ExecStartPost=/bin/sh -c "umount /mnt" [Install] WantedBy=multi-user.target
67.4.2 集群实例定义 #
在 ClusterClass 的上下文中,集群实例是指根据定义的 ClusterClass 创建的特定、正在运行的集群实例化。 它代表了一个具体的部署,具有其独特的配置、资源和运行状态,直接派生自 ClusterClass 中指定的蓝图。 这包括正在运行的特定机器集、网络配置以及相关的 Kubernetes 组件。 了解集群实例对于管理生命周期、执行升级、执行伸缩操作以及对使用 ClusterClass 框架配置的特定已部署集群进行监控至关重要。
要定义集群实例,我们需要定义以下两个资源:
集群:此资源代表实际的集群实例,包括对其
topology(即ClusterClass对象)的引用、所需的 Kubernetes 版本、要实例化的控制平面节点数量,以及提供给所引用的ClusterClass中定义的每个变量的值,这些值将在实例化过程中使用。Metal3DataTemplate:此资源为集群中的机器(本例中仅为控制平面机器)提供了额外的元数据,补充了每个实例化集群自动创建的
Metal3MachineTemplate对象。请注意,无法定义一个适用于所有从同一个ClusterClass实例化的集群的单一Metal3DataTemplate资源,因为Metal3DataTemplate规范中的clusterName字段必须引用其“所属”的特定集群实例。apiVersion: cluster.x-k8s.io/v1beta2 kind: Cluster metadata: name: emea-spa-cluster-3 namespace: emea-spa labels: cluster-api.cattle.io/rancher-auto-import: "true" spec: topology: classRef: name: example-clusterclass namespace: emea-spa version: v1.36.3+rke2r1 controlPlane: replicas: 1 variables: # Values to be replaced in the clusterclass template variables to create this specific cluster - name: endpointCopierOperatorHelmChartVersion value: 307.0.1+up0.3.0 - name: metallbHelmChartVersion value: 307.0.3+up0.16.1 - name: controlPlaneMachineTemplateImageURL value: http://fileserver.local:8080/eibimage-downstream-cluster.raw.sha256 - name: controlPlaneMachineTemplateHostSelectorDeployRegion value: emea-spa - name: controlPlaneMachineTemplateHostSelectorClusterType value: group-3 - name: controlPlaneMachineTemplateDataTemplateName value: emea-spa-cluster-3 - name: controlPlaneEndpointHost value: 192.168.122.203 - name: tlsSan value: - 192.168.122.203 - https://192.168.122.203.sslip.io --- apiVersion: infrastructure.cluster.x-k8s.io/v1beta2 kind: Metal3DataTemplate metadata: name: emea-spa-cluster-3 namespace: emea-spa spec: clusterName: emea-spa-cluster-3 metaData: objectNames: - key: name object: machine - key: local-hostname object: machine - key: local_hostname object: machine
将标签 cluster-api.cattle.io/rancher-auto-import: "true" 添加到 Cluster API 对象所在的 cluster.x-k8s.io API 组中,将会把集群导入 Rancher(通过在 Cluster API 组中创建相应的 Rancher management.cattle.io API 对象)。
有关更多信息,请参阅 Cluster API 文档。
这种方法简化了流程,使您在定义好集群类蓝图后,仅需使用两个资源即可部署集群。
68 Longhorn Volume 加密 #
Longhorn 是一个用于 Kubernetes 的分布式块存储系统,提供具有复制和高可用性功能的持久化存储。本指南演示了如何配置带有 LUKS/AES-256 加密的 Longhorn,以确保数据在静止状态下得到保护。
68.1 简介 #
数据安全是现代云原生应用的关键要求,特别是在处理敏感信息的环境中。卷加密提供了一个基础安全层,即使在物理安全受到威胁的情况下,也能保护存储在物理介质上的数据免受未经授权的访问。
Longhorn 使用行业标准的加密技术实现卷级加密:
LUKS (Linux 统一密钥设置):一种块设备加密规范,提供了一种与平台无关的标准磁盘格式
AES-256:高级加密标准,使用 256 位密钥,提供强大的加密保护
68.2 为什么要实施卷加密 #
卷加密解决了多项安全和合规性要求:
静态数据保护:物理存储介质上的加密数据即使在磁盘被物理移除或盗窃的情况下,也能防止未经授权的访问。
监管合规:GDPR、HIPAA 和 PCI-DSS 等行业法规要求对敏感数据进行加密,这使得卷加密对于遵守法规至关重要。
纵深防御:加密提供了一个额外的安全层,是对 Kubernetes RBAC 和网络策略的补充。
安全数据销毁:加密卷可以通过简单地销毁加密密钥来安全地停用,从而确保数据永久无法访问。
加密在卷级别透明地应用。应用程序通过标准的 Kubernetes 持久卷声明与加密卷交互,无需修改代码。
68.3 体系结构概述 #
Longhorn 加密与 Kubernetes 容器存储接口 (CSI) 集成,以提供透明的卷加密。加密过程在卷配置期间进行,并通过以下组件进行管理:
Kubernetes Secret:加密密钥作为 Kubernetes Secret 资源安全地存储
StorageClass 参数:加密配置通过 CSI 特定参数进行指定
LUKS 设备映射程序:每个加密卷都由一个 LUKS 加密设备映射程序目标提供支持
CSI 驱动程序:Longhorn CSI 驱动程序负责管理加密密钥检索和卷暂存
加密工作流程如下:
当持久卷声明 (PVC) 从加密的 StorageClass 请求存储时,Longhorn CSI 驱动程序会从指定的 Secret 中检索加密密钥
使用加密密钥创建一个 LUKS 加密设备映射程序目标
写入卷的所有数据在提交到底层存储之前都会被加密
当卷挂载时,CSI 驱动程序通过使用存储的加密密钥解锁 LUKS 设备来暂存卷
68.4 先决条件 #
在实施 Longhorn 卷加密之前,请确保满足以下先决条件:
一个已安装 SUSE Storage 1.12.1 的功能性 Kubernetes 集群
已启用并按照 第 66 章 “SUSE Storage V2 Data Engine” 中所述准备好的 V2 数据引擎
具有适当 RBAC 权限的集群管理访问权限
配置了集群访问权限的
kubectl命令行工具用于加密密钥生成的
openssl实用程序
68.5 实现 #
生成加密密钥
必须使用加密安全的随机数生成来执行加密密钥生成。运行以下命令以生成以
base64格式编码的 256 位加密密钥:openssl rand -base64 32示例输出:
Kq8Xh2vN9pL3mZ1wR4tY6uI0oP5aS7dF8gH9jK1lM2n=警告密钥管理关键要求
切勿将加密密钥提交到版本控制系统
丢失加密密钥会导致 永久且不可逆的数据丢失
创建加密密钥 Secret
生成后,必须将加密密钥作为 Kubernetes Secret 存储在
longhorn-system名称空间中:CRYPTO_KEY_VALUE="Kq8Xh2vN9pL3mZ1wR4tY6uI0oP5aS7dF8gH9jK1lM2n=" kubectl create secret generic longhorn-crypto \ --from-literal=CRYPTO_KEY_VALUE="${CRYPTO_KEY_VALUE}" \ -n longhorn-system验证 Secret 是否创建成功:
kubectl get secret longhorn-crypto -n longhorn-system提示在生产环境中,请考虑使用与 Kubernetes 集成的外部密钥管理解决方案(例如 External Secrets Operator 或 sealed-secrets),以避免将敏感数据直接存储在集群的 etcd 中。
配置加密的 StorageClass
定义一个
StorageClass,用于指定 Longhorn CSI 驱动程序的加密参数:apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: longhorn-encrypted provisioner: driver.longhorn.io allowVolumeExpansion: true parameters: dataEngine: "v2" numberOfReplicas: "3" staleReplicaTimeout: "2880" fromBackup: "" fsType: "ext4" dataLocality: "disabled" # Encryption configuration encrypted: "true" csi.storage.k8s.io/provisioner-secret-name: "longhorn-crypto" csi.storage.k8s.io/provisioner-secret-namespace: "longhorn-system" csi.storage.k8s.io/node-publish-secret-name: "longhorn-crypto" csi.storage.k8s.io/node-publish-secret-namespace: "longhorn-system" csi.storage.k8s.io/node-stage-secret-name: "longhorn-crypto" csi.storage.k8s.io/node-stage-secret-namespace: "longhorn-system"加密特定参数用于配置 CSI Secret 引用:
encrypted: "true"- 为从此 StorageClass 配置的所有卷启用 LUKS 加密csi.storage.k8s.io/provisioner-secret-name- 指定包含卷配置期间所用加密密钥的 Secretcsi.storage.k8s.io/node-publish-secret-name- 标识将卷挂载到 Pod 时所使用的 Secretcsi.storage.k8s.io/node-stage-secret-name- 引用卷暂存操作期间使用的 Secret
应用 StorageClass 定义:
kubectl apply -f longhorn-encrypted-storageclass.yaml验证 StorageClass 的创建和配置:
kubectl get storageclass longhorn-encrypted kubectl get storageclass longhorn-encrypted -o yaml
部署测试工作负载
为验证加密实现,请部署一个向加密卷写入数据的测试 Pod。
创建以下清单 (
test-encryption.yaml):# Test Longhorn Encryption # Deploys a simple pod that writes data to an encrypted volume --- # PVC using the encrypted StorageClass apiVersion: v1 kind: PersistentVolumeClaim metadata: name: test-encrypted-pvc namespace: default spec: accessModes: - ReadWriteOnce storageClassName: longhorn-encrypted resources: requests: storage: 1Gi --- # Pod that writes sensitive data to the volume apiVersion: v1 kind: Pod metadata: name: encryption-test-pod namespace: default labels: app: encryption-test spec: containers: - name: writer image: busybox command: - sh - -c - | echo "=== Writing sensitive data to encrypted volume ===" echo "SECRET DATA: Credit Card 4111-1111-1111-1111" > /data/secret.txt echo "SECRET DATA: Password MySuperSecret123!" >> /data/secret.txt echo "SECRET DATA: API Key sk-1234567890abcdef" >> /data/secret.txt date >> /data/secret.txt echo "=== Data written successfully ===" echo "Content of /data/secret.txt:" cat /data/secret.txt echo "=== Sleeping forever (use 'kubectl exec' to verify) ===" sleep infinity volumeMounts: - name: encrypted-storage mountPath: /data volumes: - name: encrypted-storage persistentVolumeClaim: claimName: test-encrypted-pvc此清单定义了:
一个
PersistentVolumeClaim从longhorn-encryptedStorageClass 请求 1Gi 存储的一个向加密卷写入测试数据并保持运行以供验证的 Pod
部署测试工作负载:
kubectl apply -f test-encryption.yaml监控 Pod 启动:
kubectl get pod encryption-test-pod -w
验证卷功能
一旦 Pod 达到
Running状态,请验证数据操作是否成功完成:查看 Pod 日志:
kubectl logs encryption-test-pod在 Pod 内运行 shell:
kubectl exec -it encryption-test-pod -- sh在 Pod 内,验证内容:
cat /data/secret.txt ls -lh /data/预期输出:
SECRET DATA: Credit Card 4111-1111-1111-1111 SECRET DATA: Password MySuperSecret123! SECRET DATA: API Key sk-1234567890abcdef Thu Jul 03 10:30:45 UTC 2026注意成功的数据操作确认了卷的配置和挂载功能。然而,仅凭此验证无法验证加密。以下步骤提供加密验证。
加密验证
若要确切验证加密是否处于活动状态,需要直接检查底层存储设备。
确定卷位置
确定哪个节点托管了卷副本:
# Get the PVC details kubectl get pvc test-encrypted-pvc # Get the associated PersistentVolume kubectl get pv | grep test-encrypted # View Longhorn volume details kubectl get volumes -n longhorn-system | grep test-encrypted访问节点并定位卷文件
通过 SSH 连接到托管该卷的节点(从之前的输出中识别):
# Connect to the node ssh root@<node-ip> # Locate the volume image file find /var/lib/longhorn -name "*.img*" -type f | grep -i test典型卷路径:
/var/lib/longhorn/replicas/pvc-abc12345-r-6789/volume-head-001.img尝试提取明文数据
运行以下命令以搜索未加密的数据:
# Attempt to find plaintext strings in the volume file strings /var/lib/longhorn/replicas/pvc-*/volume-head-*.img | grep -i "credit card"校验结果:
加密处于活动状态:未找到明文字符串(数据已加密)
加密处于非活动状态:检测到明文字符串(数据未加密)
十六进制检查
检查卷的原始字节内容:
# Navigate to the replica directory cd /var/lib/longhorn/replicas/pvc-XXXXX-r-YYYY/ # Display raw volume content hexdump -C volume-head-*.img | head -100加密卷输出(随机字节):
00000000 a3 7f 2c d9 8b 4e f1 2a 9c 5d 8e 6b 4f 1d 3c 7a |..,..N.*.[.kO.<z| 00000010 d2 9f 4a 8c 3b e7 6d 1e 5f 0c b8 a4 7d 2f 9e 6c |..J.;.m._...}/.l|未加密卷输出(可读 ASCII):
00000000 53 45 43 52 45 54 20 44 41 54 41 3a 20 43 72 65 |SECRET DATA: Cre| 00000010 64 69 74 20 43 61 72 64 20 34 31 31 31 2d 31 31 |dit Card 4111-11|
LUKS 设备校验
Longhorn 使用 Linux LUKS 子系统实现加密。校验 LUKS 设备映射器目标:
# List block devices with encryption type lsblk -o NAME,FSTYPE,SIZE,MOUNTPOINT | grep -i crypt # List device mapper crypt targets dmsetup ls --target cryptcrypto_LUKS文件系统类型或设备映射器加密目标的存在确认了 LUKS 加密处于活动状态。数据持久性验证
验证加密卷在 Pod 生命周期事件中保持数据完整性:
# Delete the pod (volume persists) kubectl delete pod encryption-test-pod # Recreate the pod kubectl apply -f test-encryption.yaml # Wait for Running state kubectl get pod encryption-test-pod -w # Verify data persistence kubectl exec -it encryption-test-pod -- cat /data/secret.txt数据应保持完整,以证明正确的卷持久性。
68.6 加密验证摘要 #
下表总结了加密验证指标:
| 验证方法 | 在 | 未加密 |
|---|---|---|
| 未找到明文 | 可见明文字符串 |
| 随机二进制数据 | 可读的 ASCII 文本 |
|
| 无 |
| 列出加密设备 | 未列出加密设备 |
68.7 测试环境清理 #
移除测试资源:
# Delete the test pod
kubectl delete -f test-encryption.yaml
# Delete the PVC and volume
kubectl delete pvc test-encrypted-pvc68.8 CAPI 集成 #
当使用 Cluster API (CAPI) 和 Metal3 部署集群时,加密配置可以嵌入到集群配置清单中,从而在初始集群启动时启用加密存储。
完整的参考实现可在 SUSE Edge telco-cloud-examples 储存库 中找到。
此参考实现包括:
用于多节点控制平面部署的 BareMetalHost 定义
集成了 Longhorn 加密配置的 CAPI 集群清单
集群初始化期间的 自动 Secret 分配
设置为默认的 预配置加密 StorageClass
用于 VIP 管理的 MetalLB 配置
用于控制平面端点同步的 Endpoint Copier Operator
在基于 CAPI 的部署中,加密密钥通常通过集群配置变量提供:
# Example variable reference from CAPI manifest
# Full manifests available in the repository
CRYPTO_KEY_VALUE: "YOUR_GENERATED_KEY_HERE"此变量在集群配置期间被使用,以自动在下游集群的 longhorn-system 名称空间中创建 longhorn-crypto Secret。
CAPI 加密部署注意事项:
在集群配置前使用
openssl rand -base64 32生成加密密钥将清单中的占位值替换为实际的加密密钥
切勿将包含真实加密密钥的清单提交到版本控制系统
实施带有 Secret 管理解决方案的 GitOps 工作流程
在企业 Secret 管理系统中维护加密密钥以进行灾难恢复
为每个集群使用唯一的加密密钥,以限制密钥泄露时的影响范围
第 X 部分 提示和技巧 #
Edge 组件的提示和技巧
- 69 Edge Image Builder
如果您处于非 Linux 环境中并按照这些说明构建镜像,那么您很可能正在通过虚拟机运行
Podman。默认情况下,此虚拟机配置为仅分配少量系统资源,这可能会导致Edge Image Builder在资源密集型操作(例如 RPM 解析过程)期间出现不稳定。您需要调整 podman 机器的资源,可以通过 Podman Desktop(设置齿轮 → podman 机器编辑图标)或直接通过podman-machine-set命令进行调整。- 70 Metal3
一旦创建了 Metalˆ3ˆ 集群对象及其相应的关联对象,就会执行一个处理来选择哪些
BareMetalHost将成为集群的一部分。 此处理使用标准的 Kubernetes 标签 和选择器将BareMetalHost与特定的Metal3MachineTemplate连接起来。
69 Edge Image Builder #
69.1 常用 #
如果您处于非 Linux 环境中并按照这些说明构建镜像,那么您很可能正在通过虚拟机运行
Podman。默认情况下,此虚拟机配置为仅分配少量系统资源,这可能会导致Edge Image Builder在资源密集型操作(例如 RPM 解析过程)期间出现不稳定。您需要调整 podman 机器的资源,可以通过 Podman Desktop(设置齿轮 → podman 机器编辑图标)或直接通过podman-machine-set命令进行调整。目前,
Edge Image Builder无法在跨架构设置中构建镜像,即您必须在以下系统上运行它:AArch64 系统(例如 Apple Silicon)以构建 SL Micro
aarch64镜像AMD64/Intel 64 系统以构建 SL Micro
x86_64镜像。
69.2 SUSE Linux Micro #
可以使用相应的
/etc/modprobe.d/module.conf文件在启动时加载内核模块。使用 Edge Image Builder 创建相应的os-files文件夹:
.
├── definition.yaml
└── os-files
└── etc
└── modprobe.d
└── module.conf有关更多信息,请参阅 SUSE Linux Enterprise Server 文档中的“管理内核模块”部分。
69.3 Kubernetes #
创建多节点 Kubernetes 集群需要将定义文件中的
kubernetes部分调整为:在
kubernetes.nodes下列出所有服务器和代理节点在
kubernetes.network.apiVIP下设置一个虚拟 IP 地址,供所有非初始化节点加入集群时使用(可选)在
kubernetes.network.apiHost下设置 API 主机以指定用于访问集群的域名地址。要了解有关此配置的更多信息,请参阅 Kubernetes 文档部分。
Edge Image Builder依赖于不同节点的主机名来确定其 Kubernetes 类型(server或agent)。虽然此配置是在定义文件中管理的,但对于机器的常规网络设置,我们可以使用 第 13 章 “边缘网络” 中所述的DHCP配置。
70 Metal3 #
70.1 BareMetalHost 选择和集群关联 #
一旦创建了 Metalˆ3ˆ 集群对象及其相应的关联对象,就会执行一个处理来选择哪些 BareMetalHost 将成为集群的一部分。
此处理使用标准的 Kubernetes 标签 和选择器将 BareMetalHost 与特定的 Metal3MachineTemplate 连接起来。
例如,每个 BareMetalHost 都被标记以识别其属性和预期的集群(例如,其集群角色、集群名称、位置等):
apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
name: mynode1
labels:
cluster-role: control-plane
cluster: foobar
location: madrid
datacenter: xyz
<snip>
---
apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
name: mynode2
labels:
cluster-role: worker
cluster: foobar
location: madrid
datacenter: xyz
<snip>
---
apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
name: mynode3
labels:
cluster-role: worker
cluster: foobar2
location: madrid
datacenter: xyz
<snip>
...然后,Metal3MachineTemplate 对象使用 spec.hostSelector 字段来匹配所需的 BareMetalHost。
matchLabels(用于精确的键值匹配)和 matchExpressions(用于更复杂的规则)均可使用:
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3MachineTemplate
metadata:
name: foobar-cluster-controlplane
namespace: mynamespace
spec:
template:
spec:
hostSelector:
matchLabels:
cluster-role: control-plane
cluster: foobar
<snip>
---
apiVersion: infrastructure.cluster.x-k8s.io/v1beta2
kind: Metal3MachineTemplate
metadata:
name: foobar-cluster-worker
namespace: mynamespace
spec:
template:
spec:
hostSelector:
matchExpressions:
- { key: cluster-role, operator: In, values: [worker] }
- { key: cluster, operator: In, values: [foobar] }
<snip>Kubernetes 名称空间也可用于更好地组织不同的对象。
70.2 清理旧的 EFI 引导条目 #
有时, UEFI 引导管理器会包含多个不再需要的旧操作系统条目(特别是对于多次重新配置的主机)。 您可以按照以下任一程序清理这些旧条目:
直接在 BIOS/EFI 设置界面上删除它们(具体步骤取决于硬件)。
运行 UEFI
bcfg外壳,命令如下:# List the entries bcfg boot dump -b # Delete entry number X bcfg boot rm X # X is the number associated the entry to remove. For example, if the entry is "Boot0002 foobar", then X is 2.在 Linux 系统上使用
efibootmgr,命令如下:# List the entries efibootmgr -v # Delete entry number X efibootmgr -b X -B
该处理可能会在 EFI 系统分区 (ESP) 上留下孤立文件,这些文件通常位于以供应商命名的子目录下(例如 EFI/opensuse 或 EFI/Microsoft)。
虽然这些文件通常无害,但如果它们占用了过多空间,则应将其删除,因为这可能会妨碍新操作系统或引导管理器的更新。
删除可能需要显式挂载 ESP,在 Linux 系统上通常挂载为 /boot/efi/EFI。
70.3 使用双密钥方法的自定义网络配置 #
当 Metal3 配置裸机节点时,它会经历两个不同的阶段,每个阶段可能需要不同的网络配置:
IPA 阶段,即 Ironic Python Agent (IPA) 内存盘在硬件检查和配置期间运行的阶段
目标操作系统阶段,即部署的 SLE Micro 系统在首次启动后运行的阶段
双密钥方法通过允许为每个阶段使用单独的网络配置密钥来解决此问题,即使用 preprovisioningNetworkDataName 字段进行 IPA 阶段配置,使用 networkData 字段进行目标操作系统阶段配置。
当接口名称在不同阶段之间不同时,这特别有用;这种情况可能会发生,因为 IPA 内核和 SLE Micro 内核可能会以不同的名称发现相同的硬件。
70.3.1 VLAN 接口重命名示例 #
一种常见的情况是硬件获取了较长的基于 PCI 的接口名称,例如 enp1s0np123。
在其之上添加 VLAN 可能会超过 Linux 内核对接口名称 15 个字符 的硬性限制:
enp1s0np123.100 = 15 chars (barely fits, risky)
enp1s0np123.3669 = 17 chars (exceeds limit, fails)
eth0.3669 = 9 chars (works)IPA 阶段必须引用 enp1s0np123(内核发现的名称),而目标操作系统应使用像 eth0 这样的短名称,以便 eth0.3669 保持在限制之内。nmc (nm-configurator) 通过 MAC 地址而非名称来匹配接口,从而连接这两个阶段 — 您可以声明 name: eth0 以及硬件 MAC 地址,nmc 会创建具有所需名称的 NetworkManager 控制文件,而无需考虑内核分配的名称。
70.3.2 先决条件: #
70.3.2.1 EIB 镜像设置 #
根据第 4.4.5.1 节 “配置静态 IP”,EIB 镜像必须包含一个首次启动脚本,该脚本会从 Metal3 在配置期间写入的 config-2 分区读取网络配置。
在 /opt/EIB/network/configure-network.sh 处创建以下脚本:
#!/bin/bash
set -eux
# Source: https://documentation.suse.com/suse-telco/3.7/html/telco/quickstart-metal3.html#metal3-add-network-eib
CONFIG_DRIVE=$(blkid --label config-2 || true)
if [ -z "${CONFIG_DRIVE}" ]; then
echo "No config-2 device found, skipping network configuration"
exit 0
fi
mount -o ro $CONFIG_DRIVE /mnt
NETWORK_DATA_FILE="/mnt/openstack/latest/network_data.json"
if [ ! -f "${NETWORK_DATA_FILE}" ]; then
umount /mnt
echo "No network_data.json found, skipping network configuration"
exit 0
fi
DESIRED_HOSTNAME=$(cat /mnt/openstack/latest/meta_data.json | tr ',\{\}' '\n' | grep '\"metal3-name\"' | sed 's/.*\"metal3-name\": \"\(.*\)\"/\1/')
echo "${DESIRED_HOSTNAME}" > /etc/hostname
mkdir -p /tmp/nmc/\{desired,generated\}
cp ${NETWORK_DATA_FILE} /tmp/nmc/desired/_all.yaml
umount /mnt
./nmc generate --config-dir /tmp/nmc/desired --output-dir /tmp/nmc/generated
./nmc apply --config-dir /tmp/nmc/generated然后使其可执行并照常构建 EIB 镜像:
mkdir -p /opt/EIB/network
chmod +x /opt/EIB/network/configure-network.shEIB 会自动从 network/ 目录中获取脚本。Combustion 会在首次启动时的 initramfs 中运行这些脚本,此时完整的操作系统尚未启动。
该脚本还从 Metal3 的 metal3-name 元数据字段设置节点主机名。
70.3.3 配置两个秘密 #
以下示例通篇使用虚拟值:数据网卡 MAC aa:bb:cc:11:22:33、引导网卡 MAC aa:bb:cc:44:55:66、节点 IP 10.0.0.10/24、网关 10.0.0.1、DNS 10.0.0.53、VLAN ID 100 以及 BMC 地址 10.1.0.10。
密钥 1 — IPA 阶段 (static-networkdata-ipa.yaml):引用内核分配的接口名称。此处使用 DHCP 以在硬件发现期间保持简单:
apiVersion: v1
kind: Secret
metadata:
name: static-networkdata-ipa
namespace: default
type: Opaque
stringData:
networkData: |
interfaces:
- name: enp1s0np123
type: ethernet
state: up
mac-address: "aa:bb:cc:11:22:33"
ipv4:
enabled: true
dhcp: true
dns-resolver:
config:
server:
- 10.0.0.53密钥 2 — 目标操作系统阶段 (static-networkdata-os.yaml):引用所需的短名称并声明 VLAN。使用相同的 MAC 地址,以便 nmc 可以匹配该接口:
apiVersion: v1
kind: Secret
metadata:
name: static-networkdata-os
namespace: default
type: Opaque
stringData:
networkData: |
interfaces:
- name: eth0
type: ethernet
state: up
mac-address: "aa:bb:cc:11:22:33"
mtu: 1500
ipv4:
enabled: false
dhcp: false
- name: eth0.100
type: vlan
state: up
mtu: 1500
vlan:
base-iface: eth0
id: 100
ipv4:
address:
- ip: 10.0.0.10
prefix-length: 24
enabled: true
dhcp: false
dns-resolver:
config:
server:
- 10.0.0.53
routes:
config:
- destination: 0.0.0.0/0
next-hop-address: 10.0.0.1
next-hop-interface: eth0.100BareMetalHost 对象引用了这两个密钥:
apiVersion: metal3.io/v1alpha1
kind: BareMetalHost
metadata:
name: my-node
namespace: default
spec:
online: true
bootMACAddress: "aa:bb:cc:44:55:66"
rootDeviceHints:
deviceName: /dev/nvme0n1
bmc:
address: redfish-virtualmedia://10.1.0.10/redfish/v1/Systems/1/
disableCertificateVerification: true
credentialsName: my-node-credentials
preprovisioningNetworkDataName: static-networkdata-ipa
networkData:
name: static-networkdata-ospreprovisioningNetworkDataName 是一个普通字符串字段,而 networkData 是一个需要 name: 子键的 SecretReference 对象。
两者的语法不同,这是常见的错误来源。
应用所有对象:
kubectl apply -f bmc-credentials.yaml
kubectl apply -f static-networkdata-ipa.yaml
kubectl apply -f static-networkdata-os.yaml
kubectl apply -f baremetalhost.yaml配置完成后,通过 SSH 连接到节点并验证:
# Interface names
ip link show
# Expected: eth0 and eth0.100@eth0
# IP on VLAN interface
ip addr show eth0.100
# NetworkManager profiles
nmcli connection show
# VLAN details
nmcli connection show eth0.100 | grep -E '(vlan.parent|vlan.id)'第 XI 部分 查错 #
本节提供了诊断和解决 SUSE Telco Cloud 部署和操作中常见问题的指南。它涵盖了各种主题,提供了特定于组件的故障排除步骤、关键工具和相关日志位置。
- 71 常规故障排除原则
在深入研究特定组件的问题之前,请考虑以下常规原则:
- 72 Kiwi 故障排除
Kiwi 用于生成更新的 SUSE Linux Micro 镜像,以供 Edge Image Builder 使用。
- 73 Edge Image Builder (EIB) 故障排除
EIB 用于创建自定义 SUSE Telco Cloud 镜像。
- 74 故障排除 Edge 网络 (NMC)
NMC 被注入到 SL Micro EIB 镜像中,以便在引导时通过 combustion 配置 Edge 主机的网络。它也作为检查过程的一部分在 Metal3 工作流中执行。当主机首次引导或在 Metal3 检查过程中可能会出现问题。
- 75 定向网络配置故障排查
定向网络配置场景涉及使用 Metal3 和 CAPI 元素来配置下游集群。它还包括用于创建操作系统映像的 EIB。在主机首次引导时,或在检查或配置过程中,可能会出现问题。
- 76 其他组件故障排除
其他 SUSE Telco Cloud 组件故障排除指南可参考其官方文档:
- 77 收集用于支持的诊断信息
在联系 SUSE 支持部门时,提供全面的诊断信息至关重要。
71 常规故障排除原则 #
在深入研究特定组件的问题之前,请考虑以下常规原则:
检查日志:日志是信息的主要来源。大多数情况下,错误是不言自明的,并包含有关失败原因的提示。
检查时钟:系统之间的时钟差异可能导致各种不同的错误。确保时钟同步。可以指示 EIB 在引导时强制进行时钟同步,请参阅 配置操作系统时间 (第 5 章 “使用 Edge Image Builder 的独立集群”)。
引导问题:如果系统在引导过程中卡住,请记下显示的最后几条消息。访问控制台(物理或通过 BMC)以观察引导消息。
网络问题:验证网络接口配置 (
ip a)、路由表 (ip route),测试与其他节点及外部服务之间的连通性 (ping,nc)。确保防火墙规则未阻止必要的端口。验证组件状态:使用
kubectl get和kubectl describe查看 Kubernetes 资源。使用kubectl get events --sort-by='.lastTimestamp' -n <namespace>查看特定 Kubernetes 名称空间上的事件。验证服务状态:使用
systemctl status <service>查看 systemd 服务。检查语法:软件对配置文件有特定的结构和语法要求。例如,对于 yaml 文件,请使用
yamllint或类似工具来验证语法是否正确。隔离问题:尝试将问题缩小到特定的组件或层(例如,网络、存储、操作系统、Kubernetes、Metal3、Ironic,…)。
文档:请务必参考官方 SUSE Telco Cloud 文档 以及上游文档以获取详细信息。
版本:SUSE Telco Cloud 是不同 SUSE 组件经过深思熟虑且经过全面测试的版本。每个 SUSE Telco Cloud 版本中各组件的版本可以在 SUSE Telco Cloud 支持矩阵 中查看。
已知问题:对于每个 SUSE Telco Cloud 版本,发行说明中都有一个“已知问题”部分,其中包含将在未来版本中修复但可能会影响当前版本的问题的相关信息。
72 Kiwi 故障排除 #
Kiwi 用于生成更新的 SUSE Linux Micro 镜像,以供 Edge Image Builder 使用。
SL Micro 版本不匹配:构建主机操作系统版本必须与正在构建的操作系统版本匹配(SL Micro 6.0 主机 → SL Micro 6.0 镜像)。
SELinux 处于强制状态:由于某些限制,目前需要暂时禁用 SELinux 才能使用 Kiwi 构建镜像。使用
getenforce检查 SELinux 状态,并在使用setenforce 0运行构建过程之前将其禁用。构建主机未注册:构建过程使用构建主机订阅来从 SUSE SCC 拉取软件包。如果主机未注册,则会失败。
循环设备测试失败:首次执行 Kiwi 构建过程时,它会在启动后不久失败,并显示“ERROR:早期循环设备测试失败,请重试容器运行。 这是底层主机系统上创建的循环设备在容器镜像内无法立即识别的症状。重新运行 Kiwi 构建过程,它应该可以顺利进行。
缺少权限:构建过程需要以 root 用户身份(或通过 sudo)运行。
权限错误:构建过程在运行容器时需要
--privileged标志。请仔细检查该标志是否存在。
构建容器日志:检查构建容器的日志。日志生成在用于存储制品的目录中。同时检查 docker logs 或 podman logs 以获取必要信息。
临时构建目录:Kiwi 在构建过程中会创建临时目录。如果主要输出不足,请检查这些目录以获取中间日志或制品。
查看
build-image输出:控制台输出中的错误消息通常非常有指示性。检查构建环境:确保运行 Kiwi 的机器满足 Kiwi 本身的所有先决条件(例如 docker/podman、SELinux、足够的磁盘空间)。
检查构建容器日志:查看失败容器的日志以获取更详细的错误信息(见上文)。
验证定义文件:如果您使用的是自定义 Kiwi 镜像定义文件,请仔细检查该文件是否存在任何拼写错误或语法问题。
73 Edge Image Builder (EIB) 故障排除 #
EIB 用于创建自定义 SUSE Telco Cloud 镜像。
错误的 SCC 代码:确保 EIB 定义文件中使用的 SCC 代码与 SL Micro 版本和架构相匹配。
缺少依赖项:确保构建环境中没有缺失的软件包或工具。
镜像大小不正确:对于 raw 镜像,
diskSize参数是必需的,并且它在很大程度上取决于镜像、RPM 以及包含在镜像中的其他制品。权限:如果将脚本存储在 custom/files 目录中,请确保其具有可执行权限,因为这些文件仅在燃烧时可用,而 EIB 不会对其进行任何更改。
操作系统组依赖:创建包含自定义用户和组的镜像时,应显式创建设置为 “primaryGroup” 的组。
操作系统用户的 SSH 密钥需要主文件夹:创建包含带有 SSH 密钥的用户的镜像时,还需要使用
createHomeDir=true创建主文件夹。燃烧问题:EIB 依赖燃烧过程来定制操作系统并部署所有其他 SUSE Telco Cloud 组件。这也包括放置在 custom/scripts 目录中的自定义脚本。请注意,燃烧过程是在
initrd时间执行的,因此在执行脚本时系统尚未完全启动。Podman 机器大小:正如 EIB 提示和技巧部分 (第 X 部分 “提示和技巧”) 中所述,请验证 Podman 机器是否有足够的处理器/内存来在非 Linux 操作系统上运行 EIB 容器。
镜像不正确:确保通过 验证
checksum正确下载了所使用的基础镜像。如果您正在使用 kiwi-builder (第 65 章 “使用 Kiwi 构建更新的 SUSE Linux Micro 镜像”) 构建镜像,请同时检查该过程生成的校验和文件。
EIB 输出:
eib build命令的控制台输出至关重要。构建容器日志:检查构建容器的日志。日志生成在用于存储制品的目录中。同时检查
docker logs或podman logs以获取必要信息。临时构建目录:EIB 在构建过程中会创建临时目录。如果主要输出不足,请检查这些目录以获取中间日志或制品。
燃烧日志:如果使用 EIB 构建的镜像因任何原因无法启动,则可以使用 root 外壳。连接到主机控制台(物理连接、通过 BMC 等),并使用
journalctl -u combustion检查燃烧日志,同时使用journalctl检查所有操作系统日志,以查找故障的根本原因。
查看
eib-build输出:控制台输出中的错误消息通常非常有指示性。检查构建环境:确保运行 EIB 的机器满足 EIB 本身的所有先决条件(例如 docker/podman、足够的磁盘空间)。
检查构建容器日志:查看失败容器的日志以获取更详细的错误信息(见上文)。
验证
eib配置:仔细检查eib配置文件,查看是否有任何拼写错误,或源文件或构建脚本的路径是否不正确。测试各个组件:如果您的 EIB 构建涉及自定义脚本或阶段,请独立运行它们以隔离故障。
74 故障排除 Edge 网络 (NMC) #
NMC 被注入到 SL Micro EIB 镜像中,以便在引导时通过 combustion 配置 Edge 主机的网络。它也作为检查过程的一部分在 Metal3 工作流中执行。当主机首次引导或在 Metal3 检查过程中可能会出现问题。
主机首次无法正常引导:格式错误的网络定义文件可能导致 combustion 阶段失败,随后主机会进入 root shell。
文件未正确生成:确保网络文件符合 NMState 格式。
网络接口未正确配置:确保 MAC 地址与主机上使用的接口匹配。
接口名称不匹配:SL Micro 默认启用 网络接口的可预测命名方案,因此不再有
eth0,而是使用诸如enp2s0之类的其他命名方案。
Combustion 日志:由于 nmc 在 combustion 阶段使用,请在正在配置的主机上使用
journalctl -u combustion检查 combustion 日志。NetworkManager 日志:在 Metal3 部署工作流中,nmc 是 IPA 执行的一部分,并且作为 NetworkManager 服务的一个依赖项,使用 systemd 的 ExecStartPre 功能来执行。以
journalctl -u NetworkManager身份检查 IPA 主机上的 NetworkManager 日志(请参阅 故障排除定向网络配置 (第 75 章 “定向网络配置故障排查”) 一节,了解如何访问使用 IPA 引导的主机)。
验证 yaml 语法: nmc 配置文件是 yaml 文件,请使用
yamllint或类似工具检查语法是否正确。手动运行 nmc:由于 nmc 是 EIB 容器的一部分,若要调试任何问题,可以使用本地 podman 命令。
创建一个临时文件夹来存储 nmc 文件。
mkdir -p ${HOME}/tmp/foo将 nmc 文件保存在该位置。
❯ tree --noreport ${HOME}/tmp/foo /Users/johndoe/tmp/foo ├── host1.example.com.yaml └── host2.example.com.yaml运行以 nmc 为入口点并带有 generate 命令的 EIB 容器,以执行 nmc 在 combustion 阶段会执行的相同任务:
podman run -it --rm -v ${HOME}/tmp/foo:/tmp/foo:Z --entrypoint=/usr/bin/nmc registry.suse.com/edge/3.7/edge-image-builder:1.3.4 generate --config-dir /tmp/foo --output-dir /tmp/foo/ [2025-06-04T11:58:37Z INFO nmc::generate_conf] Generating config from "/tmp/foo/host2.example.com.yaml"... [2025-06-04T11:58:37Z INFO nmc::generate_conf] Generating config from "/tmp/foo/host1.example.com.yaml"... [2025-06-04T11:58:37Z INFO nmc] Successfully generated and stored network config观察在临时文件夹中生成的日志和文件。
75 定向网络配置故障排查 #
定向网络配置场景涉及使用 Metal3 和 CAPI 元素来配置下游集群。它还包括用于创建操作系统映像的 EIB。在主机首次引导时,或在检查或配置过程中,可能会出现问题。
固件过旧:验证所使用的物理主机上的所有不同固件是否均已更新。这包括 BMC 固件,因为有时 Metal3 需要特定/更新的固件。
配置因 SSL 错误而失败:如果提供映像的 Web 服务器使用 https,则需要配置 Metal3 以在 IPA 映像上注入并信任该证书。请参阅 Kubernetes 文件夹 (第 29.4 节 “Kubernetes 文件夹”),了解如何将
ca-additional.crt文件包含到 Metal3 图表中。使用 IPA 引导主机时出现证书问题:某些服务器供应商在将虚拟媒体 ISO 映像附加到 BMC 时会验证 SSL 连接,这可能会导致问题,因为为 Metal3 部署生成的证书是自签名的。可能会出现主机正在引导但进入 UEFI shell 的情况。请参阅 禁用虚拟媒体 ISO 附加的 TLS (第 4.7.2 节 “禁用虚拟媒体 ISO 挂载的 TLS”) 以了解如何修复此问题。
名称或标签引用错误:如果集群引用的节点名称或标签错误,集群会显示为已部署,但 BMH 仍保持“可用”状态。请仔细检查 BMH 相关对象上的引用。
BMC 通信问题:确保在管理集群上运行的 Metal3 pod 能够访问正在配置的主机的 BMC(通常 BMC 网络受到严格限制)。
裸机主机状态不正确:BMH 对象在其生命周期内会进入不同的状态(检查中、准备中、已配置等) 状态机生命周期。如果检测到状态不正确,请检查 BMH 对象的
status字段,因为它包含更多信息,如kubectl get bmh <name> -o jsonpath=’{.status}’| jq。主机未被取消配置:如果计划取消配置的主机失败,可以在将“detached”注解添加到 BMH 对象后尝试移除,如下所示:
kubectl annotate bmh/<BMH> baremetalhost.metal3.io/detached=””。镜像错误:验证使用 EIB 为下游集群构建的镜像是否可用、是否具有正确的校验和,以及是否因过大而无法解压或超过磁盘容量。
磁盘大小不匹配:默认情况下,磁盘不会扩展以填满整个磁盘。正如 Growfs 脚本 (第 4.4.4.1.2 节 “Growfs 脚本”) 一节中所述,需要在使用 EIB 为下游集群主机构建的镜像中包含 Growfs 脚本。
清理处理卡住:清理处理会重试多次。如果由于主机问题导致无法进行清理,请先通过将 BMH 对象上的
automatedCleanMode字段设置为disabled来禁用清理。警告不建议在清理处理耗时过长或失败时手动去除终结器。这样做会从 Kubernetes 中删除主机记录,但会将其保留在 Ironic 中。当前正在运行的操作会在后台继续,并且由于冲突,再次添加主机的尝试可能会失败。
Metal3/Rancher Turtles/CAPI Pod 问题:所有必需组件的部署流程如下:
Rancher Turtles 控制器部署 CAPI 操作器控制器。
随后,CAPI 操作器控制器部署提供程序控制器(CAPI 核心、CAPM3 和 RKE2 控制平面/启动)。
验证所有 Pod 是否运行正常,否则请检查日志。
Metal3 日志:检查不同 pod 的日志。
kubectl logs -n metal3-system -l app.kubernetes.io/component=baremetal-operator kubectl logs -n metal3-system -l app.kubernetes.io/component=ironic注意metal3-ironic pod 在同一个 pod 上包含至少 4 个不同的容器(
ironic-httpd、` ironic-log-watch`、ironic和ironic-ipa-downloader(init))。使用kubectl logs时使用-c标志来验证每个容器的日志。注意如果网络连接支持将这些日志发送回管理集群,则
ironic-log-watch容器会在检查/配置后公开来自主机的控制台日志。这在出现配置错误但您无法直接访问 BMC 控制台日志的情况下非常有用。Rancher Turtles 日志:检查不同 pod 的日志。
kubectl logs -n cattle-turtles-system -l control-plane=controller-manager kubectl logs -n cattle-turtles-system -l app.kubernetes.io/name=cluster-api-operator kubectl logs -n rke2-bootstrap-system -l cluster.x-k8s.io/provider=bootstrap-rke2 kubectl logs -n rke2-control-plane-system -l cluster.x-k8s.io/provider=control-plane-rke2 kubectl logs -n cattle-capi-system -l cluster.x-k8s.io/provider=cluster-api kubectl logs -n capm3-system -l cluster.x-k8s.io/provider=infrastructure-metal3BMC 日志:通常 BMC 有一个 UI,可以在其中完成大部分交互。通常有一个“日志”部分,可以观察潜在问题(无法访问镜像、硬件故障等)。
控制台日志:连接到 BMC 控制台(通过 BMC webui、串口等)并检查正在写入的日志中是否存在错误。
检查
BareMetalHost状态:kubectl get bmh -A显示当前状态。查找provisioning、ready、error、registering。kubectl describe bmh -n <namespace> <bmh_name>提供详细的事件和条件,解释 BMH 可能卡住的原因。
测试 RedFish 连接:
使用 Metal3 控制平面中的
curl来测试通过 redfish 与 BMC 的连接。确保在
BareMetalHost-Secret定义中提供了正确的 BMC 凭据。
验证 turtles/CAPI/metal3 pod 状态:确保管理集群上的容器已启动并运行:
kubectl get pods -n metal3-system和kubectl get pods -n cattle-turtles-system(另请参阅cattle-capi-system、capm3-system、rke2-bootstrap-system和rke2-control-plane-system)。验证从正在配置的主机是否可以访问 Ironic 端点:正在配置的主机需要能够访问 Ironic 端点,以便向 Metal3 报告。使用
kubectl get svc -n metal3-system metal3-metal3-ironic检查 IP,并尝试通过curl/nc访问它。验证从 BMC 是否可以访问 IPA 镜像:IPA 由 Ironic 端点提供服务,并且由于它被用作虚拟 CD,因此必须能够从 BMC 访问它。
验证从正在配置的主机是否可以访问操作系统镜像:用于配置主机的镜像需要能够从主机本身(运行 IPA 时)访问,因为它将被临时下载并写入磁盘。
检查 Metal3 组件日志:请参见上文。
重新触发 BMH 检查: 如果检查失败或可用主机的硬件发生变化,可以通过为 BMH 对象添加
inspect.metal3.io: ""注解来触发新的检查流程。有关更多信息,请参阅 Metal3 控制检查 指南。裸机 IPA 控制台:排查 IPA 问题有几种方法:
启用“自动登录”。这使得 root 用户在连接到 IPA 控制台时能够自动登录。
警告这仅用于调试目的,因为它提供了对主机的完全访问权限。
要启用自动登录,Metal3 helm
global.ironicKernelParams值应如下所示:console=ttyS0 suse.autologin=ttyS0(根据控制台的不同,ttyS0可以更改)。然后应重新部署 Metal3 chart。(注意ttyS0是一个示例,这应该与实际终端匹配,例如在裸机上很多情况下可能是tty1,这可以通过查看引导时 IPA ramdisk 的控制台输出来验证,其中/etc/issue会打印控制台名称)。另一种方法是更改
metal3-system命名空间中ironicconfigmap 上的IRONIC_KERNEL_PARAMS参数。这可能更容易,因为可以通过kubectledit 来完成,但在更新 chart 时它会被覆盖。然后需要使用kubectl delete pod -n metal3-system -l app.kubernetes.io/component=ironic重启 Metal3 pod。为 IPA 上的 root 用户注入 SSH 密钥。
警告这仅用于调试目的,因为它提供了对主机的完全访问权限。
要为 root 用户注入 SSH 密钥,应使用 Metal3 helm
debug.ironicRamdiskSshKey值。然后应该执行 Metal3 chart 的重新部署。另一种方法是更改
IRONIC_RAMDISK_SSH_KEY名称空间中ironic configmap上的metal3-system参数。这可能更容易,因为可以通过kubectl编辑 来完成,但在更新图表时它会被覆盖。然后需要使用kubectl delete pod -n metal3-system -l app.kubernetes.io/component=ironic重启 Metal3 pod
76 其他组件故障排除 #
其他 SUSE Telco Cloud 组件故障排除指南可参考其官方文档:
您也可以查看 SUSE 知识库。
77 收集用于支持的诊断信息 #
在联系 SUSE 支持部门时,提供全面的诊断信息至关重要。
详细的问题描述:发生了什么、何时发生、您当时在做什么、预期的行为是什么,以及实际的行为是什么?
重现步骤:您能否可靠地重现该问题?如果可以,请列出确切的步骤。
组件版本: SUSE Telco Cloud 版本,组件版本(RKE2/K3、EIB、Metal3、Elemental 等)。
相关日志:
journalctl输出(如果可能,按服务过滤,或提供完整的引导日志)。Kubernetes pod 日志 (kubectl logs)。
Metal³/Elemental 组件日志。
EIB 构建日志及其他日志
系统信息:
uname -adf -hip a/etc/os-release
配置文件:Elemental、Metal3、EIB 的相关配置文件,例如 helm chart 的 values 文件、configmap 等。
Kubernetes 信息:节点、服务、部署等。
受影响的 Kubernetes 对象:BMH、MachineRegistration 等。
对于日志:将命令输出重定向到文件(例如,
journalctl -u k3s > k3s_logs.txt)。对于 Kubernetes 资源:使用
kubectl get <resource> -o yaml > <resource_name>.yaml获取详细的 YAML 定义。对于系统信息:收集上述命令的输出。
对于 SL Micro:请查阅 SUSE Linux Micro 故障排除指南 文档,了解如何收集用于
supportconfig支持的系统信息。对于 RKE2/Rancher:请查阅 Rancher v2.x Linux 日志收集脚本 文章以运行 Rancher v2.x Linux 日志收集脚本。
对于 Edge (Nessie):Nessie 1.1.0 是一款功能强大的诊断工具,旨在从 SUSE Telco Cloud 环境中收集日志和配置数据。它从主机系统和 Kubernetes 集群中收集全面信息,对于故障排除和支持非常有用。
Nessie 有两种“模式”:kubernetes 模式和系统模式。
要从 SUSE Telco Cloud 集群收集日志,请运行(前提是您在本地拥有 kubeconfig 文件的访问权限):
podman run --rm --privileged \ -v /etc/rancher/k3s/k3s.yaml:/etc/rancher/k3s/k3s.yaml:ro \ -v /var/log/journal:/var/log/journal:ro \ -v /run/systemd:/run/systemd:ro \ -v /etc/machine-id:/etc/machine-id:ro \ -v /tmp:/tmp \ -e NESSIE_LOG_DIR="/tmp" \ -e NESSIE_ZIP_DIR="/tmp" \ registry.suse.com/edge/3.7/nessie:1.1.0注意如果需要,请调整
k3s.yaml/rke2.yaml文件的路径。有关更多信息,请参阅 Nessie。 如果您拥有适当的权限(通常k3s.yaml/rke2-server.yaml文件由 root 用户所有),则应该能够在非特权模式下运行此容器。若要从实际操作系统中以系统模式收集日志,请运行:
podman run --rm --privileged \ -v /var/log/journal:/var/log/journal:ro \ -v /run/systemd:/run/systemd:ro \ -v /etc/machine-id:/etc/machine-id:ro \ -v /tmp:/tmp \ -e NESSIE_LOG_DIR="/tmp" \ -e NESSIE_ZIP_DIR="/tmp" \ -e NESSIE_VERBOSE="1" \ -e NESSIE_SKIP_POD_LOGS="true" \ -e NESSIE_SKIP_K8S_CONFIGS="true" \ -e NESSIE_SKIP_METRICS="true" \ registry.suse.com/edge/3.7/nessie:1.1.0
与支持部门联系:请查看 如何有效利用 SUSE 技术支持 中提供的文章,以及位于 SUSE 技术支持手册 的支持手册,以了解有关如何联系 SUSE 支持部门的更多详细信息。
第 XII 部分 附录 #
- 78 发行说明
SUSE Telco Cloud 3.7 是一款紧密集成且经过全面验证的端到端解决方案,旨在解决边缘基础设施和云原生应用部署所面临的独特挑战。其主要目标是提供一个具有明确主张、同时高度灵活、可伸缩且安全的平台,涵盖初始部署镜像构建、节点配置和上线、应用部署、可观测性及生命周期管理。
78 发行说明 #
78.1 摘要 #
SUSE Telco Cloud 3.7 是一款紧密集成且经过全面验证的端到端解决方案,旨在解决边缘基础设施和云原生应用部署所面临的独特挑战。其主要目标是提供一个具有明确主张、同时高度灵活、可伸缩且安全的平台,涵盖初始部署镜像构建、节点配置和上线、应用部署、可观测性及生命周期管理。
该解决方案的设计理念是,由于客户的需求和期望各不相同,因此不存在“一刀切”的边缘平台。边缘部署促使我们不断解决并优化一些极具挑战性的问题,包括大规模可伸缩性、受限的网络可用性、物理空间限制、新的安全威胁和攻击向量、硬件架构及系统资源的差异、部署和对接旧有基础设施与应用的需求,以及生命周期更长的客户解决方案。
SUSE Telco Cloud 从底层构建于最优秀的开源软件之上,这既符合我们 30 年来提供安全、稳定和经过认证的 SUSE Linux 平台的历史,也符合我们通过 Rancher 产品组合提供高度可扩展且功能丰富的 Kubernetes 管理的经验。SUSE Telco Cloud 在这些功能的基础上构建,以提供能够满足众多细分市场需求的功能,包括零售、医疗、交通、物流、电信、智能制造和工业物联网。
有关 SUSE Telco Cloud 产品支持生命周期更新的更多信息,请参阅 产品支持生命周期。
SUSE Telco Cloud 是 SUSE Edge 的衍生产品,具有额外的优化和组件,使该平台能够满足电信用例中的需求。
78.2 关于 #
除非另有明确说明和解释,否则这些发行说明在所有架构上都是相同的,并且最新版本以及所有其他 SUSE 产品的发行说明始终可在 https://www.suse.com/releasenotes 在线获取。
条目仅列出一次,但如果它们很重要且属于多个部分,则可以在多个地方引用它们。发行说明通常仅列出两个后续版本之间发生的更改。以前产品版本的发行说明中的某些重要条目可能会重复。为了更容易识别这些条目,它们包含相关的说明。
但是,重复的条目仅作为一种便利提供。因此,如果您跳过一个或多个版本,请同时查看所跳过版本的发行说明。如果您仅阅读当前版本的发行说明,则可能会错过可能影响系统行为的重要更改。SUSE Telco Cloud 版本定义为 x.y.z,其中“x”表示主版本,“y”表示次版本,“z”表示补丁版本,也称为“z-stream”。SUSE Telco Cloud 产品生命周期是根据给定的次要版本定义的,例如。“3.7”,但在其生命周期内会随附后续补丁更新,例如。"3.7.1".
SUSE Telco Cloud z-stream 版本作为版本化堆栈进行了紧密集成和全面测试。将任何单个组件升级到不同于上述版本的版本可能会导致系统停机时间。虽然可以在未经测试的配置中运行 Edge 集群,但不建议这样做,并且通过支持渠道提供解决方案可能需要更长时间。
78.3 3.7.0 版本 #
可用性日期:2026 年 9 月 23 日
全面支持结束日期:2027 年 3 月 22 日
维护支持结束日期:2028 年 3 月 22 日
EOL:2028 年 3 月 23 日
摘要:SUSE Telco Cloud 3.7.0 是 SUSE Telco Cloud 3.7 发布流中的第一个版本。
78.3.1 新功能 #
更新至 Kubernetes 1.36.3 和 Rancher Prime 2.15.1
更新至 SUSE Security (NeuVector) 5.6.1 NeuVector 更改日志
更新至 SUSE Storage (Longhorn) 1.12.1 上游 Longhorn 更改日志
对于满足 V2 先决条件的集群,SUSE Storage V2 Data Engine 是新配置卷的推荐默认设置。有关设置和迁移指南,请参阅 第 66 章 “SUSE Storage V2 Data Engine”。
更新至 Rancher Turtles (CAPI) 0.27.0 Rancher Turtles 文档
更新至 MetalLB 0.16.1 上游更改日志
更新至 KubeVirt 1.8.3 和 CDI (Containerized Data Importer) 1.65.0,使用 SLES 16.0 容器镜像
将 KubeVirt Dashboard 扩展更新至 1.4.2
更新至 Elemental 1.9.2 Elemental 更改日志
更新至 Cert-Manager 1.20.1 上游发行说明
将 Metal3 更新至 0.16.0,包含 Bare Metal Operator 0.13.3 和 Ironic 38.0.0
78.3.2 Bug 修复与安全更新 #
Kubernetes 1.36.3 包含 Bug 修复和安全更新 Kubernetes 更改日志
Rancher Prime 2.15.1 包含 Bug 修复 上游 Rancher 更改日志
SUSE Storage (Longhorn) 1.12.1 包含 Bug 修复 上游 Longhorn 更改日志
SUSE Security (NeuVector) 5.6.1 包含新功能和 Bug 修复 NeuVector 更改日志
Metal3 chart 0.16.0 包含以下 Bug 修复:
修复了 IPA 镜像中 NTP 同步的竞态条件
修复了 iDRAC 10 兼容性问题
修复了 IPA 镜像中的自动登录功能
78.3.3 已知问题 #
如果部署新集群,请先按照 第 65 章 “使用 Kiwi 构建更新的 SUSE Linux Micro 镜像” 构建全新的镜像。 建议管理集群和下游集群执行此操作,以确保镜像包含最新的安全更新和 Bug 修复。
特定于版本的已知问题将在版本验证完成后添加。
78.3.3.1 SUSE Storage V2 数据引擎限制 #
SUSE Storage 1.12.1 无法就地将现有的 V1 卷转换为 V2。 升级后,现有卷仍保留在 V1 上,必须迁移到新配置的 V2 卷。 在所有 V1 工作负载迁移并验证完成之前,请保持启用这两个数据引擎。
在 SUSE Storage 1.12 补丁版本之间升级之前,必须先分离 V2 卷,因为不支持 V2 引擎在线升级。 也不支持 V2 后端镜像;KubeVirt 部署应使用 CDI 进行镜像导入工作流。 其他功能差异和客户迁移流程记录在 第 66 章 “SUSE Storage V2 Data Engine” 中。
78.3.4 组件版本 #
下表描述了构成 3.7.0 版本的各个组件,包括版本、Helm chart 版本(如果适用),以及可以从何处以二进制格式拉取已发布的制品。请遵循相关文档以获取使用和部署示例。
名称 | 版本 | Helm Chart 版本 | 制品位置 (URL/镜像) |
SUSE Linux Micro | 6.2 (最新) | 不适用 | |
SUSE Linux Micro | 6.2 (最新) | 不适用 | 校验和与签名可从 SUSE Linux Micro 下载页面 下载 |
SUSE Multi-Linux Manager | 5.2 | 不适用 | |
K3s | 1.36.3 | 不适用 | |
RKE2 | 1.36.3 | 不适用 | |
SUSE Rancher Prime | 2.15.1 | 2.15.1 | Rancher Prime Helm 存储库 |
SUSE Storage (Longhorn) | 1.12.1 | 1.12.1 | SUSE Storage Helm 存储库 |
SUSE Security (NeuVector) | 5.6.1 | 110.0.1+up2.11.1 | Rancher Charts Helm 存储库 |
Rancher Turtles 提供程序 (CAPI) | 0.27.0 | 307.0.8+up0.27.0 | registry.suse.com/edge/3.7/rancher-turtles-providers-chart:307.0.8+up0.27.0 |
Metal3 | 0.16.0 | 307.0.31+up0.16.0 | registry.suse.com/edge/3.7/metal3-chart:307.0.31+up0.16.0 |
MetalLB | 0.16.1 | 307.0.3+up0.16.1 | registry.suse.com/edge/3.7/metallb-chart:307.0.3+up0.16.1 |
Elemental | 1.9.2 | 1.9.2 | registry.suse.com/rancher/elemental-operator-chart:1.9.2 |
Elemental 仪表板扩展 | 3.0.1 | 3.0.1 | |
Edge Image Builder | 1.3.4 | 不适用 | registry.suse.com/edge/3.7/edge-image-builder:1.3.4 |
KubeVirt | 1.8.3 | 307.0.3+up0.8.0 | registry.suse.com/edge/3.7/kubevirt-chart:307.0.3+up0.8.0 |
KubeVirt 仪表板扩展 | 1.4.2 | 307.0.5+up1.4.2 | registry.suse.com/edge/3.7/kubevirt-dashboard-extension-chart:307.0.5+up1.4.2 |
容器化数据导入器 (CDI) | 1.65.0 | 307.0.3+up0.8.0 | registry.suse.com/edge/3.7/cdi-chart:307.0.3+up0.8.0 |
端点复制器操作员 | 0.3.0 | 307.0.1+up0.3.0 | registry.suse.com/edge/3.7/endpoint-copier-operator-chart:307.0.1+up0.3.0 |
SR-IOV Network Operator | 1.6.0 | 307.1.0+up1.6.0 | registry.suse.com/edge/3.7/sriov-network-operator-chart:307.1.0+up1.6.0 |
系统升级控制器 | 0.20.1 | 110.0.0 | Rancher Charts Helm 存储库 |
升级控制器 | 0.1.3 | 307.0.4+up0.1.3 | registry.suse.com/edge/3.7/upgrade-controller-chart:307.0.4+up0.1.3 |
SUSE Private Registry | 1.1.1 | 1.1.1 | oci://registry.suse.com/private-registry/private-registry-helm[SUSE Private Registry Helm 存储库] |
Kiwi 构建器 | 10.2.29.1 | 不适用 | registry.suse.com/edge/3.7/kiwi-builder:10.2.29.1 |
Cert-Manager | 1.20.1 | 1.20.1 | Jetstack Helm 存储库 |
78.4 已去除功能 #
除非另有说明,否则这些内容适用于 3.7.0 版本及所有后续 z-stream 版本。
Akri 在之前的 Edge 版本中是一项技术预览功能,从 3.4.0 版本开始被弃用。它现已从产品中完全去除。
78.5 技术预览 #
除非另有说明,否则这些内容适用于 3.7.0 版本及所有后续 z-stream 版本。
单栈 IPv6 管理集群部署是一项技术预览功能,不属于标准支持范围。
78.6 组件验证 #
上述组件可以使用软件物料清单 (SBOM) 数据进行验证 - 例如,使用如下所述的 cosign:
从 SUSE 签名密钥源 下载 SUSE Telco Cloud 容器公钥:
> cat key.pem
-----BEGIN PUBLIC KEY-----
MIICIjANBgkqhkiG9w0BAQEFAAOCAg8AMIICCgKCAgEA7N0S2d8LFKW4WU43bq7Z
IZT537xlKe17OQEpYjNrdtqnSwA0/jLtK83m7bTzfYRK4wty/so0g3BGo+x6yDFt
SVXTPBqnYvabU/j7UKaybJtX3jc4SjaezeBqdi96h6yEslvg4VTZDpy6TFP5ZHxZ
A0fX6m5kU2/RYhGXItoeUmL5hZ+APYgYG4/455NBaZT2yOywJ6+1zRgpR0cRAekI
OZXl51k0ebsGV6ui/NGECO6MB5e3arAhszf8eHDE02FeNJw5cimXkgDh/1Lg3KpO
dvUNm0EPWvnkNYeMCKR+687QG0bXqSVyCbY6+HG/HLkeBWkv6Hn41oeTSLrjYVGa
T3zxPVQM726sami6pgZ5vULyOleQuKBZrlFhFLbFyXqv1/DokUqEppm2Y3xZQv77
fMNogapp0qYz+nE3wSK4UHPd9z+2bq5WEkQSalYxadyuqOzxqZgSoCNoX5iIuWte
Zf1RmHjiEndg/2UgxKUysVnyCpiWoGbalM4dnWE24102050Gj6M4B5fe73hbaRlf
NBqP+97uznnRlSl8FizhXzdzJiVPcRav1tDdRUyDE2XkNRXmGfD3aCmILhB27SOA
Lppkouw849PWBt9kDMvzelUYLpINYpHRi2+/eyhHNlufeyJ7e7d6N9VcvjR/6qWG
64iSkcF2DTW61CN5TrCe0k0CAwEAAQ==
-----END PUBLIC KEY-----验证容器镜像哈希,例如使用 crane:
> crane digest registry.suse.com/edge/3.7/baremetal-operator:0.13.3.0 --platform linux/amd64
sha256:247e687143b2d21d9cebcef0bbac8ca3d14b4d1b6e0ba04812dd61d44b32b776对于多架构镜像,在获取摘要时还需要指定平台,例如 --platform linux/amd64 或 --platform linux/arm64。如果不这样做,将在后续步骤 (Error: no matching attestations) 中导致错误。
使用 cosign 进行验证:
> cosign verify-attestation --type spdxjson --key key.pem registry.suse.com/edge/3.7/baremetal-operator@sha256:247e687143b2d21d9cebcef0bbac8ca3d14b4d1b6e0ba04812dd61d44b32b776 > /dev/null
#
Verification for registry.suse.com/edge/3.7/baremetal-operator@sha256:example-digest-placeholder --
The following checks were performed on each of these signatures:
- The cosign claims were validated
- Existence of the claims in the transparency log was verified offline
- The signatures were verified against the specified public key按照 SUSE SBOM 文档 中的说明提取 SBOM 数据:
> cosign verify-attestation --type spdxjson --key key.pem registry.suse.com/edge/3.7/baremetal-operator@sha256:247e687143b2d21d9cebcef0bbac8ca3d14b4d1b6e0ba04812dd61d44b32b776 | jq '.payload | @base64d | fromjson | .predicate'78.7 升级步骤 #
有关如何升级到新版本的详细信息,请参阅 第 VIII 部分 “第 2 天运维”。
78.8 产品支持生命周期 #
SUSE Telco Cloud 由 SUSE 提供屡获殊荣的支持,SUSE 是一家成熟的技术领导者,在提供企业级支持服务方面拥有良好的记录。有关更多信息,请参阅 https://www.suse.com/lifecycle 以及 https://www.suse.com/support/policy.html 处的支持策略页面。如果您对提交支持案例、SUSE 如何划分严重性级别或支持范围有任何疑问,请参阅 https://www.suse.com/support/handbook/ 处的技术支持手册。
SUSE Telco Cloud “3.7”版本提供18个月的生产支持,其中最初6个月为“全面支持”,随后12个月为“维护支持”。 在这些支持阶段之后,产品达到“终止服务”(EOL),并不再获得支持。有关生命周期阶段的更多信息,请参见下表:
全面支持(6个月) | 在全面支持期间,将发布紧急和选定的高优先级 Bug 修复,所有其他补丁(非紧急、增强功能、新功能)将通过常规发布计划发布。 |
维护支持(12个月) | 在此期间,仅通过补丁发布关键修复。其他 Bug 修复可能会由SUSE酌情发布,但不应抱有预期。 |
终止服务(EOL) | 一旦产品版本达到其终止服务日期,客户可以在产品许可协议的条款范围内继续使用该产品。 SUSE的支持计划不适用于已过终止服务日期的产品版本。 |
除非另有明确说明,否则所列出的所有组件均被视为一般可用(GA),并涵盖在SUSE的标准支持范围内。某些组件可能被列为“技术预览”,SUSE在此为客户提供早期预发布功能以供评估,但这些组件不受标准支持政策的约束,也不建议用于生产环境。SUSE非常欢迎对技术预览组件的改进提出反馈和建议,但如果技术预览功能无法满足客户需求或未达到我们要求的成熟度,SUSE保留在正式发布前弃用该功能的权利。
请注意,SUSE偶尔必须弃用功能或更改API规范。弃用功能或更改API的原因可能包括:功能被更新或被新实现所取代、新功能集的引入、上游技术不再可用,或者上游社区引入了不兼容的更改。在给定的次要版本(x.z)中,我们不打算进行此类更改,因此所有z-stream版本都将保持API兼容性和功能特性。SUSE将尽力在发行说明中提前发出弃用警告,并提供变通方法、建议和缓解措施,以最大限度地减少服务中断。
SUSE Telco Cloud团队也欢迎社区反馈,您可以在 https://www.github.com/suse-edge内的相应储存库中提出问题。
78.9 获取源代码 #
本 SUSE 产品包含根据 GNU 通用公共许可证 (GPL) 及其他各种开源许可证授权给 SUSE 的材料。GPL 要求 SUSE 提供与 GPL 许可材料相对应的源代码,并且 SUSE 符合所有其他开源许可证要求。因此,SUSE 提供了所有源代码,通常可以在 SUSE Telco Cloud GitHub 储存库 (https://www.github.com/suse-edge)、用于依赖组件的 SUSE Rancher GitHub 储存库 (https://www.github.com/rancher) 中找到,特别是对于 SUSE Linux Micro,源代码可在 https://www.suse.com/download/sle-micro 的“Medium 2”上下载。
78.10 法律声明 #
SUSE 对本文档的内容或使用不做任何声明或保证,并明确声明免除任何明示或暗示的关于适销性或适用于任何特定用途的保证。此外,SUSE 保留随时修订本出版物及其内容的权利,并且没有义务将这些修订或更改通知任何个人或实体。
此外,SUSE 对任何软件不做任何声明或保证,并明确声明免除任何明示或暗示的关于适销性或适用于任何特定用途的保证。此外,SUSE 保留随时更改 SUSE 软件全部或部分内容的权利,并且没有义务将这些更改通知任何个人或实体。
依据本协议提供的任何产品或技术信息都将受到美国出口控制和其他国家/地区的贸易法律的约束。您同意遵守所有出口控制法规,并同意在出口、再出口或进口可交付产品之前获得任何必要的许可证或分类证书。您同意不出口或再出口至当前美国出口排除列表上所列的实体,或者美国出口法律中规定的任何被禁运的国家/地区或支持恐怖主义的国家/地区。您同意不将可交付产品用于禁止的核、导弹或化学/生物武器的最终用途。有关出口 SUSE 软件的更多信息,请参阅 https://www.suse.com/company/legal/。如果您未能获得任何必要的出口许可,SUSE 对此不承担任何责任。
版权所有 © 2024 SUSE LLC。
本发行说明文档采用知识共享署名-禁止演绎 4.0 国际许可协议 (CC-BY-ND-4.0) 进行许可。您应该已随本文档收到一份许可证副本。如果还没有,请参见 https://creativecommons.org/licenses/by-nd/4.0/。
SUSE 拥有与本文档所述产品中包含的技术相关的知识产权。特别是,这些知识产权可能包括但不限于在 https://www.suse.com/company/legal/ 中列出的一项或多项美国专利,以及在美国和其他国家/地区的一项或多项其他专利或专利申请。
有关 SUSE 商标的信息,请参阅 SUSE 商标和服务标志列表 (https://www.suse.com/company/legal/)。所有第三方商标均是其各自所有者的财产。有关 SUSE 品牌信息和使用要求,请参阅发布在 https://brand.suse.com/ 上的指南。






































