kubeadm 配置 (v1beta4)

概述

包 v1beta4 定义了 kubeadm 配置文件格式的 v1beta4 版本。此版本通过修复一些小问题并添加一些新字段来改进 v1beta3 格式。

自 v1beta3 以来的一系列更改

• TODO https://github.com/kubernetes/kubeadm/issues/2890
• 支持在 ClusterConfiguration 下的控制平面组件中使用自定义环境变量。使用 APIServer.ExtraEnvs、ControllerManager.ExtraEnvs、Scheduler.ExtraEnvs、Etcd.Local.ExtraEnvs。
• ResetConfiguration API 类型现在在 v1beta4 中得到支持。用户可以通过将 --config 文件传递给 kubeadm reset 来重置节点。
• dry-run 模式现在可以在 InitConfiguration 和 JoinConfiguration 配置文件中配置。
• 将现有的字符串/字符串额外参数映射替换为支持重复的结构化额外参数。更改适用于 ClusterConfiguration - APIServer.ExtraArgs、ControllerManager.ExtraArgs、Scheduler.ExtraArgs。也适用于 NodeRegistrationOptions.KubeletExtraArgs。
• 添加 ClusterConfiguration.EncryptionAlgorithm，可用于设置此集群密钥和证书使用的非对称加密算法。可以是 "RSA-2048"（默认）、"RSA-3072"、"RSA-4096" 或 "ECDSA-P256" 之一。
• 添加 ClusterConfiguration.DNS.Disabled 和 ClusterConfiguration.Proxy.Disabled，可用于在集群初始化期间禁用 CoreDNS 和 kube-proxy 附加组件。在集群创建期间跳过相关的附加组件阶段将把相同的字段设置为 false。
• 在 'InitConfiguration和JoinConfiguration` 中添加 NodeRegistration.ImagePullSerial 字段，可用于控制 kubeadm 是否串行或并行拉取镜像。
• 当将 --config 传递给 kubeadm upgrade 子命令时，UpgradeConfiguration kubeadm API 现在在 v1beta4 中得到支持。当将 --config 传递给 upgrade 子命令时，kubelet 和 kube-proxy 的组件配置、InitConfiguration 和 ClusterConfiguration 将被弃用并将被忽略。
• 向 InitConfiguration、JoinConfiguration、ResetConfiguration 和 UpgradeConfiguration 添加一个 Timeouts 结构，可用于配置各种超时。

从旧的 kubeadm 配置版本迁移

• kubeadm v1.15.x 及更高版本可用于从 v1beta1 迁移到 v1beta2。
• kubeadm v1.22.x 及更高版本不再支持 v1beta1 和更旧的 API，但可用于将 v1beta2 迁移到 v1beta3。
• kubeadm v1.27.x 及更高版本不再支持 v1beta2 和更旧的 API。
• TODO: https://github.com/kubernetes/kubeadm/issues/2890 添加可用于转换为 v1beta4 的版本

基本知识

配置 kubeadm 的首选方法是使用 --config 选项传递一个 YAML 配置文件。kubeadm 配置文件中定义的一些配置选项也可以用作命令行标志，但只有最常见/最简单的用例通过这种方法得到支持。

kubeadm 配置文件可能包含使用三个连字符 (---) 分隔的多个配置类型。

kubeadm 支持以下配置类型

apiVersion: kubeadm.k8s.io/v1beta4
kind: InitConfiguration
apiVersion: kubeadm.k8s.io/v1beta4
kind: ClusterConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
apiVersion: kubeadm.k8s.io/v1beta4
kind: JoinConfiguration

要打印“初始化”和“加入”操作的默认值，请使用以下命令

kubeadm config print init-defaults
kubeadm config print join-defaults

配置文件中必须包含的配置类型列表取决于您正在执行的操作 (init 或 join) 以及您将使用的配置选项（默认值或高级定制）。

如果某些配置类型未提供或仅部分提供，kubeadm 将使用默认值；kubeadm 提供的默认值还包括在需要时强制执行组件之间的值一致性（例如，控制管理器上的 --cluster-cidr 标志和 kube-proxy 上的 clusterCIDR）。

用户始终允许覆盖默认值，唯一的例外是与安全相关的少数设置（例如，在 API 服务器上强制执行授权模式节点和 RBAC）。

如果用户提供了不适合您正在执行的操作的配置类型，kubeadm 将忽略这些类型并打印警告信息。

Kubeadm 初始化配置类型

当使用 --config 选项执行 kubeadm 初始化时，可以使用以下配置类型：InitConfiguration、ClusterConfiguration、KubeProxyConfiguration、KubeletConfiguration，但 InitConfiguration 和 ClusterConfiguration 之间只有一个是强制性的。

apiVersion: kubeadm.k8s.io/v1beta4
kind: InitConfiguration
bootstrapTokens:

	...

nodeRegistration:

	...

InitConfiguration 类型应用于配置运行时设置，在 kubeadm 初始化的情况下，这些设置是引导令牌的配置以及执行 kubeadm 的节点的所有特定设置，包括

• NodeRegistration，包含与将新节点注册到集群相关的字段；使用它来自定义节点名称、要使用的 CRI 套接字或仅适用于此节点的任何其他设置（例如，节点 IP）。

• LocalAPIEndpoint，表示要在该节点上部署的 API 服务器实例的端点；使用它来自定义 API 服务器广告地址等。

apiVersion: kubeadm.k8s.io/v1beta4
kind: ClusterConfiguration
networking:

	...

etcd:

	...

apiServer:

	extraArgs:
	  ...
	extraVolumes:
	  ...

...

ClusterConfiguration 类型应用于配置集群范围的设置，包括针对

• networking，包含有关集群网络拓扑的配置；使用它来自定义 Pod 子网或服务子网等。

• etcd：使用它来自定义本地 etcd 或配置 API 服务器以使用外部 etcd 集群。

• kube-apiserver、kube-scheduler、kube-controller-manager 配置；使用它通过添加自定义设置或覆盖 kubeadm 默认设置来自定义控制平面组件。

apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration

	...

KubeProxyConfiguration 类型应用于更改传递给在集群中部署的 kube-proxy 实例的配置。如果未提供此对象或仅部分提供，kubeadm 将应用默认值。

有关 kube-proxy 的官方文档，请参阅 https://kubernetes.ac.cn/docs/reference/command-line-tools-reference/kube-proxy/ 或 https://pkg.go.dev/k8s.io/kube-proxy/config/v1alpha1#KubeProxyConfiguration。

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration

	...

KubeletConfiguration 类型应用于更改将传递给在集群中部署的所有 kubelet 实例的配置。如果未提供此对象或仅部分提供，kubeadm 将应用默认值。

有关 kubelet 的官方文档，请参阅 https://kubernetes.ac.cn/docs/reference/command-line-tools-reference/kubelet/ 或 https://pkg.go.dev/k8s.io/kubelet/config/v1beta1#KubeletConfiguration。

以下是一个包含多个配置类型的单个 YAML 文件的完整示例，该示例将在 kubeadm init 运行期间使用。

apiVersion: kubeadm.k8s.io/v1beta4
kind: InitConfiguration
bootstrapTokens:
  - token: "9a08jv.c0izixklcxtmnze7"
    description: "kubeadm bootstrap token"
    ttl: "24h"
  - token: "783bde.3f89s0fje9f38fhf"
    description: "another bootstrap token"
    usages:
  - authentication
  - signing
    groups:
  - system:bootstrappers:kubeadm:default-node-token

nodeRegistration:

	name: "ec2-10-100-0-1"
	criSocket: "unix:///var/run/containerd/containerd.sock"
	taints:
	  - key: "kubeadmNode"
	    value: "someValue"
	    effect: "NoSchedule"
	kubeletExtraArgs:
	  v: 4
	ignorePreflightErrors:
	  - IsPrivilegedUser
	imagePullPolicy: "IfNotPresent"

localAPIEndpoint:

	advertiseAddress: "10.100.0.1"
	bindPort: 6443

certificateKey: "e6a2eb8581237ab72a4f494f30285ec12a9694d750b9785706a83bfcbbbd2204"
skipPhases:
  - addon/kube-proxy

---
apiVersion: kubeadm.k8s.io/v1beta4
kind: ClusterConfiguration
etcd:

	# one of local or external
	local:
	  imageRepository: "registry.k8s.io"
	  imageTag: "3.2.24"
	  dataDir: "/var/lib/etcd"
	  extraArgs:
	    listen-client-urls: "http://10.100.0.1:2379"
	  serverCertSANs:
	    -  "ec2-10-100-0-1.compute-1.amazonaws.com"
	  peerCertSANs:
	    - "10.100.0.1"
	# external:
	  # endpoints:
	  # - "10.100.0.1:2379"
	  # - "10.100.0.2:2379"
	  # caFile: "/etcd/kubernetes/pki/etcd/etcd-ca.crt"
	  # certFile: "/etcd/kubernetes/pki/etcd/etcd.crt"
	  # keyFile: "/etcd/kubernetes/pki/etcd/etcd.key"

networking:

	serviceSubnet: "10.96.0.0/16"
	podSubnet: "10.244.0.0/24"
	dnsDomain: "cluster.local"

kubernetesVersion: "v1.21.0"
controlPlaneEndpoint: "10.100.0.1:6443"
apiServer:

	extraArgs:
	  authorization-mode: "Node,RBAC"
	extraVolumes:
	  - name: "some-volume"
	    hostPath: "/etc/some-path"
	    mountPath: "/etc/some-pod-path"
	    readOnly: false
	    pathType: File
	certSANs:
	  - "10.100.1.1"
	  - "ec2-10-100-0-1.compute-1.amazonaws.com"
	timeoutForControlPlane: 4m0s

controllerManager:

	extraArgs:
	  "node-cidr-mask-size": "20"
	extraVolumes:
	  - name: "some-volume"
	    hostPath: "/etc/some-path"
	    mountPath: "/etc/some-pod-path"
	    readOnly: false
	    pathType: File

scheduler:

	extraArgs:
	  address: "10.100.0.1"
	extraVolumes:
	  - name: "some-volume"
	    hostPath: "/etc/some-path"
	    mountPath: "/etc/some-pod-path"
	    readOnly: false
	    pathType: File

certificatesDir: "/etc/kubernetes/pki"
imageRepository: "registry.k8s.io"
clusterName: "example-cluster"
---
apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
# kubelet specific options here
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
# kube-proxy specific options here

Kubeadm 加入配置类型

当使用 --config 选项执行 kubeadm 加入时，应提供 JoinConfiguration 类型。

apiVersion: kubeadm.k8s.io/v1beta4
kind: JoinConfiguration

	...

JoinConfiguration 类型应用于配置运行时设置，在 kubeadm 加入的情况下，这些设置是用于访问集群信息的发现方法以及执行 kubeadm 的节点的所有特定设置，包括

• nodeRegistration，包含与将新节点注册到集群相关的字段；使用它来自定义节点名称、要使用的 CRI 套接字或仅适用于此节点的任何其他设置（例如，节点 IP）。

• `apiEndpoint`，表示最终将在该节点上部署的 API 服务器实例的端点。

资源类型

• ClusterConfiguration
• InitConfiguration
• JoinConfiguration
• ResetConfiguration
• UpgradeConfiguration

BootstrapToken

出现于

• InitConfiguration

• InitConfiguration

BootstrapToken 描述一个引导令牌，存储为集群中的 Secret

BootstrapTokenString

出现于

• BootstrapToken

BootstrapTokenString 是格式为 abcdef.abcdef0123456789 的令牌，用于从加入节点的角度验证 API 服务器的实用性，并作为节点在“kubeadm 加入”的引导阶段的身份验证方法。此令牌是短期的，也应该是短期的。

ClusterConfiguration

ClusterConfiguration 包含针对 kubeadm 集群的集群范围配置。

InitConfiguration

InitConfiguration 包含特定于“kubeadm init”的运行时信息的元素列表。 kubeadm init 的运行时信息。这些字段仅在第一次运行 kubeadm init 时使用。之后，这些字段中的信息不会上传到 kubeadm-config ConfigMap，例如，kubeadm upgrade 会使用该 ConfigMap。这些字段必须是 omitempty。

JoinConfiguration

JoinConfiguration 包含描述特定节点的元素。

ResetConfiguration

ResetConfiguration 包含专门针对 kubeadm reset 的运行时信息字段列表。

UpgradeConfiguration

UpgradeConfiguration 包含特定于 kubeadm upgrade 子命令的选项列表。

APIEndpoint

出现于

• InitConfiguration

• JoinControlPlane

APIEndpoint 结构包含部署在节点上的 API 服务器实例的元素。

APIServer

出现于

• ClusterConfiguration

APIServer 包含集群中 API 服务器部署所需的设置

Arg

出现于

• ControlPlaneComponent

• LocalEtcd

• NodeRegistrationOptions

Arg 表示一个带有名称和值的参数。

BootstrapTokenDiscovery

出现于

• Discovery

BootstrapTokenDiscovery 用于设置基于引导令牌的发现的选项。

ControlPlaneComponent

出现于

• ClusterConfiguration

• APIServer

ControlPlaneComponent 包含集群控制平面组件的通用设置

DNS

出现于

• ClusterConfiguration

DNS 定义了要在集群中使用的 DNS 附加组件

Discovery

出现于

• JoinConfiguration

Discovery 指定 kubelet 在 TLS 引导过程中使用的选项

EncryptionAlgorithmType

(string 的别名)

出现于

• ClusterConfiguration

EncryptionAlgorithmType 可以定义非对称加密算法类型。

EnvVar

出现于

• ControlPlaneComponent

• LocalEtcd

EnvVar 表示容器中存在的环境变量。

Etcd

出现于

• ClusterConfiguration

Etcd 包含描述 Etcd 配置的元素。

ExternalEtcd

出现于

• Etcd

ExternalEtcd 描述了外部 etcd 集群。Kubeadm 不知道证书文件的位置，必须提供这些文件。

FileDiscovery

出现于

• Discovery

FileDiscovery 用于指定一个文件或 URL，指向 kubeconfig 文件，从中加载集群信息。

HostPathMount

出现于

• ControlPlaneComponent

HostPathMount 包含描述从主机挂载的卷的元素。

ImageMeta

出现于

• DNS

• LocalEtcd

ImageMeta 允许自定义用于未来自 Kubernetes/Kubernetes 发布流程的组件的镜像。

JoinControlPlane

出现于

• JoinConfiguration

JoinControlPlane 包含描述要部署在加入节点上的另一个控制平面实例的元素。

LocalEtcd

出现于

• Etcd

LocalEtcd 描述了 kubeadm 应该在本地运行一个 etcd 集群。

网络

出现于

• ClusterConfiguration

Networking 包含描述集群网络配置的元素。

NodeRegistrationOptions

出现于

• InitConfiguration

• JoinConfiguration

NodeRegistrationOptions 包含与通过 kubeadm init 或 kubeadm join 将新控制平面或节点注册到集群相关的字段。

Patches

出现于

• InitConfiguration

• JoinConfiguration

• UpgradeApplyConfiguration

• UpgradeNodeConfiguration

Patches 包含与将补丁应用于 kubeadm 部署的组件相关的选项。

代理

出现于

• ClusterConfiguration

Proxy 定义了应该在集群中使用的代理插件。

Timeouts

出现于

• UpgradeConfiguration

Timeouts 包含适用于 kubeadm 命令的各种超时时间。

UpgradeApplyConfiguration

出现于

• UpgradeConfiguration

UpgradeApplyConfiguration 包含特定于 "kubeadm upgrade apply" 命令的可配置选项列表。

UpgradeDiffConfiguration

出现于

• UpgradeConfiguration

UpgradeDiffConfiguration 包含特定于 "kubeadm upgrade diff" 命令的可配置选项列表。

UpgradeNodeConfiguration

出现于

• UpgradeConfiguration

UpgradeNodeConfiguration 包含特定于 "kubeadm upgrade node" 命令的可配置选项列表。

UpgradePlanConfiguration

出现于

• UpgradeConfiguration

UpgradePlanConfiguration 包含特定于 "kubeadm upgrade plan" 命令的可配置选项列表。