皮皮网

1.K8S核心组件介绍
2.听GPT 讲K8s源代码--cmd(一)
3.K8s组件全解析，你需要知道的一切秘密
4.vivo 容器平台资源运营实践
5.4.3 kube-controller-manager
6.使用 KubeSphere 在 Kubernetes 安装 cert-manager 为网站启用 HTTPS

K8S核心组件介绍

       Kubernetes核心组件介绍

       控制面 Master 节点的主要组件包括:

       kube-apiserver: 是集群数据交互和通信的枢纽，负责资源管理及认证、授权等操作。在高可用集群中，它通常采用多副本部署。金桔小店源码

       kube-scheduler: 负责Pod调度，根据一系列规则选择最合适的节点进行Pod部署。

       kube-controller-manager: 包含多个控制器，如副本控制器、命名空间控制器等，用于集群内部资源的管理，如自动恢复因故障宕机的节点。

       etcd: 作为数据存储，用于存储和复制集群状态，是Kubernetes的核心组件。

       Node 节点的主要组件有:

       kubelet: 负责Pod的创建和运行，监听API Server获取并执行Pod部署。

       kube-proxy: 网络代理，监听API Server中服务对象变化，通过维护网络规则实现服务访问，支持UserSpace、IPtables和IPVS三种工作模式。

       此外，Add Ons中包括:

       CoreDNS: 作为Golang编写的皮皮麻将源码插件式DNS服务器，自Kubernetes 1.版本起默认内置。

听GPT 讲K8s源代码--cmd(一)

       在 Kubernetes（K8s）的cmd目录中，包含了一系列命令行入口文件或二进制文件，它们主要负责启动、管理和操控Kubernetes相关组件或工具。这些文件各司其职，如：

       1. **check_cli_conventions.go**: 该文件作用于检查CLI约定的规范性，确保命令行工具的一致性和易用性。它提供函数逐项验证命令行工具的帮助文本、标志名称、标志使用、输出格式等，输出检查结果并提供改进意见。

       2. **cloud_controller_manager**: 这是启动Cloud Controller Manager的入口文件。Cloud Controller Manager是Kubernetes控制器之一，负责管理和调度与云平台相关的资源，包括负载均衡、存储卷和云硬盘等。

       3. **kube_controller_manager**: 定义了NodeIPAMControllerOptions结构体，用于配置和管理Kubernetes集群中的Node IPAM（IP地址管理）控制器。此文件包含配置选项、添加选项的函数、应用配置的函数以及验证配置合法性的函数。

       4. **providers.go**: 用于定义和管理云提供商的群晖源码资源。与底层云提供商进行交互，转换资源对象并执行操作，确保Kubernetes集群与云提供商之间的一致性和集成。

       5. **dependencycheck**: 用于检查项目依赖关系和版本冲突，确保依赖关系的正确性和没有版本冲突。

       6. **fieldnamedocs_check**: 检查Kubernetes代码库中的字段名称和文档是否符合规范，确保代码的规范性和文档的准确性。

       7. **gendocs**: 生成Kubernetes命令行工具kubectl的文档，提供命令的用法说明、示例、参数解释等信息，方便用户查阅和使用。

       8. **genkubedocs**: 生成用于文档生成的Kubernetes API文档，遍历API组生成相应的API文档。

       9. **genman**: 用于生成Kubernetes命令的man手册页面，提供命令的说明、示例和参数等信息。

       . **genswaggertypedocs**: 生成Kubernetes API的Swagger类型文档，提供API的详细描述和示例。

       . **genutils**: 提供代码生成任务所需的通用工具函数，帮助在代码生成过程中创建目录和文件。

       . **genyaml**: 为kubectl命令生成YAML配置文件，方便用户定义Kubernetes资源。

       . **importverifier**: 检查代码中的apk转源码导入依赖，并验证其是否符合项目中的导入规则。

       . **kube_apiserver**: 实现kube-apiserver二进制文件的入口点，负责初始化和启动关键逻辑。

       . **aggregator**: 为聚合API提供支持，允许用户将自定义API服务注册到Kubernetes API服务器中，实现与核心API服务的集成。

       这些文件共同构建了Kubernetes命令行界面的底层逻辑，使得Kubernetes的管理与操作变得更加高效和灵活。

K8s组件全解析，你需要知道的一切秘密

       Kubernetes集群的高效运作离不开其核心组件的协同工作。这些组件包括 kube-apiserver、etcd、kube-scheduler、kube-controller-manager、kubelet、kube-proxy、容器运行时（如Docker或Containerd）、CoreDNS/kube-dns、Node以及管理界面工具如Kubernetes Dashboard和网络插件。它们各自承担着关键任务，如配置管理、数据存储、节点调度、资源管理、boll sar源码网络代理等。

       首先是kube-apiserver，作为集群的控制中心，处理所有API请求，验证、授权并持久化存储数据。etcd作为分布式存储，存储着集群配置和状态，对集群稳定性至关重要。kube-scheduler负责在节点间智能分配Pod，实现负载均衡。kube-controller-manager管理各种控制器，确保集群状态与期望一致，比如副本集控制和节点管理。kubelet运行在每个节点上，管理容器和Pod，与控制平面保持同步。

       kube-proxy确保集群内部网络通信，而容器运行时则负责实际的容器操作。CoreDNS和kube-dns提供DNS解析服务，帮助服务发现。Node作为计算资源，运行kubelet等组件。Kubernetes Dashboard提供图形化管理界面，网络插件则为网络功能提供支持。

vivo 容器平台资源运营实践

       vivo互联网服务器团队的Chen Han分享了针对业务资源申请值偏大的运营问题，通过实施静态超卖和动态超卖两种技术方案，以实现业务资源申请值的合理化，提高平台资源装箱率和资源利用率。具体分析如下：

       容器平台在Kubernetes技术的基础上提供内部业务的容器服务，内部业务在CICD平台中部署和管理容器资源，通过caas-openapi组件实现与CICD的交互。平台资源分为测试池、共享池、专有池、混部池等逻辑层面。

       业务在部署时要求设置资源请求值request和最大值limit，其中request在调度时更为重要，而limit在运行时更为关键。然而，实际使用中，业务在共享池中设置request值时，常见两种情况：一是请求值过低，导致资源浪费，加剧节点热点问题；二是请求值过高，导致账单成本增加，重调度时资源分配困难，影响平台资源利用率。

       为了解决资源规格设置不合理的现状，提出了静态超卖方案和动态超卖方案。静态超卖方案通过caas-openapi组件自动调整request值，根据平台运营经验设置不同系数，实现首次部署时的资源申请值调整。动态超卖方案则通过开发caas-recommender组件，基于业务监控数据的真实资源使用情况，动态调整request值，实现资源的高效利用。

       动态超卖方案进一步细化为半衰期滑动窗口模型和指数直方图计算推荐值。半衰期滑动窗口模型能够根据数据时效性动态调整权重，满足实时性需求。指数直方图计算推荐值，通过收集容器资源使用数据，构建直方图并计算出推荐的资源值，以实现资源的精细化管理。

       为了确保资源超卖功能与HPA自动扩缩容功能兼容，平台修改了kube-controller-manager源码，实现了基于limit维度的利用率计算逻辑。同时，考虑到专有池的特殊性，平台允许用户根据需求选择是否开启超卖能力。

       实施上述方案后，测试集群和生产集群均取得了显著效果。测试集群内存装箱率降低%，共享池生产集群CPU利用率提升8%，有效缓解了资源瓶颈问题，降低了业务成本，提高了资源利用率。

       展望未来，vivo容器平台将继续探索资源超卖方案的优化，包括内存资源超卖的实施、更多维度资源的纳管、以及基于动态超卖推荐值的用户画像构建，以实现更高效、更智能的资源调度与管理。

4.3 kube-controller-manager

        部署一个三实例 kube-controller-manager 的集群，启动后将通过竞争选举机制产生一个 leader 节点，其它节点为阻塞状态。当 leader 节点不可用时，阻塞的节点将再次进行选举产生新的 leader 节点，从而保证服务的可用性。

        部署策略：

        部署软件规划

        创建证书签名请求：

        创建 kube-controller-manager凭证与私钥:

        结果将产生以下几个文件：

        kube-controller-manager 使用 kubeconfig 文件访问 apiserver，该文件提供了 apiserver 地址、 CA 证书和 kube-controller-manager 证书

        先确定apiserver对外提供服务的地址

        请使用 kube-apiserver 文档中生成的service-account证书， 其中kube-apiserver使用公钥， kube-controller-manager使用私钥

        kube-controller-manager can be started and stopped as follows:

        查看进程是否正常

        查看权限:

        ClusteRole system:kube-controller-manager 的权限很小，只能创建 secret、serviceaccount 等资源对象，各 controller 的权限分散到 ClusterRole system:controller:XXX 中。

        当在 kube-controller-manager 的启动参数中添加 --use-service-account-credentials=true 参数，这样 main controller 会为各 controller 创建对应的 ServiceAccount XXX-controller。内置的 ClusterRoleBinding system:controller:XXX 将赋予各 XXX-controller ServiceAccount 对应的 ClusterRole system:controller:XXX 权限。

        查看其中deployment controller

        kube-controller-manager，k8s的大脑，大部分控制器所在，大管家，配置包括:

        开启选举。

        利用etcd的强一致性，可以用来组件的选主，kube-controller-manager就是利用这个特性实现的高可用。

        高可用条件: kube-controller-manager数量大于等于2即可。

        驱逐超时，默认5分钟，配置为3分钟，从controller感知到节点挂了开始计时。

        一级驱逐速率，这里两个0.1相当于每个节点每秒钟驱逐一个Pod。

        当开启多可用区时，一级驱逐速率只有在zone健康的时候生效；当非多可用区的时候，zone代表整个集群。

        二级驱逐速率，这里两个0.1相当于每个节点每秒钟驱逐一个Pod。

        设置一个"大"集群的阈值，多大为大集群，默认为，当集群节点数小于该值的时候，二级驱逐速率就是0，不驱逐！

        Zone被认为不健康的条件，大于%的节点故障（NodeReady的节点数大于等于3）.

        举例:

        比如现在ZoneB有个节点，那么当 * 0. = 个以上节点挂了后，那么这个Zone就被认为不健康了，此时一级驱逐速率也就不生效了；由于总结点数大于1，那么二级速率有效，所以整个集群会以s/pod/node进行驱逐。

        Q:

        A:

        Q:

        A:

        需要在启动命令中添加如下配置

使用 KubeSphere 在 Kubernetes 安装 cert-manager 为网站启用 HTTPS

       cert-manager是Kubernetes原生的证书管理控制器，帮助从各类来源颁发证书，如Let’s Encrypt、HashiCorp Vault、Venafi、简单签名密钥对或自签名证书。它确保证书更新为最新状态，并在证书到期前自动续订。此工具基于kube-lego原理，借鉴了其他类似项目智慧。

       启用项目网关需登录KubeSphere，进入任意企业空间下的项目。开启NodePort类型网关，通过LoadBalancer转发到网关端口。外部访问需将公网IP绑定LoadBalancer。在物理机上安装Porter负载均衡器，公有云上安装云支持的负载均衡器插件并创建LoadBalancer。

       为安装cert-manager，参考官方文档。使用Web Kubectl工具在KubeSphere中执行命令进行安装，确保无webhook版本。在kubesphere-system项目中创建Issuer，用于证书签发。通过执行命令创建Issuer，修改项目和email信息。创建Certificate后，cert-manager将自动执行es之上的以应用为中心的开源容器平台，提供全栈IT自动化运维能力，简化企业DevOps工作流。KubeSphere已被海内外数千家企业采用，如Aqara智能家居、本来生活、中国人保寿险、新浪、北京银行、华夏银行、浦发硅谷银行、四川航空、国药集团、微众银行、VNG Corporation、Radore等。提供运维友好的向导式操作界面和丰富的企业级功能，包括多云与多集群、Kubernetes资源管理、DevOps（CI/CD）、应用生命周期管理、微服务治理（Service Mesh）、多租户管理、监控日志、告警通知、存储与网络管理、GPU支持等。