华为开源多云容器编排项目Karmada说起混合云管理将成为重要趋势

　　华为多云容器编排Karmada
　　在前几天的华为云开发者大会上，华为宣布了一个重要的事情，即多云容器编排项目正式开演，后续还可能直接贡献给CNCF基金会。
　　那么Karmada究竟是啥？
　　简单来说Karmada（Kubernetes Armada）是一个 Kubernetes 管理系统，可以实现多个Kubernetes 集群的统一管理能力。为多云和混合云场景下的多集群应用程序管理提供 turnkey 自动化，其关键功能包括集中式多云管理、高可用性、故障恢复和流量调度。
　　该开源项目由由多家互联网、金融、制造业、电信、云服务厂商共同发起，以捐赠给 CNCF 以开放治理为目标。因此可以理解为是一个偏中立的开源项目，并不会内置太多个性化的华为云个性元素。
　　对于华为云本身也提供了多云容器管理平台，见华为云官网介绍：
　　华为多云容器平台（Multi-Cloud Container Platform，MCP）是华为云基于多年容器云领域实践经验和社区先进的集群联邦技术（Karmada），提供的容器多云和混合云的解决方案，为您提供跨云的多集群统一管理、应用在多集群的统一部署和流量分发，为您彻底解决多云灾备问题的同时，还可以在业务流量分担、业务与数据分离、开发与生产分离、计算与业务分离等多种场景下发挥价值。
　　要做到多云容器管理，那么底层一个核心就是Kubernetes多集群管理，那么对于Kubernetes多集群管理能力实际就是本次开源的Karmada。
　　所以你可以理解为华为自己的多云容器管理平台底层也是Karmada，但是基于Karmada做了多租户，多组织和区域管理，跨集群动态伸缩，动态迁移，动态服务发现等各种能力的扩展，包括面向开发者的一些自服务能力的扩展开发等。
　　Karmada 关键特性和架构设计
　　Karmada（Kubernetes Armada）是基于Kubernetes原生API的多集群管理系统。在多云和混合云场景下，Karmada提供可插拔，全自动化管理多集群应用，实现多云集中管理、高可用性、故障恢复和流量调度。
　　其关键特性为：基于K8s原生API的跨集群应用管理，用户可以方便快捷地将应用从单集群迁移到多集群。 中心式操作和管理Kubernetes集群。 跨集群应用可在多集群上自动扩展，故障转移和负载均衡。 高级的调度策略：区域，可用区，云提供商，集群亲和性/反亲和性。 支持创建分发用户自定义（CustomResourceDefinitions）资源。
　　从给的架构图来看，实际和Kubernetes本身的架构很类似，比如仍然是通过etcd来实现分布式集群和事务协调，通过Scheduler组件来实现多集群调度策略。
　　对于单个Kubernetes集群来说，最终管理和调度的单位是下面的Node节点和Pod，那么对于Armada朝上抽象一层，管理的对象为Kubernetes集群本身。简单来说就是在单个Kubernetes集群基础上再构建了一层集群。
　　因此初步分析Armada应该是直接在Kubernetes上面做的扩展。传统我们说的Kubernetes集群的部署，动态伸缩扩展能力，集群调度能力实际都会在在集群这个层面做一次，然后在进入到单个Kubernetes集群中的Node节点和Pod扩展这个层面。
　　Karmada 的架构设计
　　Karmada 的控制面板包含 API 服务器（API Server）、控制器管理器（Controller Manager ）和调度器三大组件。
　　ETCD 存储 karmada API 对象，API 服务器作为 REST 端点，可以与所有其他组件通信，而 Karmada 控制器管理器将根据用户创建的 API 对象执行操作。
　　Karmada 控制器管理器运行各种控制器，这些控制器监视 karmada 的对象，然后与基础集群的 API 服务器对话以创建常规的 Kubernetes 资源。再谈青云KubeSphere
　　在前面我有专门文章谈到过青云KubeSphere，该平台是基于Kurbernetes集群管控治理平台，同时又进一步基础了中间件和产品仓库，基于Jekins的DevOps持续集成能力。青云KubeSphere当前最新版本3.0，该项目本身完全开源，并且也是入驻CNCF基金会的一个重要开源项目。
　　在最新的3.0版本中，实现了一次大的升级，新增＂多集群管理＂功能，可帮助企业实现集群的灵活增减、跨集群的应用部署以及全生命周期管理，仅需 6 分钟即可完成一个生产级别的集群部署，大幅提升企业 IT 资源利用率和应用管理效率，加快云原生生产落地和数字化转型，创造更多商业价值。
　　对于Kurbernetes本身也支撑集群联邦管理功能如下：
　　集群联邦在架构上同kubernetes集群很相似。有一个集群联邦的API server提供一个标准的Kubernetes API，并且通过etcd来存储状态。不同的是，一个通常的Kubernetes只是管理节点计算，而集群联邦管理所有的kubernetes集群。
　　对于青云的KubeSphere在多集群管理方面的能力如下：统一管理异构、跨任何基础设施平台的之上的 Kubernetes 集群，支持 Solo 和 Federation（联邦）两种集群管理模式，支持直连和代理的集群连接方式 Solo 管理模式支持将独立部署的 Kubernetes 集群在 KubeSphere 容器平台上统一运维管理。 Federation 联邦管理模式支持把多个 Kubernetes 集群聚合，形成 Kubernetes 资源池，用户在部署应用时，可以把应用的副本分别部署到池中不同 Kubernetes 集群里，从上层实现应用跨区、跨集群的高可用。
　　从这个地方也可以看到核心还是对多集群的统一管理和运维，基于KubeSphere来实现混合云管理能力。
　　在前面文章也谈到过，青云本身一个核心能力在于构建一个混合云管理平台实现多云管理，而现在从华为开源Armada来看。华为将形成从内部私有云的华为云Stack+Armada混合云管理+公有云多云适配的一个完整开发云生态环境。
　　什么意思？
　　其一是云原生的思想进一步延伸和下沉到企业内部私有云环境构建上面，实现完整的产品研发生命周期全部上云，并完成混合云共存共生的一种状态；其二就是对于企业来说也不用过分担心被单一云服务商绑定的问题，使用实现公有云多云适配。
　　跨集群和跨数据中心
　　对于多集群管理实际上还有一个点，即是管理同一个数据中心的多个集群，还是管理多个异地数据中心的多个集群。如果是跨数据中心的集群纳管，那么在实际的基于容器的镜像部署过程中，就还涉及到镜像库本身的同步复制问题。如果是单个数据中心内部多集群管理，则往往不涉及到这个内容。
　　对于Kurbernetes集群部署和多集群管理，还有类似Rancher的开源解决方案，实际上Rancher实现的多集群管理能力大部分和KubeSphere类似，只是KubeSphere在多集群管理的基础上进一步发展增加了CI/CD的集成能力，微服务治理框架的集成等。
　　但是就当前来说Rancher在开源社区的活跃度更高，也没更多的广泛应用，而KubeSphere由于在3.0之前不支持多集群管理能力，在3.0增加了这个能力后基本核心功能已经和Rancher匹配，同时对开发者更友好，具体选用还得更加项目实践情况。混合云管理将成为重要趋势
　　前面已经谈到过企业上云是一个循序渐进的过程，不可能一上云就把自己内部的数据中心和私有云全部替换掉，因此从企业角度需要一套云管理平台，实现对自己私有云和公有云环境的同时集中化管理能力。同时在集中化管理基础上，还能够更好地实现私有云和公有云之间资源的分配，应用的迁移能力。
　　我们可以举个简单场景，当企业自有的私有云资源服务满足业务场景和并发需求的时候，我们可以通过混合云管理实现应用向公有云集群的迁移和交付，实现资源的动态扩展。而当需求下降后，我们又可以搜索公有云资源使用，降低成本。
　　其次，企业自有私有云环境最好不要和某一个公有云服务商完全绑定，即能够通过混合云管理平台实现对多家公有云服务平台的适配和对接能力。这实际和我在讲SOA架构思想时谈到的多个能力源适配和聚合一样。
　　混合云管理-从资源纳管到集群纳管
　　再谈下KubeSphere多集群管理的使用场景。首先要谈的就是跨云，跨基础设施的管理实际本身会经历两个阶段。
　　比如我们有一套支撑多集群的容器云管理平台。
　　在第一个阶段最容易实现的就是仅仅实现异构资源池的对接，简单来说就是企业内部有私有云，我们也可以在阿里云，华为云申请虚拟机。在申请了虚拟机资源后，在虚拟机上安装我们的集群管理平台，将公有云资源全部纳入管理。
　　实际上在公有云上仍然部署的是我自己的k8s集群能力开放或者一个轻量代理。
　　第二阶段我们可以理解为实现PaaS层的对接，即实现KubeSphere多集群的纳管，我们可以直接对接到阿里云，华为云开发的K8s层API接口，实现将公有云的KubeSphere集群纳入管理。当然对于各个公有云本身可能对K8s的原生API接口可能做了封装和定制，那么多集群管理平台就需要对这块进行适配。
　　当上升到PaaS服务层对接的时候，那么就可以更好地利用公有云本身的资源监控，服务层监控服务能力。否则在第一阶段就只能实现资源层监控。
　　使用场景
　　对于使用场景实际上我已经强调过。
　　在这里仅举例两个典型场景。
　　第一个场景就是一个企业内部自己搭建了私有云，基于k8s+容器技术来实现，那么对于一个大企业来说存在相当多的组织或子公司，业务系统，所有应用一般来讲都不会仅仅通过一个单一的k8s集群来做为统一出口进行支撑。
　　一般情况都是需要根据业务分域建立多套独立的k8s集群资源池。那么这个时候就需要一个多集群的管理平台来实现对k8s多个集群的统一纳管。
　　第二个场景即我们常说的构建企业内部私有云和多个公有云之间的一个混合云管理平台，比如企业在私有云内部完成SIT和UAT测试，在测试完成后能够一键将测试完成的应用交付到各个公有云平台，比如UAT测试完成后可以一键交付到阿里云的生产环境，这个时候直接将在阿里云申请的k8s集群配置到多云管理平台进行统一管理。
　　当然还可以将阿里，华为多个公有云平台提供的k8s集群纳入管理，当纳入多个公有云平台的集群服务能力后，既可以实现一个UAT测试版本同时一键发布到多个公有云服务平台，也可以实现发布的应用在多个公有云平台之间动态迁移。
　　当具备了这种动态迁移能力，那么就不会被单独的一个公有云服务商绑定，这个时候多云管理平台应该提供的核心价值之一。