基于KubeSphere，技研智联实现云原生容器化平台实践

作者：郑建林，现任深圳市技研智联科技有限公司架构师，技术负责人。多年物联网及金融行业经验，对云计算、区块链、大数据等领域有较深入研究及应用。现主要从事 PaaS 平台建设，为公司各业务产品线提供平台底座如技术中台，数据中台，业务中台等。

公司简介

深圳市技研智联科技有限公司：为佛山技研智联科技有限公司子公司，前者为三技精密和研华合资公司。提供从工控设备，网关，云平台一体化的专业印染数字化工业互联网平台。

佛山技研智联科技有限公司（以下简称“技研智联”）是由三技精密技术（广东）股份有限公司以及研华科技股份有限公司于 2020 年 8 月合资成立，是一家专注于为纺织企业提供自动化控制系统软件、工业互联网应用平台、数字化转型与智能制造整体解决方案，并为企业提供行业软件咨询、实施、集成等服务的高新技术企业，专精特新中小企业。

公司发展至今已经是 100 多人规模专业技术产品团队，自主研发的 ITEX 智慧纺织云平台，目前已经连接 70 多家工厂，2000 多台设备，能够把工厂各个系统、各类跨业务的数据在同一个平台上打通，让企业实现基于数据和流程的业务协同。

公司较早就开始拥抱云原生容器化部署，支持客户在公有云 ITEX 云平台使用 SaaS 产品，同时支持用户按私有云方式私有化部署安装使用。目前 IT 和运维团队规模 5 人，主要满足自身研发上云和客户安装部署运维需求。

背景介绍

本人为深圳市技研智联科技有限公司架构师和技术负责人，负责整个公司基础平台搭建设计，所在团队为整个公司产品业务提供基础 PaaS 平台，包括技术中台，数据中台，业务中台等。原先业务团队主要做 SaaS 云平台和边缘控制相关产品。使用超融合服务器上分割部署 K8s 集群，通过 Rancher 来管理服务器集群。DevOps 用的 git 支持的脚步打 Docker 镜像方式，手动发布服务。存在服务器资源不足，扩展性欠缺，运维管理不便，技术框架差异等问题，随着业务发展需要底层资源管理，技术框架，公共服务统一服务化迫在眉睫。

选型说明

作为公司基础服务平台团队，需要提供统一易用的容器服务发布部署管理一站式平台，期间对比了 Openshift，Rancher，以及青云科技推出的KubeSphere 这几大开源 PaaS 容器管理平台，对比特点如下（希望尽量客观，各个平台组件不断发展，若有失正确望见谅）：

表 1 开源 PaaS 容器管理平台对比

一方面 KubeSphere 优秀的交互体验一下击中了研发人员的心理，同时本着融合产品模块化开发的初衷，最终选择了 KubeSphere，希望能提高交互效果，另外期望可以提升整体产品底层设施稳定性和开发效率。

实践过程

K8s 集群基于腾讯云服务器 centos7.9 系统采用三个 Master 节点高可用集群多个 Worker 节点方案搭建，使用稳定 K8s v1.23.5 版本。分为开发，测试，预发布和生产四个私有网络 K8s 集群。

网络方案

网络采用 Calico CNI。相比 Flannel，Calico 网络插件具有如下优势：

功能更全面，还可提供网络安全和管理；

Calico 不使用 Overlay 网络。相反，Calico 配置第 3 层网络，该网络使用 BGP 路由协议在主机之间路由数据包，性能具有优势 - 能做网络策略，可与服务网格 Istio 集成。

集群网络为腾讯云 VPC 私有网络外网不可访问,对外采用负载均衡统一接入经过 APISIX 流量网关后再到业务网关处理。服务之间都是内网通过 K8s 虚拟网络解析服务名访问。

存储方案

出于成本考虑,存储主要采用腾讯云 CBS 云硬盘存储,通过 NFS 挂载到 PV 中供服务绑定 PVC 使用。对性能要求高的也可以使用腾讯云上提供的其他高性能存储服务。

DevOps 持续集成部署

在使用 KubeSphere 之前公司公有云服务都部署在超融合服务器环境，使用 GitLab 的 CI 能力，在 Rancher 上发布服务。开发测试环境开发人员进行代码编译打包然后发布，生产环境开发人员打 tag 推送镜像，然后统一由运维人员使用 Rancher 进行发布部署。CI/CD 流程架构图如下：

改用 KubeSphere 后开发人员集成发布在 KubeSphere DevOps 项目里完成整个流程的编辑运行查看等操作。基于 Jenkins 脚本编排流水线，生产环境由运维人员进行 DevOps 项目授权操作。操作起来更流畅，能实现更复杂的流水线编排，但 Jenkins 容器镜像相对较大会吃资源一点。基于 KubepShere CI/CD 流程架构图如下：

日志与监控

日志监控采用更为轻量的 Loki 系统组件来采集处理，并用 Grafana 进行可视化展示，监控使用 Prometheus，同样使用 Grafana 来展示。

KubeSphere 账号权限管理

各个应用普遍存在自己的账号角色体系，管理起来会比较繁琐，因此打通产品应用账号和 KubepShere 账号体系能极大提高配置使用体验，幸好 KubepShere 提供了 oauth 授权接口模板，只需要按照例子配置 url 及 client_id，写好回调处理接口即可打通账号授权登录。授权登录架构图如下：

使用效果

账号以及项目权限管理

打通应用系统账号跟 KubepShere 账号授权后，用户及权限管理更容易便捷，KubeSphere 集成效果如下图:

初次登录 KubeSphere 授权个人信息即可，后续登录无需重复授权操作。目前不足之处是企业租户和角色没有和我们平台应用打通，需要各自配置。授权信息需要账号 ID，账号名字以及邮箱等。第一次授权确认账号信息如下图所示：

应用服务发布部署

应用服务发布部署功能更全面，方便统一管理控制。

在使用过程中也出现过偶尔卡住需要取消重新运行情况，多个流水线同时运行需要较长时间排队问题，后续运行效率这块希望能够优化。

资源及服务性能监控

KubeSphere 监控提供了 Prometheus 监控套件，对服务器资源及使用情况能实时监控同时可以查询历史变化，极大方便了系统维护管理，提前发现系统资源瓶颈进行处理，提高稳定性。服务器集群监控如下图所示：

KubeSphere 同时支持对单个服务的性能和资源使用进行监控，这是原先使用 Rancher 没有体验过的，对评估整体服务部署资源性能占用有了很好计算参考和优化方向。服务监控如下图所示：

容器管理组件扩展

去年六月底 KubeShere 3.3.0 版本发布后第一时间安装尝鲜，一开始全功能安装 KubeSphere，core，Prometheus，Istio，DevOps，monitor，APP 应用商店等各个组件。发现整个一套部署下去会很重，同时当前阶段有些组件还不太用得上，于是在部署安装配置文件里对一些模块（如 Istio，APP 商店）设置为 false 不安装即可。

未来规划

PaaS 容器管理监控等基础设施作为企业产品服务的重要底座，稳定性，易用性，可适配性也是我们不断追求的目标，因此计划后续结合 KubeSphere 强大的容器管理平台能力进行自身产品需求服务管理进行融合，几个重要方向如下：

轻量化部署 KubeSphere 核心组件，同时开发适配自己需要的插件。

轻量化部署后做多环境集群统一管理。

同时特殊场景下支持混合云场景。

根据后续业务量合适时机上 Istio 和 Serverless。