挑战
网易的游戏业务是全球最大的游戏业务之一，但这并不是网易为中国消费者提供的全部内容。该公司还运营着电子商务、广告、音乐流媒体、在线教育和电子邮件平台；其中最后一个通过 163.com 等网站为近十亿用户提供免费电子邮件服务。在 2015 年，为所有这些系统提供基础设施的网易云团队意识到他们的研发流程正在减缓开发人员的速度。“我们的用户需要自己准备所有基础设施，”网易云和容器服务架构师冯昌健说。“我们渴望通过无服务器容器服务为用户自动提供基础设施和工具。”
解决方案
在考虑构建自己的编排解决方案后，网易决定将其私有云平台建立在 Kubernetes 之上。这项技术来自 Google 的事实让团队相信它能够跟上网易的规模。“经过我们 2 到 3 个月的评估，我们相信它可以满足我们的需求，”冯说。该团队从 2015 年开始使用 Kubernetes，当时它甚至还没有达到 1.0 版本。如今，网易的内部云平台（也利用 CNCF 项目 Prometheus、Envoy、Harbor、gRPC 和 Helm）在一个生产集群中运行 10,000 个节点，并且可以在一个集群中支持高达 30,000 个节点。基于其内部平台的经验教训，该公司推出了一个基于 Kubernetes 的云和面向微服务的 PaaS 产品，网易青州微服务，面向外部客户。
影响
网易团队报告说，Kubernetes 将研发效率提高了 100% 以上。部署效率提高了 280%。“过去，如果我们想进行升级，我们需要与其他团队合作，甚至与其他部门合作，”冯说。“我们需要专门人员准备一切，所以大约需要半小时。现在我们只需要 5 分钟就能完成。”新平台还允许使用 GPU 和 CPU 资源进行混合部署。“以前，如果我们将所有资源都用于 GPU，我们就不会有 CPU 的备用资源。但现在，由于混合部署，我们有了改进，”他说。这些改进也带来了资源利用率的提高。
该公司还在中国运营着电子商务、广告、音乐流媒体、在线教育和电子邮件平台；其中最后一个通过 163.com 和 126.com 等热门网站为近十亿用户提供免费电子邮件服务。对于这种规模，为所有这些系统提供基础设施的网易云团队在 2015 年意识到他们的研发流程正在使开发人员难以跟上需求。“我们的用户需要自己准备所有基础设施，”网易云和容器服务架构师冯昌健说。“我们渴望通过无服务器容器服务为用户自动提供基础设施和工具。”
在考虑构建自己的编排解决方案后，网易决定将其私有云平台建立在 Kubernetes 之上。这项技术来自 Google 的事实让团队相信它能够跟上网易的规模。“经过我们 2 到 3 个月的评估，我们相信它可以满足我们的需求，”冯说。
该团队从 2015 年开始采用 Kubernetes，当时它甚至还没有达到 1.0 版本，因为它使用起来相对容易，并且能够在公司内实现 DevOps。“我们放弃了一些 Kubernetes 的概念；我们只想使用标准化框架，”冯说。“我们利用 Kubernetes 的可编程性，以便我们可以构建一个平台来满足我们内部客户对升级和部署的需求。”
该团队首先专注于构建容器平台以更好地管理资源，然后将注意力转向通过添加内部系统（如监控）来改善其对微服务的支持。这意味着集成 CNCF 项目 Prometheus、Envoy、Harbor、gRPC 和 Helm。“我们正在努力提供一个简化和标准化的流程，以便我们的用户和客户能够利用我们的最佳实践，”冯说。
并且该团队正在不断改进。例如，业务的电子商务部分需要利用混合部署，这在过去需要使用两个独立的平台：基础设施即服务平台和 Kubernetes 平台。最近，网易创建了一个跨平台应用程序，可以利用一个命令部署这两种平台。
如今，网易的内部云平台“可以在单个集群中支持 30,000 个节点，”架构师曾玉兴说。“在生产环境中，我们已经获得了单个集群中 10,000 个节点的数据。整个内部系统都使用此系统进行开发、测试和生产。”
网易团队报告说，Kubernetes 将研发效率提高了 100% 以上。部署效率提高了 280%。“过去，如果我们想进行升级，我们需要与其他团队合作，甚至与其他部门合作，”冯说。“我们需要专门人员准备一切，所以大约需要半小时。现在我们只需要 5 分钟就能完成。”新平台还允许使用 GPU 和 CPU 资源进行混合部署。“以前，如果我们将所有资源都用于 GPU，我们就不会有 CPU 的备用资源。但现在，由于混合部署，我们有了改进，”他说。这些改进也带来了资源利用率的提高。
基于其内部平台的使用结果和经验教训，该公司推出了一款基于 Kubernetes 的云和面向微服务的 PaaS 产品，网易青州微服务，面向外部客户。“我们的想法是，我们可以找到我们的游戏、电子商务和云音乐提供商遇到的问题，以便我们可以整合他们的经验，并提供一个平台来满足我们用户的需求，”曾说。
无论是否使用网易产品，该团队都鼓励其他公司尝试 Kubernetes。“只要公司拥有成熟的团队和足够多的开发人员，我认为 Kubernetes 是一项非常好的技术，可以帮助他们，”Kubernetes 开发人员李兰清说。
作为最终用户和供应商，网易更加积极地参与社区，从其他公司学习，并分享他们的经验。该团队一直在为 Harbor 和 Envoy 项目贡献力量，并在网易规模下对这些技术进行测试时提供反馈。“我们是一个专注于解决微服务架构挑战的团队，”冯说。“通过参与这个社区，我们可以从中获得一些经验，也可以从中受益。我们可以了解社区所关注的问题和面临的挑战，以便我们可以参与其中。”