Apache Kylin 在 eBay 已经运行了 5 年多,并于 2019 年整体迁移到了 eBay 的 Kubernetes 平台 Tess 上,开启了 Kylin on Kubernetes 的时代,系统的可用性和扩展性显著提升,资源的管理与监控也更加简便。目前 Kylin on Kubernetes 已贡献至社区,欢迎多多尝试,一起优化。
01 前言
Apache Kylin 是一个开源的、分布式的分析型数据仓库,提供 Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。
Kubernetes 是用于自动部署,扩展和管理容器化应用程序的开源系统。它将组成应用程序的容器组合成逻辑单元,以便于管理和服务发现。Kubernetes 源自 Google 15 年生产环境的运维经验,同时凝聚了社区的最佳创意和实践。
把 Kylin 平台迁移到 Kubernetes 后,可以利用 Kubernetes 优势,让 Kylin 的部署,扩展和维护的成本变得更小。同时这个集成方案也把 Kylin 变成了一种更加原生的云服务。使得用户在云平台上,多了 Kylin 作为 OLAP 计算服务的一种选择。
Kylin 在 eBay 已经运行了 5 年以上,起初直接运行在物理服务器上。此前经历过一次扩容,当时是通过多部署几台物理服务器来实现的。但由于 Data Center 的迁移和 Tech Refresh 的需求,我们便在 2019 年年初,开始了把 Kylin 迁移到云上的计划。并于上半年把 Kylin 整体迁移到了 eBay 的 Kubernetes 平台 Tess 上,开启了 Kylin on Kubernetes 的时代。这个方案的计划和实施主要由 allenma,kyotoYaho,mingmwang,sanjulian 等负责,我们已经把这个方案贡献回社区。相关 PR 请参考:https://github.com/apache/kylin/pull/1182。
Comments