Kylin 作为汽车之家的核心 OLAP 引擎,服务于多个业务线与商业数据产品,应用于流量、线索、用户行为、推荐效果等方面的数据分析场景。目前已有 500+ 个 Kylin Cube,存储约 300 T,整体 Segment 数约1.6 万;单个 Cube 原始数据过万亿,单个 Cube 最多 31 个维度;12万 HBase region,查询响应时间 TP 95 稳定在 2 秒以内。
本文导读
- Kylin 在汽车之家的发展历程及现状:
- Kylin 简介、架构与原理
- 使用现状
- 发展历程
- Kylin 在商业化数据产品中的应用与实践:
- 业务场景
- 技术选型(Kylin vs Druid vs ES)
- 战略级数据产品-车智云
- 开发流程
- Kylin 的常规优化经验(Cuboid 剪枝、查询性能、最大维度组合、超大字典问题、精确去重…)
- 其他实践
- KylinSide系统-集群信息统计、集群管理
- 集群升级和迁移的一些经验分享:
- 背景与挑战
- 整体方案
- 整体架构
- 未来的规划:
- 实时 OLAP
- 云原生
01 Kylin 在汽车之家的发展历程及现状
1. Kylin 简介
Apache Kylin 是一个可扩展的超快的大数据分析型数据仓库,它有友好的 web 界面,有交互式查询能力,性能非常好,还有标准的 SQL 接口,支持 JDBC 查询。Kylin 的原理是基于预计算模型,是多维立方体的模式,在 Kylin 3.0 之后已经支持实时 OLAP 了,同时 Kylin 可以和现有的 BI 工具无缝结合。
2. Kylin 架构
Comments