11月05, 2020

4 年 Kylin 老玩家,汽车之家最佳实践大揭秘!

Kylin 作为汽车之家的核心 OLAP 引擎,服务于多个业务线与商业数据产品,应用于流量、线索、用户行为、推荐效果等方面的数据分析场景。目前已有 500+ 个 Kylin Cube,存储约 300 T,整体 Segment 数约1.6 万;单个 Cube 原始数据过万亿,单个 Cube 最多 31 个维度;12万 HBase region,查询响应时间 TP 95 稳定在 2 秒以内。

本文导读

  1. Kylin 在汽车之家的发展历程及现状:
    • Kylin 简介、架构与原理
    • 使用现状
    • 发展历程
  2. Kylin 在商业化数据产品中的应用与实践:
    • 业务场景
    • 技术选型(Kylin vs Druid vs ES)
    • 战略级数据产品-车智云
    • 开发流程
    • Kylin 的常规优化经验(Cuboid 剪枝、查询性能、最大维度组合、超大字典问题、精确去重…)
    • 其他实践
    • KylinSide系统-集群信息统计、集群管理
  3. 集群升级和迁移的一些经验分享:
    • 背景与挑战
    • 整体方案
    • 整体架构
  4. 未来的规划:
    • 实时 OLAP
    • 云原生

01 Kylin 在汽车之家的发展历程及现状

1. Kylin 简介

Apache Kylin 是一个可扩展的超快的大数据分析型数据仓库,它有友好的 web 界面,有交互式查询能力,性能非常好,还有标准的 SQL 接口,支持 JDBC 查询。Kylin 的原理是基于预计算模型,是多维立方体的模式,在 Kylin 3.0 之后已经支持实时 OLAP 了,同时 Kylin 可以和现有的 BI 工具无缝结合。

2. Kylin 架构

点击查看原文>

本文链接:https://blog.jnliok.com/post/ipOwF5MIRR4qJXxMWE2M.html

-- EOF --

Comments