11月06, 2020

Flink on PaaSTA:Yelp运行在Kubernetes上的新流处理平台

*本文最初发布于yelp工程博客,由InfoQ中文站翻译并分享。*

在Yelp,我们每天使用Apache Flink处理TB级的流数据,为各种各样的应用提供支持:ETL管道、推送通知、机器人过滤、Session化等等。我们运行成百上千的Flink作业,因此,如果没有适当程度的自动化,像部署、重启和保存点这样的常规操作会花费开发人员数千小时的时间。最近,我们的工具室中增加了一个新的流处理平台,它基于Yelp的PaaS服务PaaSTA。其核心是一个KubernetesOperator,它自动监视我们的Flink集群的fleet部署和生命周期。

Flink on PaaSTA on Kubernetes

引入Kubernetes之前

在Yelp引入Kubernetes之前,Yelp的Flink工作负载运行在专用的AWSElasticMapReduce集群上,这些集群预装了Flink和YARN。为了实现EMR实例与Yelp生态系统其余部分的良好协同,我们之前的流处理平台Cascade在一个Docker容器中运行大量的Puppet单体,以应用配置并启动一组常见的守护进程(在Yelp几乎所有的主机上运行)。

点击查看原文>

本文链接:https://blog.jnliok.com/post/T47JE170VyVtywl19Z1H.html

-- EOF --

Comments