云原生时代,Flink资源管理架构的演进与挑战

案例来源:阿里巴巴
会议地点:上海
分享时间: 2021-11-27 11:00-12:00

王阳  |

阿里巴巴 计算平台事业部 - 开源大数据平台 - 高级研发专家

王阳,阿里巴巴研发专家,深耕大数据与实时计算领域多年,具有丰富的Flink大规模部署与集群管理经验。在开源社区积极推进Flink云原生化,并在阿里内部进行大规模生产应用。

课程概要

话题概述:
随着Kubernetes的快速发展与云原生技术的不断火热,越来越多的大数据系统开始原生支持了K8s,Spark是从2.3开始支持,Flink是从1.10开始支持。Flink on K8s 最直接的优势并非性能显著提升,而是成本下降明显。原来分散在多个不同类型集群中的业务,可以合并到统一的K8s集群中,在线任务、机器学习任务、实时计算、批计算等不同类型任务混部,相互削峰填谷,来最大化提升集群资源利用率。除此之外,统一技术栈以后,同样可以带来运维和开发成本的下降。

在本次分享中,我们会首先回顾Flink云原生部署架构的发展过程,从Standalone Flink on K8s,到Flink on Yarn on K8s,再到Native Flink on K8s,具体分析每种架构的实现方式与优缺点。最后会介绍阿里巴巴基于不同架构下的混部方案,如何解决面临的挑战,以及最终取得的成果。

演讲题纲:
在本次分享中,我们会首先回顾Flink云原生部署架构的发展过程,从Standalone Flink on K8s,到Flink on Yarn on K8s,再到Native Flink on K8s,具体分析每种架构的实现方式与优缺点。最后会介绍阿里巴巴基于不同架构下的混部方案,如何解决面临的挑战,以及最终取得的成果。

话题亮点:
1. Flink云原生部署架构的完整发展历程
2. 阿里巴巴基于K8s的实时计算混部企业实践

听众收益

1. 了解如何构建云原生化的实时计算平台
2. K8s如何能够适应Flink乃至大数据的需求
3. 如何通过混部提升资源资源利用率

王阳  |

阿里巴巴 计算平台事业部 - 开源大数据平台 - 高级研发专家

王阳,阿里巴巴研发专家,深耕大数据与实时计算领域多年,具有丰富的Flink大规模部署与集群管理经验。在开源社区积极推进Flink云原生化,并在阿里内部进行大规模生产应用。

课程概要

话题概述:
随着Kubernetes的快速发展与云原生技术的不断火热,越来越多的大数据系统开始原生支持了K8s,Spark是从2.3开始支持,Flink是从1.10开始支持。Flink on K8s 最直接的优势并非性能显著提升,而是成本下降明显。原来分散在多个不同类型集群中的业务,可以合并到统一的K8s集群中,在线任务、机器学习任务、实时计算、批计算等不同类型任务混部,相互削峰填谷,来最大化提升集群资源利用率。除此之外,统一技术栈以后,同样可以带来运维和开发成本的下降。

在本次分享中,我们会首先回顾Flink云原生部署架构的发展过程,从Standalone Flink on K8s,到Flink on Yarn on K8s,再到Native Flink on K8s,具体分析每种架构的实现方式与优缺点。最后会介绍阿里巴巴基于不同架构下的混部方案,如何解决面临的挑战,以及最终取得的成果。

演讲题纲:
在本次分享中,我们会首先回顾Flink云原生部署架构的发展过程,从Standalone Flink on K8s,到Flink on Yarn on K8s,再到Native Flink on K8s,具体分析每种架构的实现方式与优缺点。最后会介绍阿里巴巴基于不同架构下的混部方案,如何解决面临的挑战,以及最终取得的成果。

话题亮点:
1. Flink云原生部署架构的完整发展历程
2. 阿里巴巴基于K8s的实时计算混部企业实践

听众收益

1. 了解如何构建云原生化的实时计算平台
2. K8s如何能够适应Flink乃至大数据的需求
3. 如何通过混部提升资源资源利用率

详情咨询:400-8128-020
赞助合作:sissi
联系电话:130-4321-8801
邮箱:market@msup.com.cn
CopyRight © 2008-2021 Msup

获取大会更多详情

立即参会
报名咨询
报名咨询
优惠门票
×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】

×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】