万亿级大数据同步中台设计和优化

案例来源:快手
会议地点:上海
分享时间: 2021-11-26 14:30-15:30

冯赞锋  |

快手 数据工厂 - 数据流工具链负责人

先后就职于百度(2009)、豌豆荚(2011)、快手(2016)三家公司,主要擅长大数据中台构建、后端服务架构和开发,在搜索、爬虫和知识图谱方向有一定积累。目前在快手主要负责数据同步、实时开发平台两个方向研发工作。

课程概要

话题概述:
快手数据同步中台,是大数据平台主要入口和出口。入口:将生产环境的数据接入到数据仓库和数据湖,接入的数据包括用户行为日志、服务端日志、业务数据库和BinLog,日处理十万亿级消息数。出口:将高价值的结果/资产数据分发到生产环境,直接服务在线业务。此外,数据同步还可用于低、中、高速三种不同存储介质间数据转换传输。

演讲题纲:
1. 数据同步中台介绍
2. 数据同步中台架构设计
3. 关键技术详解
4. 及时性和质量保障机制
5. 作业资源管治
6. 未来规划

话题亮点:
1. 日处理万亿级消息数
2. 完善的数据及时性和质量保障机制

听众收益

1. 大数据同步管道构建之道
2. 如何优雅应对万亿级数据量
3. 如何保障数据及时性和质量

冯赞锋  |

快手 数据工厂 - 数据流工具链负责人

先后就职于百度(2009)、豌豆荚(2011)、快手(2016)三家公司,主要擅长大数据中台构建、后端服务架构和开发,在搜索、爬虫和知识图谱方向有一定积累。目前在快手主要负责数据同步、实时开发平台两个方向研发工作。

课程概要

话题概述:
快手数据同步中台,是大数据平台主要入口和出口。入口:将生产环境的数据接入到数据仓库和数据湖,接入的数据包括用户行为日志、服务端日志、业务数据库和BinLog,日处理十万亿级消息数。出口:将高价值的结果/资产数据分发到生产环境,直接服务在线业务。此外,数据同步还可用于低、中、高速三种不同存储介质间数据转换传输。

演讲题纲:
1. 数据同步中台介绍
2. 数据同步中台架构设计
3. 关键技术详解
4. 及时性和质量保障机制
5. 作业资源管治
6. 未来规划

话题亮点:
1. 日处理万亿级消息数
2. 完善的数据及时性和质量保障机制

听众收益

1. 大数据同步管道构建之道
2. 如何优雅应对万亿级数据量
3. 如何保障数据及时性和质量

详情咨询:400-8128-020
赞助合作:sissi
联系电话:130-4321-8801
邮箱:market@msup.com.cn
CopyRight © 2008-2021 Msup

获取大会更多详情

立即参会
报名咨询
报名咨询
优惠门票
×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】

×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】