专题出品人: 董西成

快手 数据中台工具链方向的技术负责人

专题:数据中台

本专题下的议题

字节跳动用户反馈中台的大数据技术演进
曹铭斌 字节跳动 互娱研发-质量保障研发效能团队-大数据架构师
唐浪飞 字节跳动 互娱研发-质量保障研发效能团队-大数据架构师
所属专题:数据中台

课程概要

话题概述:
随着互联网和智能手机的普及,人们的生活大多时候都离不开移动App,在信息量与日俱增的大数据时代,挖掘用户数据的价值变得越来越重要。用户数据可以分为很多种类,其中,用户反馈数据可以帮助发现热点问题、避免安全问题、优化产品体验、提升产品质量等。 字节跳动作为全球月活超19亿(截至2021年6月)的互联网公司,日均用户反馈超百亿级,其中包括App端内离线反馈、短视频评论、IM(Instant Messaging,即时通讯)反馈、电话热线反馈、举报反馈、海内外应用市场评论、内部运营工单,外部舆情等数据,在这场景下,快速识别用户意图、挖掘用户反馈价值是对平台能力的极大挑战与价值体现。 字节跳动用户反馈中台历经数据规模由万级到百亿级,由离线到实时的演进;从业务场景出发,借助大数据组件Flink、Clickhouse、ElasticSearch等,实现平台大数据架构的多次迭代升级。 本次分享,我们将从海量数据处理能力、大数据组件优化经验、大数据与AI相结合等方面介绍字节跳动用户反馈中台在大数据与AI领域的技术实践,分享用户反馈中台从发展初期到现在的发展历程。在业务场景越发复杂背景下,平台正借助大数据能力和AI能力,重点为业务提供安全问题、服务异常发现等智能预警功能。 同时也展望未来平台能力建设,让大家对反馈数据应用蓝图有进一步的了解。

演讲题纲:
1. 前言
2. 业务背景
3. 字节跳动反馈中台实时架构演进
4. 全球化的实时大数据中心
5. Flink+Clickhouse/ElasticSearch的优化经验
6. 现阶段挑战
7. 复杂业务场景的在线分析
8. 实时监控中心
9. 未来规划

话题亮点:
1. 支撑字节跳动全球业务的海量用户反馈
2. 全球化的实时大数据中心
3. 业界领先的客诉反馈解决方案
4. 复杂业务场景下的OLAP引擎优化方案

听众收益

1. 了解用户反馈数据的价值。
2. 收获平台架构演进的理念和经验。
3. 大数据实时处理的优化之路。
4. 大数据与NLP相结合。

万亿级大数据同步中台设计和优化
冯赞锋 快手 数据工厂 - 数据流工具链负责人
所属专题:数据中台

课程概要

话题概述:
快手数据同步中台,是大数据平台主要入口和出口。入口:将生产环境的数据接入到数据仓库和数据湖,接入的数据包括用户行为日志、服务端日志、业务数据库和BinLog,日处理十万亿级消息数。出口:将高价值的结果/资产数据分发到生产环境,直接服务在线业务。此外,数据同步还可用于低、中、高速三种不同存储介质间数据转换传输。

演讲题纲:
1. 数据同步中台介绍
2. 数据同步中台架构设计
3. 关键技术详解
4. 及时性和质量保障机制
5. 作业资源管治
6. 未来规划

话题亮点:
1. 日处理万亿级消息数
2. 完善的数据及时性和质量保障机制

听众收益

1. 大数据同步管道构建之道
2. 如何优雅应对万亿级数据量
3. 如何保障数据及时性和质量

Linkis计算中间件如何助力构建企业级数据中台?
尹强 微众银行 基础科技产品部-专家工程师
所属专题:数据中台

课程概要

话题概述:
Linkis是微众银行WeDataSphere大数据平台开源的计算中间件,通过使用Linkis 提供的REST/JDBC/WebSocket/Cli等标准接口,上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎,同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通。自2019年开源发布以来,已累计积累了700多家试验企业和1000+沙盒试验用户,涉及金融、电信、制造、互联网等多个行业。许多公司已经将Linkis 作为大数据平台底层计算存储引擎的统一入口,和计算请求/任务的治理管控利器。
本次将会和大家分享,基于Linkis实现上下层间真正解耦,助力构建一站式、金融级、全连通的微众银行WeDataSphere大数据平台的生产实践。

演讲题纲:
1. 数据中台为什么需要Linkis计算中间件?
2. Linkis如何加速企业级数据中台建设?
3. Linkis的技术亮点
4. DataSphereStudio——微众银行借助Linkis的数据中台实践

话题亮点:
1. 了解微众银行WeDataSphere开源大数据开发套件的核心计算中间件
2. 了解Linkis如何快速助力企业级数据中台的建设
3. 了解借助于Linkis实现的微众银行数据中台实践——DataSphere Studio

听众收益

1. 更深入了解微众银行WeDataSphere大数据平台开发套件的各开源组件。
2. 收获WeDataSphere大数据平台架构演进的经验。
3. 收获计算治理的核心技术特点和设计思路。

滴滴数据中台挑战与实践
王丰金 滴滴 数据平台与应用部-专家工程师
所属专题:数据中台

课程概要

话题概述:
作为滴滴的一站式智能数据中台,支撑了数仓同学从数据建模、数据开发、质量监控以及调度运维全场景的数据开发需求,每天调度运行任务百万加。在本次分享中,我将会从数据中台2.0升级背景、核心模块拆解分析、智能诊断调优以及国际化挑战方面介绍我们的架构设计与工程实践。

演讲题纲:
1. 数据中台2.0升级背景
2. 一站式数据智能中台
3. 核心模块的架构设计
4. 智能诊断调优
5. 国际化挑战

话题亮点:
1.大数据任务的智能诊断调优
2.国际化特殊场景的挑战与实践

听众收益

1.了解数据中台的整体架构设计
2. 如何做大数据智能诊断调优
3. 数据中台在国际化场景的优秀实践

快手数据中台工具链方向的技术负责人,之前就职于Hulu,负责大数据&AI基础架构方向,有超过8年的大数据架构研发经验,目前专注于数据中台的探索和实践。大数据书籍《Hadoop技术内幕》和《大数据技术体系详解》的作者。资深Hadoop技术实践者和研究者,拥有超过8年的大数据平台平台研发经验;曾在中国云计算大会(CieCloud),世界软件大会(WOT),中国架构师大会(SACC)等担任主持人和演讲嘉宾;《Hadoop技术内幕》系列丛书作者。

专题:数据中台

详情咨询:400-8128-020
赞助合作:sissi
联系电话:130-4321-8801
邮箱:market@msup.com.cn
CopyRight © 2008-2021 Msup

大会PPT合辑限量放送, 仅限1000份

立即参会
领取PPT
领取PPT
优惠门票
×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】

×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】