计算和存储分离架构下大数据栈的演化

案例来源:Alluxio
会议地点:上海
分享时间: 2019-05-19 16:50-17:50

范斌  |

Alluxio 创始人,VP of Open Source

加入Alluxio团队前, 范斌在Google从事下一代大规模分布式存储系统的研究与开发. 范斌博士毕业于卡内基梅隆大学计算机系, 博士期间在分布式系统算法和系统实现等方向发表了包括SIGCOMM, SOSP, NSDI在内的多篇顶级论文, 设计和实现了CuckooFilter,MemC3以及libCuckoo.

课程概要

背景介绍:
伴随着计算密集型应用的迅猛增长,云计算的加速流行以及容器化和弹性计算场景的大量普及, 现代公司纷纷实施计算和存储解耦合的架构。这在极大的促进了计算弹性的扩展的同时也引入了新问题: 整个大数据软件栈如何面临失去数据本地性的挑战,如何跨多个应用共享数据,如何简化应用开发、降低存储服务成本等等。

解决思路/成功要点:
以诞生于加州大学伯克利分校的Alluxio为代表的新一代开源大数据中台着眼于这一问题。和在设计就突出计算存储紧耦合来实现低成本可靠存储HDFS等系统不同,通过对数据应用提供一个由软件定义和实现的虚拟数据存储层,抽象和整合多云、混合云、多数据中心等环境下的文件和对象,并通过智能的工作负载分析和数据管理对让数据贴近计算并提供数据本地性,大数据和机器学习应用能够以相同的性能和更低的成本实现。

成果:
SparkSQL, Presto,TensorFlow等新一代大数据和机器学习框架 可以借助包括Alluxio在内的数据中台抽象和管理层,在存储的解耦合的部署中,方便的实现计算的本地性和数据的共享。

听众收益

- 理解当前行业里弹性计算,云计算以及存储计算分离等发展趋势的深层次原因;
- 大数据平台架构师和运维工程师如何借力云或者对象存储解决方案,实现更高的成本效益和可扩展性;
- 以Alluxio为代表的数据抽象和接入层以及在中外行业领袖中的实际落地应用案例.

范斌  |

Alluxio 创始人,VP of Open Source

加入Alluxio团队前, 范斌在Google从事下一代大规模分布式存储系统的研究与开发. 范斌博士毕业于卡内基梅隆大学计算机系, 博士期间在分布式系统算法和系统实现等方向发表了包括SIGCOMM, SOSP, NSDI在内的多篇顶级论文, 设计和实现了CuckooFilter,MemC3以及libCuckoo.

课程概要

背景介绍:
伴随着计算密集型应用的迅猛增长,云计算的加速流行以及容器化和弹性计算场景的大量普及, 现代公司纷纷实施计算和存储解耦合的架构。这在极大的促进了计算弹性的扩展的同时也引入了新问题: 整个大数据软件栈如何面临失去数据本地性的挑战,如何跨多个应用共享数据,如何简化应用开发、降低存储服务成本等等。

解决思路/成功要点:
以诞生于加州大学伯克利分校的Alluxio为代表的新一代开源大数据中台着眼于这一问题。和在设计就突出计算存储紧耦合来实现低成本可靠存储HDFS等系统不同,通过对数据应用提供一个由软件定义和实现的虚拟数据存储层,抽象和整合多云、混合云、多数据中心等环境下的文件和对象,并通过智能的工作负载分析和数据管理对让数据贴近计算并提供数据本地性,大数据和机器学习应用能够以相同的性能和更低的成本实现。

成果:
SparkSQL, Presto,TensorFlow等新一代大数据和机器学习框架 可以借助包括Alluxio在内的数据中台抽象和管理层,在存储的解耦合的部署中,方便的实现计算的本地性和数据的共享。

听众收益

- 理解当前行业里弹性计算,云计算以及存储计算分离等发展趋势的深层次原因;
- 大数据平台架构师和运维工程师如何借力云或者对象存储解决方案,实现更高的成本效益和可扩展性;
- 以Alluxio为代表的数据抽象和接入层以及在中外行业领袖中的实际落地应用案例.

详情咨询:赵丹丹
邮箱:dandan.zhao@msup.com.cn
联系电话:158-0221-7295
赞助合作:sissi
联系电话:130-4321-8801
邮箱:market@msup.com.cn
CopyRight © 2008-2019 Msup