面向分布式深度学习的新一代编程接口

案例来源:北京一流科技有限公司
会议地点:上海
分享时间: 2021-11-27 16:50-17:50

袁进辉  |

北京一流科技有限公司 创始人

北京一流科技有限公司创始人,原微软亚洲研究院主管研究员,2008年于清华大学计算机系获得工学博士学位。兼任之江实验室天枢开源开放深度学习平台架构师,北京智源人工智能研究院大模型技术委员会委员。

课程概要

话题概述:
大规模预训练模型因其在文本生成等应用上优异的表现而备受关注,但开展此类研究壁垒极高:一方面,大规模预训练模型所依赖的硬件基础设施建设成本高昂,另一方面,此类大规模分布式训练面临“内存墙”的技术挑战,通用深度学习框架仅支持数据并行,还不能支持大规模预训练模型所需要的模型并行、流水并行等技术,只有高度定制的专用软件系统才能满足需求,编程复杂。在本次分享中,我们将介绍分布式深度学习的编程复杂性,以及OneFlow的一致性视角及SBP的概念,展示如何设计分布式深度学习框架的新一代编程接口,从而大大降低分布式深度学习的编程复杂性。

演讲题纲:
1,深度学习模型变大的趋势;2,分布式深度学习训练的效率挑战和编程复杂性挑战;3,OneFlow 的SBP标注体系;4,OneFlow的分布式编程接口设计;5,基于新一代编程接口的案例。

话题亮点:
1,业界领先的编程接口设计;2,完整展示新接口为开发者带来的编程体验提升。

听众收益

1,了解分布式深度学习框架的基本原理和当前前沿;2,了解分布式深度学习编程复杂性及解决思路;3,了解OneFlow 分布式深度学习编程接口的使用方法。

袁进辉  |

北京一流科技有限公司 创始人

北京一流科技有限公司创始人,原微软亚洲研究院主管研究员,2008年于清华大学计算机系获得工学博士学位。兼任之江实验室天枢开源开放深度学习平台架构师,北京智源人工智能研究院大模型技术委员会委员。

课程概要

话题概述:
大规模预训练模型因其在文本生成等应用上优异的表现而备受关注,但开展此类研究壁垒极高:一方面,大规模预训练模型所依赖的硬件基础设施建设成本高昂,另一方面,此类大规模分布式训练面临“内存墙”的技术挑战,通用深度学习框架仅支持数据并行,还不能支持大规模预训练模型所需要的模型并行、流水并行等技术,只有高度定制的专用软件系统才能满足需求,编程复杂。在本次分享中,我们将介绍分布式深度学习的编程复杂性,以及OneFlow的一致性视角及SBP的概念,展示如何设计分布式深度学习框架的新一代编程接口,从而大大降低分布式深度学习的编程复杂性。

演讲题纲:
1,深度学习模型变大的趋势;2,分布式深度学习训练的效率挑战和编程复杂性挑战;3,OneFlow 的SBP标注体系;4,OneFlow的分布式编程接口设计;5,基于新一代编程接口的案例。

话题亮点:
1,业界领先的编程接口设计;2,完整展示新接口为开发者带来的编程体验提升。

听众收益

1,了解分布式深度学习框架的基本原理和当前前沿;2,了解分布式深度学习编程复杂性及解决思路;3,了解OneFlow 分布式深度学习编程接口的使用方法。

详情咨询:400-8128-020
赞助合作:sissi
联系电话:130-4321-8801
邮箱:market@msup.com.cn
CopyRight © 2008-2021 Msup

获取大会更多详情

立即参会
报名咨询
报名咨询
优惠门票
×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】

×

扫码关注公众号:回复【A2M】

参与《免费领取PPT》活动



关注后,回复【A2M】