快速深度学习训练优化算法

案例来源:加州大学伯克利分校
会议地点:上海
分享时间: 2020-09-04 09:00-10:00

尤洋  |

加州大学伯克利分校 计算机科学与技术系,博士

尤洋是一位西贝尔学者。他目前是加州大学伯克利分校计算机系的博士生,他的导师是美国科学院与工程院院士,ACM/IEEE fellow,伯克利计算机系主任,以及首批中关村海外顾问James Demmel教授。尤洋的研究兴趣包括高性能计算,并行算法,以及机器学习。他当前的研究重点是大规模深度学习训练算法的分布式优化。他曾创造ImageNet训练速度的世界纪录,并被ScienceDaily,The Next Web,i-programmer等几十家媒体广泛报道。尤洋近三年以第一作者身份在NIPS,Supercomputing,IPDPS,ICS等国际重要会议或期刊上发表论文十余篇。他曾以第一作者身份获得了国际并行于分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率)。尤洋曾获清华大学优秀毕业生,北京市优秀毕业生,国家奖学金,以及清华大学计算机系数额最高的西贝尔奖学金。他还在2017年获得美国计算机协会(ACM)唯一颁给在读博士生的乔治·迈克尔高性能计算奖学金。尤洋曾在IBM沃森研究中心,英伟达总部,微软总部,以及谷歌总部实习。更多信息请查看他的个人主页(https://www.cs.berkeley.edu/~youyang)。

课程概要

案例背景:
如何在大规模集群上扩展深度学习。如何将BERT训练时间从3天减少到1小时。

解决思路:
关键技术:一阶非凸优化算法,并行与分布式训练,快速通讯传输。
坑:如何减少算法精度损失?如何避免浪费机器资源?

成果:
我们只需十几分钟即可完成ImageNet的训练。之前ImageNet的训练往往需要几天甚至几周。我们的算法已被开源在Intel Caffe, NVIDIA Caffe, Caffe2 (PyTorch),以及谷歌内部的TensorFlow

听众收益

1. 可以让听众学习如何快速训练机器学习模型。2. 听众可以知道分布式算法的有效性以及弊端。3. 听众可以了解最新的深度学习优化算法研究。

尤洋  |

加州大学伯克利分校 计算机科学与技术系,博士

尤洋是一位西贝尔学者。他目前是加州大学伯克利分校计算机系的博士生,他的导师是美国科学院与工程院院士,ACM/IEEE fellow,伯克利计算机系主任,以及首批中关村海外顾问James Demmel教授。尤洋的研究兴趣包括高性能计算,并行算法,以及机器学习。他当前的研究重点是大规模深度学习训练算法的分布式优化。他曾创造ImageNet训练速度的世界纪录,并被ScienceDaily,The Next Web,i-programmer等几十家媒体广泛报道。尤洋近三年以第一作者身份在NIPS,Supercomputing,IPDPS,ICS等国际重要会议或期刊上发表论文十余篇。他曾以第一作者身份获得了国际并行于分布式处理大会(IPDPS)的最佳论文(0.8%获奖率)和国际并行处理大会(ICPP)的最佳论文(0.3%获奖率)。尤洋曾获清华大学优秀毕业生,北京市优秀毕业生,国家奖学金,以及清华大学计算机系数额最高的西贝尔奖学金。他还在2017年获得美国计算机协会(ACM)唯一颁给在读博士生的乔治·迈克尔高性能计算奖学金。尤洋曾在IBM沃森研究中心,英伟达总部,微软总部,以及谷歌总部实习。更多信息请查看他的个人主页(https://www.cs.berkeley.edu/~youyang)。

课程概要

案例背景:
如何在大规模集群上扩展深度学习。如何将BERT训练时间从3天减少到1小时。

解决思路:
关键技术:一阶非凸优化算法,并行与分布式训练,快速通讯传输。
坑:如何减少算法精度损失?如何避免浪费机器资源?

成果:
我们只需十几分钟即可完成ImageNet的训练。之前ImageNet的训练往往需要几天甚至几周。我们的算法已被开源在Intel Caffe, NVIDIA Caffe, Caffe2 (PyTorch),以及谷歌内部的TensorFlow

听众收益

1. 可以让听众学习如何快速训练机器学习模型。2. 听众可以知道分布式算法的有效性以及弊端。3. 听众可以了解最新的深度学习优化算法研究。

详情咨询:400-8128-020
赞助合作:sissi
联系电话:130-4321-8801
邮箱:market@msup.com.cn
CopyRight © 2008-2020 Msup