青年学者学术沙龙《高速分布式神经网络训练: 分分钟训练imagenet》-j9登录网址

 青年学者学术沙龙《高速分布式神经网络训练: 分分钟训练imagenet》-j9登录网址
欢迎访问江苏省计算机学会网站!      |  
j9登录网址
 当前位置j9登录网址 > 新闻中心 > j9登录网址的公告
新闻中心  
党建工作
学会动态
政策法规
行业新闻
图片新闻
j9登录网址的公告
学会通讯
 
j9登录网址的公告
青年学者学术沙龙《高速分布式神经网络训练: 分分钟训练imagenet》
发布时间:2019-05-05

南京大学计算机软件新技术国家重点实验室 

摘 要:

加速神经网络意义重大。最直接的方法就是利用集群或分布式系统强大的计算能力去加速。当前在大规模集群上并行处理的方式大概有两种:模型并行(model parallelism)和数据并行(data parallelism)。由于模型并行在并行度和并行效率上有限,当前人们普遍采用数据并行的方式。在数据并行方法中,批量数(batch size)对并行与分布式算法的效率起着决定性作用。例如,对于imagenet数据集而言,批量数为32时,算法只能充分利用一块gpu卡。而批量数为8192时,算法却可以充分利用256块gpu卡。然后,当批量数过大时,优化算法的收敛性和稳定性都大大降低,导致最终算法收敛的精度无法达到预期。我们在最近的研究中提出了lars算法。通过使用lars算法,我们能把批量数扩大到32768,这样能充分利用1024张p100 gpu卡。这种情况下,我们只需十几分钟即可完成imagenet的训练。之前imagenet的训练往往需要几天甚至几周。我们的算法已被开源在intel caffe, nvidia caffe, caffe2 (pytorch),以及谷歌内部的tensorflow。腾讯公司在最新的产品中采用了我们的算法,在2048个p40 gpu上仅用4分钟就完成了imagenet的训练。 

报告人简介:

尤洋是一位西贝尔学者。他目前是加州大学伯克利分校计算机系的博士生,他的导师是美国科学院与工程院院士,acm/ieee fellow,伯克利计算机系主任,以及首批中关村海外顾问james demmel教授。尤洋的研究兴趣包括高性能计算,并行算法,以及机器学习。他当前的研究重点是大规模深度学习训练算法的分布式优化。他曾创造imagenet训练速度的世界纪录,并被sciencedaily,the next web,i-programmer等几十家媒体广泛报道。尤洋近三年以第一作者身份在nips,supercomputing,ipdps,ics等国际重要会议或期刊上发表论文十余篇。他曾以第一作者身份获得了国际并行于分布式处理大会(ipdps)的最佳论文(0.8%获奖率)和国际并行处理大会(icpp)的最佳论文(0.3%获奖率)。尤洋曾获清华大学优秀毕业生,北京市优秀毕业生,国家奖学金,以及清华大学计算机系额最高的西贝尔奖学金。他还在2017年获得美国计算机协会(acm)唯一颁给在读博士生的乔治·迈克尔高性能计算奖学金。尤洋曾在ibm沃森研究中心,英伟达总部,微软总部,以及谷歌总部实习。更多信息请查看他的个人j9登录网址主页(https://www.cs.berkeley.edu/~youyang)。

时间:5月9日  14:00-14:40

地点:计算机科学技术楼221室


上一篇:学术报告transparent computing systems enabled by program analysis
下一篇:青年学者学术沙龙causal inference and stable learning
j9登录网址的友情链接:
              
   
 

j9登录网址 copyright (c) j9登录网址的版权所有 江苏省计算机学会          
秘书处办公室       地址: 江苏省南京市仙林大道163号  邮编:210023   电话/传真:025-89680909   
秘书处市内联络点   地址: 江苏省南京市汉口路22号     邮编:210093   电话/传真:025-86635622
电子邮箱:[email protected]   网址:www.jscs.org.cn    j9登录网址的技术支持:  

网站备案号:   公安备案号:

您是本站第73317154位来客!

网站地图