阿里开源面向NLP的深度学习框架EasyTransfer,今晚这场线上分享不可错过

2020 年 12 月 8 日 机器之心
作为一个快速发展的机器学习领域,迁移学习(Transfer Learning, TL)通过从数据充足任务中的知识迁移来提升数据缺乏任务的学习效果。得益于深度神经网络强大的表征能力,基于 TL 方法的神经架构,即深度迁移学习(Deep Transfer Learning)受到了越来越多研究者的青睐,并被证明在各种应用中非常有效。

一系列 TL 工具包的开发也使得 TL 算法应用起来更加简单,如英伟达的迁移学习工具包(TLT)、亚马逊的 xfer 库、清华大学的迁移学习工具包以及 Huggingface 的 Transformers 工具包。但是,当涉及到工业规模的真实应用时,这些工具包的表现总是不尽如人意。所以,开发一个全面的、工业规模的深度迁移学习工具包变得越来越有必要。

在这篇论文中,来自阿里巴巴的研究者开发了一个新的深度迁移学习框架 EasyTransfer,并向开源社区开放。该框架支持多种自然语言处理(NLP)任务中使用的各类 TL 算法,为真实应用中的模型训练、推理和部署提供了统一的 pipeline。目前,该框架已经整合入阿里巴巴的很多深度学习产品中,并实现了显著的性能增益。

机器之心最新一期线上分享邀请到了论文一作、阿里云高级算法专家邱明辉,为大家详细解读此前沿研究。


分享主题:PAI-EasyTransfer 面向 NLP 场景的深度迁移学习框架

分享嘉宾 :邱明辉,新加坡 SMU 博士,美国卡耐基梅隆大学访问学者,现为阿里云高级算法专家。主要从事自然语言处理和深度学习算法和框架研究,迄今为止已发表 40 余篇自然语言处理和机器学习方向的顶会和期刊论文,Google 学术引用 1500+,H-index 20。曾获得 Best paper runner-up award 和 Best demo award,并担任多家国际顶会和期刊的审稿人。目前主要负责开源框架 EasyTransfer 的开发和落地,目前该框架已经服务阿里内部多个 BU 业务场景。

分享概要 :本次直播将介绍深度迁移学习框架 PAI-EasyTransfer,这是个面向自然语言处理场景的深度迁移学习框架。该框架致力于让自然语言处理场景的模型预训练和迁移学习开发与部署更加简单和高效。EasyTransfer 给自然语言处理和深度迁移学习用户提供了多方面的便利性,包括业界领先的高性能预训练工具链和预训练 ModelZoo,丰富易用的 AppZoo,高效的知识蒸馏工具,全面的深度迁移学习算法,以及全面兼容阿里巴巴 PAI 生态产品。

直播时间:北京时间 12 月 08 日 20:00-21:00

  • 论文链接:https://arxiv.org/abs/2011.09463

  • 项目地址:https://github.com/alibaba/EasyTransfer


加入机动组,一起看直播

「机动组」是机器之心发起的人工智能技术社区,将持续提供技术公开课、论文分享、热门主题解读等线上线下活动,并在社群中提供每日精选论文与教程、智能技术研究周报,同时「机动组」也将不定期组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。添加机器之心小助手(syncedai5),备注「2020」,加入本次直播群。


ps:如果小助手无法添加,请将「微信 ID」发送邮件到 dujiahao@jiqizhixin.com,我们将与你联系,邀你入群。
登录查看更多
0

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【干货书】面向机器学习的自然语言标注,341页pdf
专知会员服务
64+阅读 · 2021年2月7日
小米在预训练模型的探索与优化
专知会员服务
18+阅读 · 2020年12月31日
【KDD2020-阿里】可调控的多兴趣推荐框架
专知会员服务
28+阅读 · 2020年8月11日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
168+阅读 · 2020年6月28日
【复旦大学-SP2020】NLP语言模型隐私泄漏风险
专知会员服务
24+阅读 · 2020年4月20日
刚刚,阿里开源首个深度学习框架 X-Deep Learning!
阿里技术
4+阅读 · 2018年12月21日
近期值得关注的8款AI开源项目 | 本周Github精选
PaperWeekly
4+阅读 · 2018年8月3日
福利 | 实践入门NLP:基于深度学习的自然语言处理
AI科技评论
9+阅读 · 2018年1月23日
实践入门NLP:基于深度学习的自然语言处理
雷锋网
10+阅读 · 2018年1月22日
阿里搜索技术,在AI路上走了多远?
机器学习研究会
11+阅读 · 2017年12月29日
NLP的这一年:深度学习或成主角
论智
3+阅读 · 2017年12月14日
EfficientDet: Scalable and Efficient Object Detection
Arxiv
6+阅读 · 2019年11月20日
Arxiv
34+阅读 · 2019年11月7日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
4+阅读 · 2018年3月22日
Arxiv
4+阅读 · 2016年12月29日
VIP会员
相关VIP内容
相关论文
EfficientDet: Scalable and Efficient Object Detection
Arxiv
6+阅读 · 2019年11月20日
Arxiv
34+阅读 · 2019年11月7日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
4+阅读 · 2018年3月22日
Arxiv
4+阅读 · 2016年12月29日
Top
微信扫码咨询专知VIP会员