报告主题:预训练语言模型的研究与应用

报告摘要:预训练语言模型对自然语言处理领域产生了非常大的影响,华为诺亚方舟实验首席科学家刘群分享了华为诺亚方舟实验室在预训练语言模型研究与应用。他从以下四个方面介绍了他们的工作:一是中文预训练语言模型——哪吒;二是实体增强预训练语言模型——ERINE;三是预训练语言模型——乐府;四是TinyBERT:高效的BERT压缩模型。最后,刘群对预训练语言模型研究与应用做了展望。下一步他们希望研究更好、更强大的预训练语言模型,融入更多的知识,同时跟语音和图像也能够有所结合;此外,也希望将这些预训练模型能应用到更多领域。

邀请嘉宾:刘群,男,华为诺亚方舟实验室,任语音语义首席科学家,主导语音和自然语言处理领域的前沿研究和技术创新。 1989 年毕业于中国科学技术大学计算机系,1992 年于中国科学院计算技术研究所获得硕士学位。刘群博士是自然语言处理和机器翻译领域的国际著名专家,他的研究方向包括多语言信息处理、机器翻译模型、方法与评价等。

成为VIP会员查看完整内容
2019-10-31-02-04-liuqun.pdf
0
14

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

报告主题:NLP、多模态智能和机器学习

报告摘要:自然语言处理在未来可能会从文本创作、情感智能、多模态智能和对话智能等多个方向突破。首先是对于长文本内容的创作,要具备写作逻辑。人工智能需要确立一个模型,使得主题、子主题的结构可以展开,并且能够在模型上得到体现,最后才能真正写出一篇前后逻辑严谨,有意义的文章。其次是要理解用户的情感,知道用户的诉求,生成共情的对话,配合情感进行相应表达。同时,多模态学习也是一个新兴的领域,包括从基础大跨模态语义表征学习,比如语言-视觉多模态预训练,到多模态知识获取和知识推理,再到多模态智能的应用,比如图像到文字描述、文本到图像生成、视觉-文本回答、语言=视觉导航等等。多模态智能技术奖之前各个子领域的相对孤立的研究进行融合,并将驱动一系列新技术的研究。

邀请嘉宾:何晓冬,京东集团技术副总裁,IEEE Fellow,京东人工智能研究员常务副院长,深度学习及语音和语言实验室的负责人,并担任华盛顿大学(西雅图)、香港中文大学(深圳)和同济大学兼职教授,及中央美术学院荣誉教授。曾在IEEE、ACM、ACL、AAAI等学会的期刊和学术会议担任编委、组委或领域主席,主要从事人工智能领域,包括深度学习、自然语言处理、语音识别、计算机视觉、信息检索和多模态智能等方面的研究。

成为VIP会员查看完整内容
2019-10-31-02-05-hexiaodong.pdf
0
18

报告主题:Recent Breakthroughs in Natural Language Processing

报告摘要:自然语言处理是计算机科学、语言学和机器学习的交叉点,它关注计算机与人类之间使用自然语言中的沟通交流。总之,NLP致力于让计算机能够理解和生成人类语言。NLP技术应用于多个领域,比如天猫精灵和Siri这样的语音助手,还有机器翻译和文本过滤等。机器学习是受NLP影响最深远的领域之一,尤为突出的是深度学习技术。该领域分为以下三个部分:语音识别、自然语言理解、自然语言生成。本次报告结合NLP的最新突破,分别剖析不同领域的研究进展,并对未来的研究方向作出简单概述。

邀请嘉宾:Christopher Manning,SAIL 新任负责人,于1989年在澳大利亚国立大学取得三个学士学位(数学、计算机和语言学),并于 1994 年获得斯坦福大学语言学博士学位。 他曾先后在卡内基梅隆大学、悉尼大学等任教,1999 年回到母校斯坦福,就职于计算机科学和语言学系,是斯坦福自然语言处理组(Stanford NLP Group)的创始成员及负责人。重返斯坦福之后,他一待就是 19 年。

Manning 的研究目标是以智能的方式实现人类语言的处理、理解及生成,研究领域包括树形 RNN 、情感分析、基于神经网络的依存句法分析、神经机器翻译和深度语言理解等,是一位 NLP 领域的深度学习开拓者。他是国际计算机学会 (ACM)、国际人工智协会(AAAI)、国际计算语言学会(ACL)等国际权威学术组织的 Fellow,曾获 ACL、EMNLP、COLING、CHI 等国际顶会最佳论文奖,著有《统计自然语言处理基础》、《信息检索导论》等自然语言处理著名教材。

成为VIP会员查看完整内容
2019-10-31-02-01-Christopher-Manning.pdf
0
5

报告主题:智能客服在腾讯游戏的实践

报告摘要:智能客服在各行各业都得到了较为广泛的应用。在腾讯,智能客服技术在游戏领域的应用是实现「AI+社交」功能的一个重要方面,以1v1拟人对话形式,集攻略、资讯和功能于一身,提升了玩家体验。目前此技术已覆盖了腾讯内部90%的五星与六星游戏产品,为亿级用户提供服务,玩家满意度高达91.6%。针对本次论坛主题“社交机器人”,报告人将介绍腾讯在游戏场景下的智能客服中的相关技术。

嘉宾简介:唐国华,腾讯AI平台部智能客服方向技术负责人,2012年毕业于哈尔滨工业大学社会计算与信息检索研究中心。现在腾讯AI平台部负责及参与智能客服、推荐系统、游戏AI等项目的研发。

成为VIP会员查看完整内容
0
4

论坛嘉宾:杨成 北京邮电大学 助理教授

报告主题:图神经网络在自然语言处理领域的前沿应用

报告摘要:很多真实世界的应用场景需要处理包含着元素间丰富关系信息的图形式的数据。在例如物理系统建模、化学分子功能预测等领域中,数据都拥有显式的图结构;而在另一些例如文本的非结构数据中,如何从数据中抽取推理并利用如句法树等结构信息,也是相关领域中重要的研究方向。图神经网络可以通过节点间的信息传递(message passing)有效地捕捉结构信息。自该概念提出以来,图神经网络技术已经在自然语言处理、数据挖掘等多个领域得到了广泛的应用。本报告将重点介绍图神经网络技术在自然语言处理领域的前沿应用。

嘉宾简介:杨成,博士,北京邮电大学计算机学院助理教授,2019年7月毕业于清华大学计算机科学与技术系,从事自然语言处理与社会计算相关方向的研究,博士期间在国内外顶级期刊会议上发表多篇论文,Google Scholar累计获得引用近500次,并担任国内外顶级会议包括ACL、EMNLP、SMP等在内的程序委员会成员和期刊的审稿人。

成为VIP会员查看完整内容
0
44
小贴士
相关VIP内容
相关论文
Roee Aharoni,Yoav Goldberg
10+阅读 · 4月5日
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
63+阅读 · 3月18日
UniViLM: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation
Huaishao Luo,Lei Ji,Botian Shi,Haoyang Huang,Nan Duan,Tianrui Li,Xilin Chen,Ming Zhou
6+阅读 · 2月15日
Zi-Yi Dou,Keyi Yu,Antonios Anastasopoulos
5+阅读 · 2019年8月27日
Kazuki Irie,Albert Zeyer,Ralf Schlüter,Hermann Ney
4+阅读 · 2019年7月11日
How to Fine-Tune BERT for Text Classification?
Chi Sun,Xipeng Qiu,Yige Xu,Xuanjing Huang
10+阅读 · 2019年5月14日
Panoptic Segmentation with a Joint Semantic and Instance Segmentation Network
Daan de Geus,Panagiotis Meletis,Gijs Dubbelman
4+阅读 · 2018年9月6日
Antoine J. -P. Tixier
8+阅读 · 2018年8月30日
Jeremy Howard,Sebastian Ruder
3+阅读 · 2018年5月23日
Jeremy Howard,Sebastian Ruder
4+阅读 · 2018年1月18日
Top