报告主题:预训练语言模型的研究与应用

报告摘要:预训练语言模型对自然语言处理领域产生了非常大的影响,华为诺亚方舟实验首席科学家刘群分享了华为诺亚方舟实验室在预训练语言模型研究与应用。他从以下四个方面介绍了他们的工作:一是中文预训练语言模型——哪吒;二是实体增强预训练语言模型——ERINE;三是预训练语言模型——乐府;四是TinyBERT:高效的BERT压缩模型。最后,刘群对预训练语言模型研究与应用做了展望。下一步他们希望研究更好、更强大的预训练语言模型,融入更多的知识,同时跟语音和图像也能够有所结合;此外,也希望将这些预训练模型能应用到更多领域。

邀请嘉宾:刘群,男,华为诺亚方舟实验室,任语音语义首席科学家,主导语音和自然语言处理领域的前沿研究和技术创新。 1989 年毕业于中国科学技术大学计算机系,1992 年于中国科学院计算技术研究所获得硕士学位。刘群博士是自然语言处理和机器翻译领域的国际著名专家,他的研究方向包括多语言信息处理、机器翻译模型、方法与评价等。

成为VIP会员查看完整内容
2019-10-31-02-04-liuqun.pdf
9+
0+

相关内容

自然语言处理( Natural Language Processing, NLP )

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

报告简介: 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。如何用好自然语言处理,让机器明白文字,读懂文字,自言语言处理已经应用在不同的领域,如推荐系统、医疗问答、机器翻译等。

嘉宾介绍: 刘知远,清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011年获得清华大学博士学位,已在ACL、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文60余篇,Google Scholar统计引用超过2700次。承担多项国家自然科学基金。曾获清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文、清华大学优秀博士后、中文信息学会青年创新奖,入选中国科学青年人才托举工程、CCF-Intel青年学者提升计划。担任中文信息学会青年工作委员会执委、副主任,中文信息学会社会媒体处理专委会委员、秘书,SCI期刊Frontiers of Computer Science青年编委,ACL、COLING、IJCNLP领域主席。

成为VIP会员查看完整内容
刘知远-knowledge-guided NLP.pdf
15+
0+

题目: 自然语言处理中的表示学习进展:从Transfomer到BERT

报告人: 邱锡鹏 博士 复旦大学

摘要: 目前全连接自注意力模型(比如Transformer)在自然语言处理领域取得了广泛的成功。本报告主要介绍我们在自注意力模型方面的一些工作,主要涵盖两部分内容:1)Transformer及其改进模型:通过分析Transformer的基本原理和优缺点,提出一些改进模型Star-Transformer、Multi-Scale Transformer等。2)预训练的Transformer模型的迁移方法:虽然预训练的Transformer模型(比如BERT、GPT等)在很多自然语言任务上都取得了非常好的性能,我们通过任务转换、继续预训练、多任务学习等方法来进一步提高其迁移能力。最后,对Transformer模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
20191104-MLA2019-自然语言处理中的表示学习进展:从Transfomer到BERT.pdf
17+
0+

报告主题: 机器翻译前沿综述

报告摘要: 机器翻译利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。同时,机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展,机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。

邀请嘉宾: 冯洋,博士,中国科学院计算技术研究所“新百星人才引进计划”入选者,副研究员、博士生导师,主要研究方向为机器翻译和人机对话。在中科院计算所获得博士学位后,先后在谢菲尔德大学和USC/ISI开展研究工作。在ACL、EMNLP、COLING、NAACL等自然语言处理主流学术会议上发表论文40余篇,获得ACL 2019最佳长文奖,为国内迄今唯一获奖。多次在NIST、IWSLT、CWMT等国内外权威机器翻译评测中获得第一名。担任COLING 2018领域主席,并担任CCL 2018、2019学生研讨会主席、CCMT 2019研讨会主席。

成为VIP会员查看完整内容
12+
0+

报告主题: 多模态--基于视觉的跨模态文本生成

报告摘要: 此次报告主要讲述了多模态中基于视觉的跨模态文本生成,首先介绍了语言-视觉的跨模态任务,并提出了视觉的语义表示、视觉-语言的跨模态对齐等研究问题及其相关解决方案,然后介绍了几种基于视觉的文本生成方法以及基于视觉的文本生成的其他关注点,最后提出了对未来的一些看法。

邀请嘉宾: 魏忠钰,博士,复旦大学副教授。主要研究领域为自然语言处理,机器学习和社会媒体处理,专注于自动化文本生成、论辩挖掘和交叉学科应用研究。于哈尔滨工业大学获得学士和硕士学位,于香港中文大学获得博士学位,2015-2016年于美国德州大学达拉斯分校从事博士后工作,现任中文信息学会社交媒体处理专委会常务委员兼秘书,中国中文信息学会青年工作委员会委员。在自然语言处理、人工智能领域的国际会议、期刊如CL,ACL,SIGIR,EMNLP,AAAI,IJCAI, Bioinformatics等发表学术论文40余篇。担任多个重要国际会议及期刊评审。获得2017年度上海市青年扬帆计划,2019年度全国社会媒体处理大会新锐奖。

成为VIP会员查看完整内容
基于视觉的跨模态文本生成.pdf
17+
0+

报告主题: 预训练模型--自然语言处理的新范式

报告摘要: 传统的有监督自然语言处理模型依赖大规模的人工标注训练数据,这些数据标注代价非常高,因此规模有限,这也限制了自然语言处理系统进一步提升精度。以Word2vec,GloVe等为代表的词向量技术可以视为一种早期的预训练模型, 从大规模未标注文本中预训练的词向量,在一定程度上提高了上层模型的精度。然而,这些模型假设“一个词由唯一的向量表示”,忽略了它们在不同上下文下的差异。以ELMo为代表的上下文相关词向量模型取消了以上的假设,在不同的上下文环境下,赋予相 同的词以不同的词向量,因此又被称为“动态”词向量。BERT等模型进一步使用更深层的网络进行预训练,并使用了语言模型之外的预训练目标,在应用模式上也从简单的特征提取转换为精调整个网络结构。这些新的预训练模型在众多自然语言处理任务上取得 了很好的效果,已成为自然语言处理的新范式。本报告首先介绍预训练模型的演化过程,接着介绍预训练模型在应用方面的最新研究进展,另外还列举了一些对预训练模型进行定性和定量分析的工作,最后对自然语言处理中预训练模型的发展趋势进行了展望。

邀请嘉宾: 车万翔 博士,哈尔滨工业大学计算机学院教授,博士生导师,斯坦福大学访问学者,合作导师Christopher Manning教授。现任中国中文信息学会计算语言学专业委员会委员、青年工作委员会副主任;中国计算机学会高级会员、曾任 YOCSEF哈尔滨主席(2016-2017年度)。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文50余篇,其中AAAI 2013年的文章获得了最佳论文提名奖,论文累计被引用2,100余次(Google Scholar数据),H-index值为26。出版教材 2 部,译 著 2 部。承担国家自然科学基金、973等多项科研项目。负责研发的语言技术平台(LTP)已被600余家单位共享,提供的在线“语言云”服务已有用户1万余人,并授权给百度、腾讯、华为等公司使用。2018年,获CoNLL多语种句法分析国际评测第1名。2015-16年, 连续两年获Google Focused Research Award(谷歌专注研究奖);2016年,获黑龙江省科技进步一等奖(排名第2);2012年,获黑龙江省技术发明奖二等奖(排名第2);2010年获中国中文信息学会“钱伟长”中文信息处理科学技术奖一等奖(排名第2)、首届 汉王青年创新奖(个人)等多项奖励。2017年,所主讲的《高级语言程序设计(Python)》课程获国家精品在线开放课程。

成为VIP会员查看完整内容
5+
0+

报告主题: 语言与视觉多模态智能的进展

报告摘要: 基于近年来深度学习技术对语音,语言,视觉等子领域的推动,在语言和视觉跨模态交叉学科领域我们也取得了很多激动人心的进展,包括跨语言与图像的理解、推理和生成。具体而言,语言与视觉多模态智能的研究可分为多个层次,包括从底层的多模态表征学习,到上层的语言和视觉表征的融合与对应,再到更上层的应用比如图像描述、视觉问答、文字到图像合成等。同时各个层次的模型并不是万却独立,而往往是通过端到端的训练联合优化的。在报告中我将结合经典的语言与视觉多模态应用介绍跨语言和视觉的语义表示建模及跨模态信息融合。同时,我还将探讨多模态智能中的可解释性和可控性问题。最后,对多模态智能未来的突破进行了展望。

邀请嘉宾: 何晓冬博士是京东人工智能研究院常务副院长,深度学习及语音和语言实验室的负责人。他还在华盛顿大学(西雅图)、香港中文大学(深圳)、同济大学、及中央美术学院任兼职教授和荣誉教授。在加入京东集团之前,他曾担任微软雷德蒙德研究院深度学习技术中心的首席研究员和负责人。他的研究主要集中在人工智能领域,包括深度学习,自然语言处理,语音识别,计算机视觉,信息检索和多模态智能。他与合作者在这些领域发表了100多篇论文,谷歌学术统计引用数超过13000次,并多次获得优秀论文奖及赢得重要的人工智能方面大赛。他与合作者发明的深层结构化语义模型(DSSM/C-DSSM),分层注意力网络(HAN),CaptionBot,SAN,AttnGAN,BUTD Attention等广泛应用于语言,视觉,IR和人机对话等任务。基于其在自然语言和视觉技术及多模态信息处理方面的贡献,他于2018年入选IEEE Fellow。

成为VIP会员查看完整内容
9+
0+
Top