机器翻译是指通过计算机将源语言句子翻译到与之语义等价的目标语言句子的过程,是自然语言处理领域的一个重要研究方向。神经机器翻译仅需使用神经网络就能实现从源语言到目标语言的端到端翻译,目前已成为机器翻译研究的主流方向。该文选取了近期神经机器翻译的几个主要研究领域,包括同声传译、多模态机器翻译、非自回归模型、篇章翻译、领域自适应、多语言翻译和模型训练,并对这些领域的前沿研究进展做简要介绍。

成为VIP会员查看完整内容
0
20

相关内容

多语言机器翻译使用一个翻译模型来处理多种语言。

句法分析的目标是分析输入句子并得到其句法结构,是自然语言处理领域的经典任务之一。目前针对该任务的研究主要集中于如何通过从数据中自动学习来提升句法分析器的精度。该文对句法分析方向的前沿动态进行了调研,分别从有监督句法分析、无监督句法分析和跨领域跨语言句法分析三个子方向梳理和介绍了2018—2019年发表的新方法和新发现,并对句法分析子方向的研究前景进行了分析和展望。

http://jcip.cipsc.org.cn/CN/abstract/abstract2996.shtml

成为VIP会员查看完整内容
0
19

摘要:近年来,跨模态研究吸引了越来越多学者的关注,尤其是连接视觉和语言的相关课题。该文针对跨视觉和语言模态研究中的核心任务——图像描述生成,进行文献综述。该文从基于视觉的文本生成框架、基于视觉的文本生成研究中的关键问题、图像描述生成模型的性能评价和图像描述生成模型的主要发展过程四个方面对相关文献进行介绍和总结。最后,该文给出了几个未来的重点研究方向,包括跨视觉和语言模态的特征对齐、自动化评价指标的设计以及多样化图像描述生成。

http://jcip.cipsc.org.cn/CN/abstract/abstract2995.shtml

成为VIP会员查看完整内容
0
54

摘要: 近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。

成为VIP会员查看完整内容
0
62

模态是指事物发生或存在的方式,如文字、语言、声音、图形等。多模态学习是指学习多个模态中各个模态的信息,并且实现各个模态的信息的交流和转换。多模态深度学习是指建立可以完成多模态学习任务的神经网络模型。多模态学习的普遍性和深度学习的热度赋予了多模态深度学习鲜活的生命力和发展潜力。旨在多模态深度学习的发展前期,总结当前的多模态深度学习,发现在不同的多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成,以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各问题进行子分类和论述,同时列举了为解决各问题产生的神经网络模型。最后论述了实际多模态系统,多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。

成为VIP会员查看完整内容
0
109

【简介】自然语言处理(NLP)能够帮助智能型机器更好地理解人类的语言,实现基于语言的人机交流。目前随着计算能力的发展和大量语言数据的出现,推动了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域取得了显著的进步,数据驱动策略的应用已经非常的普遍。本综述对NLP领域中所应用的深度学习进行了分类和讨论。它涵盖了NLP的核心任务和应用领域,并对深度学习方法如何推进这些领域的发展进行了细致的描述。最后我们进一步分析和比较了不同的方法和目前最先进的模型。

原文连接:https://arxiv.org/abs/2003.01200

介绍

自然语言处理(NLP)是计算机科学的一个分支,能够为自然语言和计算机之间提高沟通的桥梁。它帮助机器理解、处理和分析人类语言。NLP通过深入地理解数据的上下文,使得数据变得更有意义,这反过来又促进了文本分析和数据挖掘。NLP通过人类的通信结构和通信模式来实现这一点。这篇综述涵盖了深度学习在NLP领域中所扮演的新角色以及各种应用。我们的研究主要集中在架构上,很少讨论具体的应用程序。另一方面,本文描述了将深度学习应用于NLP问题中时所面临的挑战、机遇以及效果评估方式。

章节目录

section 2: 在理论层面介绍了NLP和人工智能,并将深度学习视为解决现实问题的一种方法。

section 3:讨论理解NLP所必需的基本概念,包括各种表示法、模型框架和机器学习中的示例性问题。

section 4:总结了应用在NLP领域中的基准数据集。

section 5:重点介绍一些已经被证明在NLP任务中有显著效果的深度学习方法。

section 6:进行总结,同时解决了一些开放的问题和有希望改善的领域。

成为VIP会员查看完整内容
0
65

题目: A Survey of Deep Learning Techniques for Neural Machine Translation

摘要: 近年来,随着深度学习技术的发展,自然语言处理(NLP)得到了很大的发展。在机器翻译领域,出现了一种新的方法——神经机器翻译(NMT),引起了学术界和工业界的广泛关注。然而,在过去的几年里提出的大量的研究,很少有人研究这一新技术趋势的发展过程。本文回顾了神经机器翻译的起源和主要发展历程,描述了神经机器翻译的重要分支,划分了不同的研究方向,并讨论了未来该领域的一些研究趋势。

成为VIP会员查看完整内容
0
62

报告主题: 机器翻译前沿综述

报告摘要: 机器翻译利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。同时,机器翻译又具有重要的实用价值。随着经济全球化及互联网的飞速发展,机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。

邀请嘉宾: 冯洋,博士,中国科学院计算技术研究所“新百星人才引进计划”入选者,副研究员、博士生导师,主要研究方向为机器翻译和人机对话。在中科院计算所获得博士学位后,先后在谢菲尔德大学和USC/ISI开展研究工作。在ACL、EMNLP、COLING、NAACL等自然语言处理主流学术会议上发表论文40余篇,获得ACL 2019最佳长文奖,为国内迄今唯一获奖。多次在NIST、IWSLT、CWMT等国内外权威机器翻译评测中获得第一名。担任COLING 2018领域主席,并担任CCL 2018、2019学生研讨会主席、CCMT 2019研讨会主席。

成为VIP会员查看完整内容
0
30

在过去的几年里,自然语言处理领域由于深度学习模型的大量使用而得到了发展。这份综述提供了一个NLP领域的简要介绍和一个快速的深度学习架构和方法的概述。然后,筛选了大量最近的研究论文,并总结了大量相关的贡献。NLP研究领域除了计算语言学的一些应用外,还包括几个核心的语言处理问题。然后讨论了目前的技术水平,并对该领域今后的研究提出了建议。

成为VIP会员查看完整内容
0
144

人机对话系统能够让机器通过人类语言与人进行交互,是人工智能领域的一项重要工作。因其在虚拟助手和社交聊天机器人等领域的商业价值而广受工业界和学术界的关注。近年来,互联网社交数据快速增长促进了数据驱动的开放领域对话系统研究,尤其是将深度学习技术应用到其中取得了突破性进展。基于深度学习的开放领域对话系统使用海量社交对话数据,通过检索或者生成的方法建立对话模型学习对话模式。将深度学习融入检索式系统中研究提高对话匹配模型的效果,将深度学习融入生成式系统中构建更高质量的生成模型,成为了基于深度学习的开放领域对话系统的主要任务。本文对近几年基于深度学习的开放领域对话系统研究进展进行综述,梳理、比较和分析主要方法,整理其中的关键问题和已有解决方案,总结评测指标,展望未来研究趋势。

成为VIP会员查看完整内容
0
50
小贴士
相关VIP内容
专知会员服务
19+阅读 · 2020年9月11日
专知会员服务
62+阅读 · 2020年4月23日
专知会员服务
109+阅读 · 2020年3月29日
专知会员服务
65+阅读 · 2020年3月12日
机器翻译深度学习最新综述
专知会员服务
62+阅读 · 2020年2月20日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
144+阅读 · 2019年10月12日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
50+阅读 · 2019年10月12日
相关资讯
多模态深度学习综述,18页pdf
专知
26+阅读 · 2020年3月29日
神经机器阅读理解最新综述:方法和趋势
PaperWeekly
10+阅读 · 2019年7月25日
自然语言处理中注意力机制综述
Python开发者
10+阅读 · 2019年1月31日
SFFAI报名通知 | 神经机器翻译 & 关系抽取
人工智能前沿讲习班
9+阅读 · 2018年10月25日
自然语言处理(NLP)前沿进展报告
人工智能学家
18+阅读 · 2018年9月30日
贝叶斯机器学习前沿进展
机器学习研究会
16+阅读 · 2018年1月21日
清华大学:刘洋——基于深度学习的机器翻译
人工智能学家
8+阅读 · 2017年11月13日
相关论文
Attention Forcing for Sequence-to-sequence Model Training
Qingyun Dou,Yiting Lu,Joshua Efiong,Mark J. F. Gales
6+阅读 · 2019年9月26日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
4+阅读 · 2019年4月17日
Ofir Press,Noah A. Smith
3+阅读 · 2018年10月31日
Soumya Wadhwa,Khyathi Raghavi Chandu,Eric Nyberg
6+阅读 · 2018年6月18日
Guillaume Klein,Yoon Kim,Yuntian Deng,Vincent Nguyen,Jean Senellart,Alexander M. Rush
3+阅读 · 2018年5月28日
Parth Shah,Vishvajit Bakarola,Supriya Pati
20+阅读 · 2018年1月17日
Longyue Wang,Zhaopeng Tu,Shuming Shi,Tong Zhang,Yvette Graham,Qun Liu
3+阅读 · 2018年1月10日
Diksha Khurana,Aditya Koli,Kiran Khatter,Sukhdev Singh
4+阅读 · 2017年8月17日
Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency
122+阅读 · 2017年8月1日
Top