题目: A Comprehensive Survey of Multilingual Neural Machine Translation

摘要:

本文对近年来备受关注的多语言神经机器翻译进行了综述。由于翻译知识的迁移(迁移学习),MNMT在提高翻译质量方面发挥了重要作用。MNMT比统计机器翻译更有前途,也更有趣,因为端到端建模和分布式表示为机器翻译的研究开辟了新途径。为了利用多语言并行语料库来提高翻译质量,人们提出了许多方法。但是,由于缺乏全面的调查,很难确定哪些方法是有希望的,因此值得进一步探讨。在这篇论文中,我们对现有的关于MNMT的文献进行了深入的综述。我们首先根据中心用例对各种方法进行分类,然后根据资源场景、基础建模原则、核心问题和挑战对它们进行进一步分类。只要有可能,我们就通过相互比较来解决几种技术的优缺点。我们还讨论了未来的方向,跨国公司的研究可能采取。本文的目标读者既有初学者,也有专家。我们希望这篇论文能够作为一个起点,同时也为那些对MNMT感兴趣的研究人员和工程师提供新的思路。

作者简介:

Raj Dabre,目前在日本NICT做博士后研究。在京都大学完成了博士学位。现在做机器翻译方面的研究,对机器翻译的深度学习方法很感兴趣。主要研究方向:人工智能、机器翻译、自然语言处理、遗传学。个人主页:https://prajdabre.wixsite.com/prajdabre

成为VIP会员查看完整内容
0
11

相关内容

多语言机器翻译使用一个翻译模型来处理多种语言。

题目: A Comprehensive Survey of Multilingual Neural Machine Translation

摘要: 本文综述了近年来备受关注的多语言神经机器翻译(MNMT)。由于翻译知识的转移(迁移学习),MNMT在提高翻译质量方面发挥了重要作用。MNMT比统计机器翻译更有前途,也更有趣,因为端到端建模和分布式表示为机器翻译的研究开辟了新途径。为了利用多语言并行语料库来提高翻译质量,人们提出了许多方法。但是,由于缺乏全面的综述,很难确定哪些方法是有希望的,因此值得进一步探讨。在这篇论文中,我们对现有的关于MNMT的文献进行了深入的综述。我们首先根据中心用例对各种方法进行分类,然后根据资源场景、基础建模原则、核心问题和挑战对它们进行进一步分类。只要有可能,我们就通过相互比较来解决几种技术的优缺点。我们还讨论了未来的方向,跨国公司的研究可能采取。本文的目标读者既有初学者,也有专家。我们希望这篇论文能够作为一个起点,同时也为那些对MNMT感兴趣的研究人员和工程师提供新的思路。

成为VIP会员查看完整内容
0
8

题目

Pre-trained Models for Natural Language Processing: A Survey

关键词

预训练语言模型,深度学习,自然语言处理,BERT,Transfomer,人工智能

简介

最近,预训练模型(PTM)的出现将自然语言处理(NLP)带入了一个新时代。 在此调查中,我们提供了针对NLP的PTM的全面概述。 我们首先简要介绍语言表示学习及其研究进展。 然后,我们基于分类从四个角度对现有PTM进行系统分类。 接下来,我们描述如何使PTM的知识适应下游任务。 最后,我们概述了PTM未来研究的一些潜在方向。该调查旨在作为实践指南,帮助您理解,使用和开发适用于各种NLP任务的PTM。

作者

Xipeng Qiu, Tianxiang Sun, Yige Xu, Yunfan Shao, Ning Dai ,Xuanjing Huang

译者

专知成员,范志广

成为VIP会员查看完整内容
Pre-trained Models for Natural Language Processing A Survey.pdf
0
66

题目: Exploring Benefits of Transfer Learning in Neural Machine Translation

摘要: 众所周知,神经机器翻译需要大量的并行训练语句,这通常会妨碍它在低资源语言对上的优势。本文探讨了跨语言迁移学习在神经网络中的应用,以解决资源匮乏的问题。我们提出了几种转移学习方法来重用预先训练在高资源语言对上的模型。我们特别注意技术的简单性。我们研究了两种情形:(a)当我们重用高资源模型而不事先修改其训练过程时;(b)当我们可以预先准备第一阶段的高资源模型用于转移学习时。对于前一个场景,我们通过重用其他研究人员训练的模型,提出了一种概念证明方法。在后一种情况下,我们提出了一种在翻译性能上得到更大改进的方法。除了提出的技术外,我们还着重于对迁移学习技术进行深入的分析,并试图对迁移学习的改进有所启发。我们展示了我们的技术如何解决低资源语言的特定问题,甚至在高资源转移学习中也是适用的。我们通过研究转移学习在各种情况下的潜在缺陷和行为,例如,在人为损坏的训练语料库下,或者在固定的模型部分下。

作者简介: Tom Kocmi,查尔斯特大学,数学与物理学院,形式与应用语言学研究所博士,他的主要研究方向是基于神经网络的机器翻译。个人主页:https://ufal.mff.cuni.cz/tom-kocmi

成为VIP会员查看完整内容
0
6

题目: A Survey on Document-level Machine Translation: Methods and Evaluation

摘要: 机器翻译(Machine translation,MT)是自然语言处理(NLP)中的一项重要任务,它使翻译过程自动化,减少了对人工翻译的依赖。随着神经网络的出现,翻译质量超过了使用统计技术得到的翻译质量。直到三年前,所有的神经翻译模型都是独立翻译句子的,不包含任何额外的句子信息。本文的目的是突出神经革命前后在文档级机器翻译领域所做的主要工作,以便研究人员能够认识到我们从哪里开始,我们正朝着哪个方向前进。在谈到统计机器翻译(SMT)的文献时,我们关注的是那些试图改善特定话语现象翻译的作品,而在神经机器翻译(NMT)中,我们关注的是那些明确使用更广泛语境的作品。除此之外,我们还介绍了为说明该领域的改进而引入的评估策略。

成为VIP会员查看完整内容
0
4

题目: A Comprehensive Survey of Graph Embedding: Problems, Techniques and Applications 摘要: 图形是一种重要的数据表示形式,它出现在现实世界的各种场景中。有效的图形分析可以让用户更深入地了解数据背后的内容,从而有利于节点分类、节点推荐、链路预测等许多有用的应用。然而,大多数图形分析方法都存在计算量大、空间开销大的问题。图嵌入是解决图分析问题的有效途径。它将图形数据转换为一个低维空间,其中图形结构信息和图形属性被最大程度地保留。在这项调查中,我们对图嵌入的文献进行了全面的回顾。本文首先介绍了图嵌入的形式化定义及相关概念。之后,我们提出了两个分类的图形嵌入,对应于什么挑战存在于不同的图形嵌入问题设置,以及现有的工作如何解决这些挑战,在他们的解决方案。最后,我们总结了图形嵌入在计算效率、问题设置、技术和应用场景等方面的应用,并提出了四个有前途的研究方向。

作者简介: Hongyun Cai,经验丰富的研究人员,有在研究行业工作的经验。精通计算机科学,C++,数据库,Java和机器学习。昆士兰大学计算机科学专业研究生,哲学博士。

Vincent W. Zheng,新加坡先进数字科学中心(ADSC)的研究科学家,也是伊利诺伊大学香槟分校协调科学实验室的研究附属机构。他目前领导着ADSC的大型社交项目。该项目旨在利用目前在我们的数字社会(即社交媒体)中普遍存在的巨大“人类传感器”,并实现对此类数据的社会分析,从而建立一个以人为中心的网络系统。他还对图形表示学习、深度学习、自然语言处理、移动计算等领域感兴趣,并在社交挖掘、文本挖掘、实际位置和活动识别、用户分析、移动推荐、增强现实等方面有应用。

Kevin Chen-Chuan Chang是伊利诺伊大学香槟分校计算机科学教授,他领导了数据搜索、集成和挖掘的前沿数据实验室。他在国立台湾大学获得理学学士学位,在斯坦福大学获得电机工程博士学位。他的研究涉及大规模信息访问,用于搜索、挖掘和跨结构化和非结构化大数据的集成,目前的重点是“以实体为中心”的Web搜索/挖掘和社交媒体分析。他在VLDB 2000年和2013年获得了两项最佳论文奖,2002年获得了NSF职业奖,2003年获得了NCSA院士奖,2004年和2005年获得了IBM院士奖,2008年获得了创业领导力学院院士奖,并在2001年、2004年、2005年、2006年、2010年和2011年获得了伊利诺伊大学不完整的优秀教师名单。他热衷于将研究成果带到现实世界中,并与学生共同创办了伊利诺伊大学(University of Illinois)的初创公司Cazoodle,致力于在网络上深化垂直的“数据感知”搜索。

成为VIP会员查看完整内容
0
35

题目: Neural Machine Translation: A Review

简介: 机器翻译(MT)是将书面文本从一种自然语言自动翻译成另一种自然语言,近年来,机器翻译领域经历了一次重大的范式转变。统计机器翻译主要依赖于各种基于计数的模型,在过去几十年中一直主导机器翻译的研究,但现在它已在很大程度上被神经机器翻译(NMT)所取代。在这项工作中,我们将追溯现代NMT架构的起源到词和句子嵌入和早期的例子的编码器-解码器网络家族。最后,我们将对该领域的最新趋势进行调查。

成为VIP会员查看完整内容
Neural Machine Translation_ A Review.pdf
0
26

题目: Neural Machine Reading Comprehension:Methods and Trends

摘要: 近年来,随着深度学习的出现,要求机器根据给定的语境回答问题的机器阅读理解(MRC)越来越受到广泛的关注。虽然基于深度学习的MRC研究方兴未艾,但目前还缺乏一篇全面的综述文章来总结本文提出的方法和近期的发展趋势。因此,我们对这一有希望的领域的最新研究工作进行了全面的综述。具体来说,我们比较了不同维度的MRC任务,并介绍了其总体架构。我们进一步提供了流行模型中使用的最新方法的分类。最后,我们讨论了一些新的趋势,并通过描述该领域的一些开放性问题得出结论。

下载链接: https://arxiv.org/pdf/1907.01118v2.pdf

成为VIP会员查看完整内容
0
33

论文题目: Blockchain for Future Smart Grid: A Comprehensive Survey

论文摘要: 智能电网的概念已被引入,作为常规电网的新视野,以寻求一种整合绿色和可再生能源技术的有效方法。通过这种方式,连接互联网的智能电网(也称为能源互联网)也正在作为一种创新的方法出现,以确保随时随地的能源供应。这些发展的最终目标是建立一个可持续发展的社会。但是,对于传统的集中式网格系统而言,集成和协调大量不断增长的连接可能是一个具有挑战性的问题。因此,智能电网正在从其集中形式转变为分散式拓扑。另一方面,区块链具有一些出色的功能,使其成为智能电网范例的有前途的应用程序。本文旨在对区块链在智能电网中的应用进行全面的调查。因此,我们确定了可以通过区块链解决的智能电网场景的重大安全挑战。然后,我们提出了许多基于区块链的最新研究成果,这些研究成果发表在不同的文献中,涉及智能电网领域的安全问题。我们还总结了最近出现的几个相关的实用项目,试验和产品。最后,我们讨论了将区块链应用于智能电网安全问题的基本研究挑战和未来方向。

成为VIP会员查看完整内容
0
20

论文摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域中的学习性能。这样可以减少对大量目标域数据的依赖,从而构建目标学习者。由于其广泛的应用前景,转移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本研究试图将已有的迁移学习研究进行梳理和梳理,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的研究不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20个有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即,亚马逊评论,路透社-21578,Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。

关键词:迁移学习 机器学习 域适应 可解释性

成为VIP会员查看完整内容
0
58
小贴士
相关VIP内容
相关论文
A Comprehensive Survey on Transfer Learning
Fuzhen Zhuang,Zhiyuan Qi,Keyu Duan,Dongbo Xi,Yongchun Zhu,Hengshu Zhu,Hui Xiong,Qing He
85+阅读 · 2019年11月7日
A Comprehensive Survey on Graph Neural Networks
Zonghan Wu,Shirui Pan,Fengwen Chen,Guodong Long,Chengqi Zhang,Philip S. Yu
9+阅读 · 2019年3月10日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
7+阅读 · 2019年1月16日
Yuta Nishimura,Katsuhito Sudoh,Graham Neubig,Satoshi Nakamura
4+阅读 · 2018年6月7日
Felix Hieber,Tobias Domhan,Michael Denkowski,David Vilar,Artem Sokolov,Ann Clifton,Matt Post
6+阅读 · 2018年6月1日
Chenhui Chu,Rui Wang
12+阅读 · 2018年6月1日
Ke Tran,Yonatan Bisk
3+阅读 · 2018年5月28日
Zhirui Zhang,Shujie Liu,Mu Li,Ming Zhou,Enhong Chen
4+阅读 · 2018年3月1日
Graham Neubig,Matthias Sperber,Xinyi Wang,Matthieu Felix,Austin Matthews,Sarguna Padmanabhan,Ye Qi,Devendra Singh Sachan,Philip Arthur,Pierre Godard,John Hewitt,Rachid Riad,Liming Wang
3+阅读 · 2018年3月1日
Mikel Artetxe,Gorka Labaka,Eneko Agirre,Kyunghyun Cho
6+阅读 · 2018年2月26日
Top