题目: A Survey on Document-level Machine Translation: Methods and Evaluation

摘要: 机器翻译(Machine translation,MT)是自然语言处理(NLP)中的一项重要任务,它使翻译过程自动化,减少了对人工翻译的依赖。随着神经网络的出现,翻译质量超过了使用统计技术得到的翻译质量。直到三年前,所有的神经翻译模型都是独立翻译句子的,不包含任何额外的句子信息。本文的目的是突出神经革命前后在文档级机器翻译领域所做的主要工作,以便研究人员能够认识到我们从哪里开始,我们正朝着哪个方向前进。在谈到统计机器翻译(SMT)的文献时,我们关注的是那些试图改善特定话语现象翻译的作品,而在神经机器翻译(NMT)中,我们关注的是那些明确使用更广泛语境的作品。除此之外,我们还介绍了为说明该领域的改进而引入的评估策略。

成为VIP会员查看完整内容
0
4

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。

题目: A Comprehensive Survey of Multilingual Neural Machine Translation

摘要: 本文综述了近年来备受关注的多语言神经机器翻译(MNMT)。由于翻译知识的转移(迁移学习),MNMT在提高翻译质量方面发挥了重要作用。MNMT比统计机器翻译更有前途,也更有趣,因为端到端建模和分布式表示为机器翻译的研究开辟了新途径。为了利用多语言并行语料库来提高翻译质量,人们提出了许多方法。但是,由于缺乏全面的综述,很难确定哪些方法是有希望的,因此值得进一步探讨。在这篇论文中,我们对现有的关于MNMT的文献进行了深入的综述。我们首先根据中心用例对各种方法进行分类,然后根据资源场景、基础建模原则、核心问题和挑战对它们进行进一步分类。只要有可能,我们就通过相互比较来解决几种技术的优缺点。我们还讨论了未来的方向,跨国公司的研究可能采取。本文的目标读者既有初学者,也有专家。我们希望这篇论文能够作为一个起点,同时也为那些对MNMT感兴趣的研究人员和工程师提供新的思路。

成为VIP会员查看完整内容
0
8

题目: A Survey of Deep Learning Techniques for Neural Machine Translation

摘要: 近年来,随着深度学习技术的发展,自然语言处理(NLP)得到了很大的发展。在机器翻译领域,出现了一种新的方法——神经机器翻译(NMT),引起了学术界和工业界的广泛关注。然而,在过去的几年里提出的大量的研究,很少有人研究这一新技术趋势的发展过程。本文回顾了神经机器翻译的起源和主要发展历程,描述了神经机器翻译的重要分支,划分了不同的研究方向,并讨论了未来该领域的一些研究趋势。

成为VIP会员查看完整内容
0
56

题目: A Comprehensive Survey of Multilingual Neural Machine Translation

摘要:

本文对近年来备受关注的多语言神经机器翻译进行了综述。由于翻译知识的迁移(迁移学习),MNMT在提高翻译质量方面发挥了重要作用。MNMT比统计机器翻译更有前途,也更有趣,因为端到端建模和分布式表示为机器翻译的研究开辟了新途径。为了利用多语言并行语料库来提高翻译质量,人们提出了许多方法。但是,由于缺乏全面的调查,很难确定哪些方法是有希望的,因此值得进一步探讨。在这篇论文中,我们对现有的关于MNMT的文献进行了深入的综述。我们首先根据中心用例对各种方法进行分类,然后根据资源场景、基础建模原则、核心问题和挑战对它们进行进一步分类。只要有可能,我们就通过相互比较来解决几种技术的优缺点。我们还讨论了未来的方向,跨国公司的研究可能采取。本文的目标读者既有初学者,也有专家。我们希望这篇论文能够作为一个起点,同时也为那些对MNMT感兴趣的研究人员和工程师提供新的思路。

作者简介:

Raj Dabre,目前在日本NICT做博士后研究。在京都大学完成了博士学位。现在做机器翻译方面的研究,对机器翻译的深度学习方法很感兴趣。主要研究方向:人工智能、机器翻译、自然语言处理、遗传学。个人主页:https://prajdabre.wixsite.com/prajdabre

成为VIP会员查看完整内容
0
11

题目: A Survey on Distributed Machine Learning

简介: 在过去十年中,对人工智能的需求已显着增长,并且这种增长得益于机器学习技术的进步以及利用硬件加速的能力,但是,为了提高预测质量并在复杂的应用程序中提供可行的机器学习解决方案,需要大量的训练数据。尽管小型机器学习模型可以使用一定数量的数据进行训练,但用于训练较大模型(例如神经网络)的输入与参数数量成指数增长。由于处理训练数据的需求已经超过了计算机器的计算能力的增长,因此急需在多个机器之间分配机器学习工作量,并将集中式的精力分配到分配的系统上。这些分布式系统提出了新的挑战,最重要的是训练过程的科学并行化和相关模型的创建。本文通过概述传统的(集中的)机器学习方法,探讨了分布式机器学习的挑战和机遇,从而对当前的最新技术进行了广泛的概述,并对现有的技术进行研究。

成为VIP会员查看完整内容
0
67

题目: Neural Machine Translation: A Review

简介: 机器翻译(MT)是将书面文本从一种自然语言自动翻译成另一种自然语言,近年来,机器翻译领域经历了一次重大的范式转变。统计机器翻译主要依赖于各种基于计数的模型,在过去几十年中一直主导机器翻译的研究,但现在它已在很大程度上被神经机器翻译(NMT)所取代。在这项工作中,我们将追溯现代NMT架构的起源到词和句子嵌入和早期的例子的编码器-解码器网络家族。最后,我们将对该领域的最新趋势进行调查。

成为VIP会员查看完整内容
Neural Machine Translation_ A Review.pdf
0
26

题目: Neural Machine Reading Comprehension:Methods and Trends

摘要: 近年来,随着深度学习的出现,要求机器根据给定的语境回答问题的机器阅读理解(MRC)越来越受到广泛的关注。虽然基于深度学习的MRC研究方兴未艾,但目前还缺乏一篇全面的综述文章来总结本文提出的方法和近期的发展趋势。因此,我们对这一有希望的领域的最新研究工作进行了全面的综述。具体来说,我们比较了不同维度的MRC任务,并介绍了其总体架构。我们进一步提供了流行模型中使用的最新方法的分类。最后,我们讨论了一些新的趋势,并通过描述该领域的一些开放性问题得出结论。

下载链接: https://arxiv.org/pdf/1907.01118v2.pdf

成为VIP会员查看完整内容
0
33

论文摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域中的学习性能。这样可以减少对大量目标域数据的依赖,从而构建目标学习者。由于其广泛的应用前景,转移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本研究试图将已有的迁移学习研究进行梳理和梳理,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的研究不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20个有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即,亚马逊评论,路透社-21578,Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。

关键词:迁移学习 机器学习 域适应 可解释性

成为VIP会员查看完整内容
0
58
小贴士
相关资讯
一文纵览 Vision-and-Language 领域最新研究与进展
AI科技评论
7+阅读 · 2019年5月14日
Attention!注意力机制模型最新综述
中国人工智能学会
13+阅读 · 2019年4月8日
自然语言处理中注意力机制综述
Python开发者
10+阅读 · 2019年1月31日
AI Challenger 2018 机器翻译参赛总结
PaperWeekly
5+阅读 · 2019年1月7日
AI Challenger 2018 机器翻译冠军参赛总结
AINLP
5+阅读 · 2019年1月4日
2018年度NLP领域最令人兴奋的10项新研究
AI前线
16+阅读 · 2018年12月29日
自动机器学习(AutoML)最新综述
PaperWeekly
27+阅读 · 2018年11月7日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
6+阅读 · 2015年7月1日
相关论文
Talking-Heads Attention
Noam Shazeer,Zhenzhong Lan,Youlong Cheng,Nan Ding,Le Hou
12+阅读 · 2020年3月5日
Extending Machine Language Models toward Human-Level Language Understanding
James L. McClelland,Felix Hill,Maja Rudolph,Jason Baldridge,Hinrich Schütze
4+阅读 · 2019年12月12日
Andrei Popescu-Belis
3+阅读 · 2019年1月25日
Taking Human out of Learning Applications: A Survey on Automated Machine Learning
Quanming Yao,Mengshuo Wang,Yuqiang Chen,Wenyuan Dai,Hu Yi-Qi,Li Yu-Feng,Tu Wei-Wei,Yang Qiang,Yu Yang
10+阅读 · 2019年1月17日
A Hierarchical Neural Network for Sequence-to-Sequences Learning
Si Zuo,Zhimin Xu
3+阅读 · 2018年11月23日
Gongbo Tang,Matthias Muller,Annette Rios,Rico Sennrich
3+阅读 · 2018年8月27日
Chenhui Chu,Rui Wang
12+阅读 · 2018年6月1日
Roman Grundkiewicz,Marcin Junczys-Dowmunt
4+阅读 · 2018年4月16日
Diego Moussallem,Matthias Wauer,Axel-Cyrille Ngonga Ngomo
8+阅读 · 2018年2月1日
Yonatan Belinkov,Lluís Màrquez,Hassan Sajjad,Nadir Durrani,Fahim Dalvi,James Glass
3+阅读 · 2018年1月23日
Top