The development of deep learning techniques has allowed Neural Machine Translation (NMT) models to become extremely powerful, given sufficient training data and training time. However, systems struggle when translating text from a new domain with a distinct style or vocabulary. Tuning on a representative training corpus allows good in-domain translation, but such data-centric approaches can cause over-fitting to new data and `catastrophic forgetting' of previously learned behaviour. We concentrate on more robust approaches to domain adaptation for NMT, particularly the case where a system may need to translate sentences from multiple domains. We divide techniques into those relating to data selection, model architecture, parameter adaptation procedure, and inference procedure. We finally highlight the benefits of domain adaptation and multi-domain adaptation techniques to other lines of NMT research.


翻译:深层学习技术的开发使神经机器翻译模型变得非常强大,因为培训数据和培训时间足够,然而,系统在翻译文本时从一个有不同风格或词汇的新领域进行挣扎,对具有代表性的训练材料进行测试,可以进行良好的内部翻译,但这种以数据为中心的方法可能会造成对新数据的过度适应和对以前学到的行为的“灾难性遗忘”的过度适应。我们集中力量采取更强有力的方法来为神经机器翻译(NMT)领域进行适应,特别是一个系统可能需要翻译多个领域句子的情况。我们把技术分为数据选择、模型结构、参数调整程序和推论程序。我们最后强调领域适应和多领域适应技术对NMT其他研究线的好处。

9
下载
关闭预览

相关内容

多标签学习的新趋势(2020 Survey)
专知会员服务
40+阅读 · 2020年12月6日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
159+阅读 · 2020年3月18日
机器翻译深度学习最新综述
专知会员服务
96+阅读 · 2020年2月20日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
计算机 | EMNLP 2019等国际会议信息6条
Call4Papers
18+阅读 · 2019年4月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
10+阅读 · 2015年7月1日
AutoML: A Survey of the State-of-the-Art
Arxiv
67+阅读 · 2019年8月14日
Arxiv
5+阅读 · 2018年10月23日
Arxiv
7+阅读 · 2018年6月1日
Arxiv
6+阅读 · 2018年2月28日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
计算机 | EMNLP 2019等国际会议信息6条
Call4Papers
18+阅读 · 2019年4月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
10+阅读 · 2015年7月1日
Top
微信扫码咨询专知VIP会员