Auto-regressive sequence-to-sequence models with attention mechanism have achieved state-of-the-art performance in many tasks such as machine translation and speech synthesis. These models can be difficult to train. The standard approach, teacher forcing, guides a model with reference output history during training. The problem is that the model is unlikely to recover from its mistakes during inference, where the reference output is replaced by generated output. Several approaches deal with this problem, largely by guiding the model with generated output history. To make training stable, these approaches often require a heuristic schedule or an auxiliary classifier. This paper introduces attention forcing, which guides the model with generated output history and reference attention. This approach can train the model to recover from its mistakes, in a stable fashion, without the need for a schedule or a classifier. In addition, it allows the model to generate output sequences aligned with the references, which can be important for cascaded systems like many speech synthesis systems. Experiments on speech synthesis show that attention forcing yields significant performance gain. Experiments on machine translation show that for tasks where various re-orderings of the output are valid, guiding the model with generated output history is challenging, while guiding the model with reference attention is beneficial.


翻译:关注机制的自动递减序列到序列模型,在机器翻译和语音合成等许多任务中,这些模型可能难以培训。 标准方法, 教师强迫, 指导模型在培训期间的参考输出历史。 问题是模型不可能从推论过程中的错误中恢复过来, 参考输出被生成的输出所取代。 有几个方法处理这一问题, 主要是以生成输出历史来指导模型。 为使培训稳定, 这些方法往往需要超常的时间表或辅助分类器。 本文引入了关注力, 引导模型生成输出历史和参考关注。 这个方法可以以稳定的方式培训模型从错误中恢复, 不需要一个时间表或分类器。 此外, 它允许模型生成与引用相一致的输出序列, 这对像许多语音合成系统这样的升级系统可能很重要。 语音合成实验显示, 关注会带来显著的绩效增益。 机器翻译实验显示, 各种重新排序输出的参数是有效的, 指导模型与生成历史的模型具有挑战性能。

7
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
注意力机制介绍,Attention Mechanism
专知会员服务
165+阅读 · 2019年10月13日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
TensorFlow seq2seq中的Attention机制(续)
深度学习每日摘要
15+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Teacher-Student Training for Robust Tacotron-based TTS
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Arxiv
3+阅读 · 2018年11月13日
Image Captioning based on Deep Reinforcement Learning
VIP会员
Top
微信扫码咨询专知VIP会员