EMNLP 2021 | 学习改写非自回归机器翻译的翻译结果

非自回归机器翻译[1]由于其解码过程不依赖于之前翻译结果从而获得很高的推理速度，但是其翻译质量相对较差。近期许多工作将迭代式[2,3]的解码策略引入非自回归机器翻译中，其通过多次优化先前的翻译结果从而提升最终翻译质量。但是，其中一个显著问题是在迭代式解码过程中这些方法并不能显示区分翻译结果中的错误。在本工作中，我们提出一个新的非自回归机器翻译架构RewriteNAT，其可以学习改写翻译结果的错误内容。该架构使用一个定位模块识别翻译中的错误，而后使用另一个改写模块将其改写成正确翻译内容。此外，为了保证训练和迭代式解码过程中输入数据分布的一致性，我们采用迭代式的训练方法进一步提升模型的改写错误能力。在多个广泛使用的翻译数据上的实验结果显示，相比多个传统的迭代式非自回归方法，我们提出方法可以获得更好的翻译性能，同时显著的减少解码时间。