AAAI 2022:三角分解一致性约束的端到端语音翻译

2022 年 1 月 17 日 专知


端到端语音翻译由于其错误传播更少、延迟更低和模型更小的潜力而变得越来越流行。对于给定三元组训练语料<speech,transcription,translation>,传统的高质量端到端语音翻译系统利用<speech,transcription>预训练模型,然后利用<speech,translation>进一步优化它。


然而,该过程在每个阶段只涉及二元组数据,这种松散耦合未能充分利用三元组数据之间的关联。我们的工作中,尝试基于语音输入对转录和翻译的联合概率进行建模,以直接利用此类三元组数据。在此基础上,提出了一种新颖的三角分解一致性正则化训练方法,以提高对偶路径分解的一致性。


论文标题:

Regularizing End-to-End Speech Translation with Triangular Decomposition Agreement

论文链接:

https://www.zhuanzhi.ai/paper/25b3065b3ad1012e9751664ac8cd28ed



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“REASR” 就可以获取AAAI 2022:三角分解一致性约束的端到端语音翻译》专知下载链接


专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资源
登录查看更多
0

相关内容

通过计算机进行不同语言之间的直接语音翻译,辅助不同语言背景的人们进行沟通已经成为世界各国研究的重点。 和一般的文本翻译不同,语音翻译需要把语音识别、机器翻译和语音合成三大技术进行集成,具有很大的挑战性。
【CVPR2022】高分辨率和多样化的视频-文本预训练模型
专知会员服务
9+阅读 · 2022年3月6日
AAAI 2022 | 基于预训练-微调框架的图像差异描述任务
专知会员服务
17+阅读 · 2022年2月26日
【AAAI 2022】一致性信息瓶颈在域泛化中的应用
专知会员服务
24+阅读 · 2022年1月15日
专知会员服务
20+阅读 · 2021年8月1日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
专知会员服务
44+阅读 · 2021年1月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Towards Fine-grained Causal Reasoning and QA
Arxiv
0+阅读 · 2022年4月15日
Arxiv
14+阅读 · 2020年1月27日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员