This paper presents novel Weighted Finite-State Transducer (WFST) topologies to implement Connectionist Temporal Classification (CTC)-like algorithms for automatic speech recognition. Three new CTC variants are proposed: (1) the "compact-CTC", in which direct transitions between units are replaced with <epsilon> back-off transitions; (2) the "minimal-CTC", that only adds <blank> self-loops when used in WFST-composition; and (3) "selfless-CTC", that disallows self-loop for non-blank units. The new CTC variants have several benefits, such as reducing decoding graph size and GPU memory required for training while keeping model accuracy.


翻译:本文介绍了实施连接时间分类(CTC)类似算法以自动语音识别的新颖的“重力有限国家转换器(WFST)”表层,提出了三个新的CTC变体:(1)“Compact-CTC”,用<epsilon>后端转换取代各单元之间的直接转换;(2)“Minmal-CTC”,在WFST组合中只增加“blank”自滑体;(3)“没有自我的CTC”,不允许非blank单元的自我循环。新的CTC变体有若干好处,例如减少解码图形大小和训练所需的GPU记忆,同时保持模型的准确性。

0
下载
关闭预览

相关内容

专知会员服务
84+阅读 · 2021年5月4日
少标签数据学习,54页ppt
专知会员服务
205+阅读 · 2020年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Arxiv
0+阅读 · 2021年12月1日
Arxiv
31+阅读 · 2020年9月21日
Arxiv
5+阅读 · 2018年3月6日
VIP会员
相关VIP内容
专知会员服务
84+阅读 · 2021年5月4日
少标签数据学习,54页ppt
专知会员服务
205+阅读 · 2020年5月22日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
相关论文
Arxiv
0+阅读 · 2021年12月1日
Arxiv
31+阅读 · 2020年9月21日
Arxiv
5+阅读 · 2018年3月6日
Top
微信扫码咨询专知VIP会员