We explore deep autoregressive Transformer models in language modeling for speech recognition. We focus on two aspects. First, we revisit Transformer model configurations specifically for language modeling. We show that well configured Transformer models outperform our baseline models based on the shallow stack of LSTM recurrent neural network layers. We carry out experiments on the open-source LibriSpeech 960hr task, for both 200K vocabulary word-level and 10K byte-pair encoding subword-level language modeling. We apply our word-level models to conventional hybrid speech recognition by lattice rescoring, and the subword-level models to attention based encoder-decoder models by shallow fusion. Second, we show that deep Transformer language models do not require positional encoding. The positional encoding is an essential augmentation for the self-attention mechanism which is invariant to sequence ordering. However, in autoregressive setup, as is the case for language modeling, the amount of information increases along the position dimension, which is a positional signal by its own. The analysis of attention weights shows that deep autoregressive self-attention models can automatically make use of such positional information. We find that removing the positional encoding even slightly improves the performance of these models.


翻译:我们探索语音识别语言模型中的深度自动递减变换模型。 我们侧重于两个方面。 首先, 我们重新审视用于语言模型的变换模型配置。 我们显示, 精心配置的变换模型比基于浅层LSTM反复神经网络层的浅层的基线模型效果要强。 我们实验了开放源 LibriSpeech 960hr 的LibriSpeech 960hr 任务, 包括200K 字级词汇和 10K 字节调编码子字节级语言模型。 我们应用了我们的字级模型, 用于常规混合语音识别, 由 lattace 重新校准, 和亚字级模型, 用于关注基础的 encoder- decoder 模型。 第二, 我们显示, 深变换语言模型不需要定位编码。 定位编码是自控机制的重要增强力, 该机制不易排列顺序。 然而, 在自动递增设置中, 语言模型的情况是, 信息量随定位维度增加, 这是它自己的定位信号。 我们的重度分析显示, 甚深层递增性 状态 状态 。

6
下载
关闭预览

相关内容

Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
75+阅读 · 2020年2月3日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
338页新书《Deep Learning in Natural Language Processing》
机器学习算法与Python学习
8+阅读 · 2018年11月6日
Linguistically Regularized LSTMs for Sentiment Classification
黑龙江大学自然语言处理实验室
8+阅读 · 2018年5月4日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Arxiv
3+阅读 · 2018年11月13日
Arxiv
13+阅读 · 2017年12月5日
Arxiv
5+阅读 · 2017年9月8日
VIP会员
Top
微信扫码咨询专知VIP会员