题目: Learning Problem-agnostic Speech Representations from Multiple Self-supervised Tasks

摘要: 无监督学习的表示仍然是机器学习中的一个开放问题,尤其是语音信号的挑战,语音信号的特征通常是长序列和复杂的层次结构。然而,最近的一些研究表明,通过使用一种自监督的编码器-鉴别器方法来获得有用的语音表示是可能的。本文提出了一种改进的自监督方法,即一个神经编码器由多个工作者共同完成不同的自监督任务。不同任务之间所需的一致意见自然会给编码人员带来有意义的约束,有助于发现一般的表示,并将学习浅显表示的风险降至最低。实验表明,该方法可以学习可迁移的、具有鲁棒性的、与问题无关的特征,这些特征从语音信号中传递相关信息,如说话人身份、音素,甚至更高层次的特征,如情感线索。此外,大量的设计选择使编码器易于输出,方便其直接使用或适应不同的问题。

成为VIP会员查看完整内容
16

相关内容

自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。
专知会员服务
53+阅读 · 2019年12月22日
OpenAI科学家一文详解自监督学习
新智元
18+阅读 · 2019年11月20日
学会原创 | 自然语言的语义表示学习方法与应用
中国人工智能学会
11+阅读 · 2019年3月7日
Representation Learning on Network 网络表示学习
全球人工智能
10+阅读 · 2017年10月19日
Representation Learning on Network 网络表示学习笔记
全球人工智能
5+阅读 · 2017年9月30日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
7+阅读 · 2018年5月23日
VIP会员
相关VIP内容
专知会员服务
53+阅读 · 2019年12月22日
微信扫码咨询专知VIP会员