Although deep neural networks are successful for many tasks in the speech domain, the high computational and memory costs of deep neural networks make it difficult to directly deploy highperformance Neural Network systems on low-resource embedded devices. There are several mechanisms to reduce the size of the neural networks i.e. parameter pruning, parameter quantization, etc. This paper focuses on how to apply binary neural networks to the task of speaker verification. The proposed binarization of training parameters can largely maintain the performance while significantly reducing storage space requirements and computational costs. Experiment results show that, after binarizing the Convolutional Neural Network, the ResNet34-based network achieves an EER of around 5% on the Voxceleb1 testing dataset and even outperforms the traditional real number network on the text-dependent dataset: Xiaole while having a 32x memory saving.


翻译:虽然深神经网络在语音领域的许多任务中是成功的,但深神经网络的计算和记忆成本高昂,使得很难直接在低资源嵌入装置上部署高性能神经网络系统。有几种机制可以缩小神经网络的规模,即参数运行、参数量化等。本文侧重于如何应用二进制神经网络来完成扬声器校验任务。拟议培训参数的二进制可以在很大程度上保持性能,同时大大减少存储空间要求和计算成本。实验结果表明,在使进化神经网络实现二进制后,ResNet34网络在Voxceleb1测试数据集上实现了约5%的EER,甚至超越了基于文本的数据集上的传统实际数字网络: Xiaole,同时保存了32x记忆。

0
下载
关闭预览

相关内容

神经网络(Neural Networks)是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛,以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交,有助于全面的神经网络研究,从行为和大脑建模,学习算法,通过数学和计算分析,系统的工程和技术应用,大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流,并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此,神经网络编委会代表的专家领域包括心理学,神经生物学,计算机科学,工程,数学,物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学,神经科学,学习系统,数学和计算分析、工程和应用。 官网地址:http://dblp.uni-trier.de/db/journals/nn/
【经典书】人工智能及机器学习导论,457页pdf
专知会员服务
157+阅读 · 2020年7月5日
Python计算导论,560页pdf,Introduction to Computing Using Python
专知会员服务
69+阅读 · 2020年5月5日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
已删除
将门创投
3+阅读 · 2018年3月13日
Arxiv
0+阅读 · 2021年6月1日
Arxiv
5+阅读 · 2019年9月25日
Arxiv
6+阅读 · 2019年4月8日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Arxiv
4+阅读 · 2018年9月11日
Arxiv
3+阅读 · 2018年8月17日
Arxiv
15+阅读 · 2018年2月4日
VIP会员
相关资讯
已删除
将门创投
3+阅读 · 2018年3月13日
相关论文
Arxiv
0+阅读 · 2021年6月1日
Arxiv
5+阅读 · 2019年9月25日
Arxiv
6+阅读 · 2019年4月8日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
Arxiv
4+阅读 · 2018年9月11日
Arxiv
3+阅读 · 2018年8月17日
Arxiv
15+阅读 · 2018年2月4日
Top
微信扫码咨询专知VIP会员