Recently, end-to-end Korean singing voice systems have been designed to generate realistic singing voices. However, these systems still suffer from a lack of robustness in terms of pronunciation accuracy. In this paper, we propose N-Singer, a non-autoregressive Korean singing voice system, to synthesize accurate and pronounced Korean singing voices in parallel. N-Singer consists of a Transformer-based mel-generator, a convolutional network-based postnet, and voicing-aware discriminators. It can contribute in the following ways. First, for accurate pronunciation, N-Singer separately models linguistic and pitch information without other acoustic features. Second, to achieve improved mel-spectrograms, N-Singer uses a combination of Transformer-based modules and convolutional network-based modules. Third, in adversarial training, voicing-aware conditional discriminators are used to capture the harmonic features of voiced segments and noise components of unvoiced segments. The experimental results prove that N-Singer can synthesize a natural singing voice in parallel with a more accurate pronunciation than the baseline model.


翻译:最近,韩国端到端歌声系统的设计旨在产生现实的歌声。然而,这些系统在发音准确性方面仍然缺乏强健性。在本文中,我们提议采用不偏激的韩国歌声系统NSinger(N-Singer ), 以同时合成准确和直译的韩国歌声。 N-Singer 由基于变异器的旋律器、基于连锁网络的后网和有声分析器组成。 它可以通过以下方式作出贡献。 首先, 准确的发音, N- Singer 将语言和音调信息模型分开, 而没有其它音学特征。 第二, 实现改进Mel-spectrogram, N-Singer 使用基于变异器的模块和基于革命网络的模块组合。 第三, 在对抗性培训中, 使用有声测试的有条件歧视器来捕捉声音段的调调和无声部分的噪音组成部分。 实验结果证明, N-Singer 能够将自然歌声声音声音与比基线更精确的模型合成。

0
下载
关闭预览

相关内容

语音系统的应用可以分为两个发展方向:一个方向是大词汇量连续语音识别系统,主要应用于计算机的听写机,以及与电话网或者互联网相结合的语音信息查询服务系统,这些系统都是在计算机平台上实现的。 另外一个重要的发展方向是小型化、便携式语音产品的应用,如无线手机上的拨号、汽车设备的语音控制、智能玩具、家电遥控等方面的应用,这些应用系统大都使用专门的第三方软件来实现,特别是近几年来迅速发展的语音信号处理专用芯片(Application Specific Integrated Circuit,ASIC)和语音识别片上系统(System on Chip,SOC)的出现。
最新《Transformers模型》教程,64页ppt
专知会员服务
279+阅读 · 2020年11月26日
专知会员服务
44+阅读 · 2020年10月31日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
67+阅读 · 2020年10月24日
少标签数据学习,61页ppt,宾夕法尼亚大学
专知会员服务
36+阅读 · 2020年8月27日
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
SFFAI分享 | 连政:端到端语音合成【附PPT与视频资料】
人工智能前沿讲习班
14+阅读 · 2019年6月16日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
人工智能 | ICAPS 2019等国际会议信息3条
Call4Papers
3+阅读 · 2018年9月28日
PTGAN for Person Re-Identification
统计学习与视觉计算组
4+阅读 · 2018年9月10日
语音顶级会议Interspeech2018接受论文列表!
专知
6+阅读 · 2018年6月10日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
Arxiv
8+阅读 · 2018年11月27日
VIP会员
相关资讯
【资源】语音增强资源集锦
专知
8+阅读 · 2020年7月4日
SFFAI分享 | 连政:端到端语音合成【附PPT与视频资料】
人工智能前沿讲习班
14+阅读 · 2019年6月16日
CCF A类 | 顶级会议RTSS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年4月17日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
人工智能 | ICAPS 2019等国际会议信息3条
Call4Papers
3+阅读 · 2018年9月28日
PTGAN for Person Re-Identification
统计学习与视觉计算组
4+阅读 · 2018年9月10日
语音顶级会议Interspeech2018接受论文列表!
专知
6+阅读 · 2018年6月10日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
Top
微信扫码咨询专知VIP会员