We present Step-Audio-EditX, the first open-source LLM-based audio model excelling at expressive and iterative audio editing encompassing emotion, speaking style, and paralinguistics alongside robust zero-shot text-to-speech (TTS) capabilities. Our core innovation lies in leveraging only large-margin synthetic data, which circumvents the need for embedding-based priors or auxiliary modules. This large-margin learning approach enables both iterative control and high expressivity across voices, and represents a fundamental pivot from the conventional focus on representation-level disentanglement. Evaluation results demonstrate that Step-Audio-EditX surpasses both MiniMax-2.6-hd and Doubao-Seed-TTS-2.0 in emotion editing and other fine-grained control tasks.


翻译:我们提出了Step-Audio-EditX,这是首个基于大型语言模型的开源音频模型,在情感、说话风格和副语言特征方面表现出卓越的表达性和迭代音频编辑能力,同时具备鲁棒的零样本文本转语音功能。我们的核心创新在于仅利用大间隔合成数据,从而避免了基于嵌入的先验知识或辅助模块的需求。这种大间隔学习方法实现了跨语音的迭代控制和高表达性,并代表了从传统关注表示层解耦的根本性转变。评估结果表明,Step-Audio-EditX在情感编辑及其他细粒度控制任务中均超越了MiniMax-2.6-hd和Doubao-Seed-TTS-2.0。

0
下载
关闭预览

相关内容

PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
Auto-Keras与AutoML:入门指南
云栖社区
18+阅读 · 2019年2月9日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
Kaggle入门手册
Datartisan数据工匠
14+阅读 · 2017年11月9日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 12月18日
Arxiv
0+阅读 · 12月16日
Arxiv
0+阅读 · 12月8日
Arxiv
0+阅读 · 11月26日
VIP会员
相关资讯
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
Auto-Keras与AutoML:入门指南
云栖社区
18+阅读 · 2019年2月9日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
Kaggle入门手册
Datartisan数据工匠
14+阅读 · 2017年11月9日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
相关论文
Arxiv
0+阅读 · 12月18日
Arxiv
0+阅读 · 12月16日
Arxiv
0+阅读 · 12月8日
Arxiv
0+阅读 · 11月26日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员