元宇宙还缺什么?还没给虚拟化身定制沉浸式声音

2021 年 12 月 16 日 新智元



  新智元报道  

编辑:桃子 David

【新智元导读】元宇宙最缺什么?听,你不曾体验过的沉浸式声音。


提起元宇宙,多数人都会都会把焦点放在「看」,看到怎样的虚拟世界。
 
然而,鲜有人去关心自己会「听」到什么。这正是人们在元宇宙中疏忽的地方所在。
 
不信?你来感受一下。
 


如果元宇宙没有声音

 

2013年的一部科幻电影「Her」就讲述了宅男作家西奥多(Theodore)爱上了人工智能系统萨曼莎(Samantha)那略微沙哑的性感嗓音的故事。
 
 
当时,导演Spike Jonze放弃了原来的配音演员,取而代之,让斯嘉丽·约翰逊来配音。她在剧中从未露面,但她的音色却被评为年度最性感的音色。
 
看过电影的我们都知道,虽然电脑操作系统萨曼莎从未真人出现过,但抓住创造三维人物形象所需的情感至关重要。
 
 
声音不仅是创造一个有血有肉的人物的关键,还是爆火元宇宙世界中的关键要素。
 
正如《华盛顿邮报》指出的那样,元宇宙的许多关键元素已经存在于电子游戏世界中。在游戏世界里,声音扮演着越来越重要的角色。
 
Roblox的CEO Dave Baszucki就曾说到,想要构建一个元宇宙,就需要满足以下的特征:
 
一个虚拟身份;现实感的真人社交;可以从任何地点登录;极低的延迟;大量且多样化的内容;完整的经济系统;具有安全性和稳定性。
 
 
元宇宙若想完整,在高质感、沉浸感且流畅的体验中还需要灵动的数字声音,否则,便不是完整的虚拟世界。

元宇宙中还缺什么?


扎克伯格在Facebook改名为Meta后接受《华盛顿邮报》采访时表示,元宇宙中的许多未来化的体验已经可以在游戏中找到,不过目前这些体验还是彼此分离的。
 
而Meta的使命是以某种方式将这些体验联合起来,让这些体验变得像在今天的互联网上单击链接一样容易。
 
比如著名虚拟平台游戏 Roblox,这是一个很强大的虚拟现实游戏平台,其内部体验和Meta宣称要打造的元宇宙相当类似。
 
 
Roblox是一款大型多人在线游戏创建平台,用户可以设计自己的游戏、物品、外观和服饰,还可以玩其他开发者创建的各种不同类型的游戏,这些游戏均使用编程语言Lua编码。
 
 
与另一款和元宇宙体验接近的《我的世界》相比,Roblox是一个类似Steam一样的游戏网站和应用,上面主要是由乐高积木风格的社交网络虚拟世界游戏。
 
而在游戏世界中,语音扮演着越来越重要的角色。如果没有丰富的高质感、逼真的数字声音,元宇宙就是不完整的,无法提供包容和身临其境的体验。
 
比如说,如果玩家在游戏中遇到一位留着胡子、身材魁梧的骑士,会希望该角色的声音是低沉、浑厚的。为了实现这一点,配音演员和音频专家精心打造NPC的声音,以提供身临其境的体验。
 
 
但是,在未来的元宇宙中,玩家将拥有截然不同的体验。您可能会惊讶地听到一个意想不到的清亮声音,而不是预期的沙哑成熟的嗓音。声音和视觉之间的严重不一致会破坏身临其境的体验。
 
除了沉浸感之外,声波识别技术还可以让玩家进入「真正的」掩护状态。这种状态可能成为在充满敌意的在线环境中的一种保护。
 
比如可以掩盖本身的地域口音,实现更顺利地整合玩家社区。而对于有声音缺陷的人来说,则可以掩盖不愿透露的身体缺陷。
 
 
变声技术还有助于减轻在线歧视和骚扰。2019 年发表在《 国际心理健康与成瘾杂志》上的 一项研究指出,女性游戏玩家经常不愿意与其他玩家开麦交流。而变声技术可以让她们更自在地游戏。
 
 
人机交互 》的研究人员早在2014 年得出结论,「语音从根本上改变了在线游戏的体验,使虚拟空间更具社交性。」
 
真正沉浸式的体验需要将3D视觉效果和实时音频相结合,让人们能够以希望被听到的方式表达自己。
 
不仅Avatar要独特,元宇宙中体验者们也希望自己的声音也是别致的,精心定制的。正如那句「未见其人,先闻其声」所表达的经历一样。
 
 
「实时语音」能够人们展现其终极个性,也成为虚拟世界的绝佳均衡器。
 
不幸的是,当前的语音体验同样面临着挑战,无法让玩家真正沉浸在虚拟世界。
 
因为塑造一个人的声音以匹配他们的虚拟化身的工具有限,声音质量还不能与视觉质量相匹配。
 
尽管如此,许多平台和游戏开发商努力提供可用的最新解决方案,使作家、制作人和音频工程师们能够在他们的游戏中结合语音修改技术,实时按需生成自然且奇幻的声音。
 
如果没有声音,元宇宙将不完整。  

 


参考资料:

https://techcrunch.com/2021/12/14/sonic-identity-is-the-missing-component-for-social-metaverse-experiences/


登录查看更多
1

相关内容

企业如何探索元宇宙,如何驾驭炒作和现实?(附报告)
产业元宇宙白皮书(2021-2022)
专知会员服务
113+阅读 · 2022年2月18日
元宇宙知识 | 如何在元宇宙中应用众多GAN模型???
专知会员服务
34+阅读 · 2022年1月29日
最新元宇宙白皮书:做虚实融合世界的赋能者
专知会员服务
105+阅读 · 2022年1月14日
元宇宙专题深度,63页ppt
专知会员服务
216+阅读 · 2021年11月22日
专知会员服务
97+阅读 · 2021年8月16日
戴着眼镜算什么?元宇宙核心是AR世界
新智元
0+阅读 · 2021年12月31日
我们不需要元宇宙
InfoQ
0+阅读 · 2021年11月19日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
29+阅读 · 2022年2月15日
Arxiv
27+阅读 · 2021年2月17日
Generative Adversarial Networks: A Survey and Taxonomy
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
7+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员