动态视图合成(Dynamic View Synthesis)取得了显著进展,然而从非校准、随手拍视频中重建场景仍然具有挑战性,主要原因在于优化过程缓慢以及参数估计复杂。本文提出 INSTANT4D,一种单目重建系统,利用原生的 4D 表征高效处理随手拍视频序列,在无需校准相机或深度传感器的条件下,仅需数分钟即可完成。 我们的方法首先通过深度视觉 SLAM 实现几何恢复,随后采用网格剪枝(grid pruning)优化场景表征。该设计在保持几何完整性的同时显著减少冗余,将模型大小压缩至原始规模的 10% 以下。为高效处理时序动态,我们引入了一种简化的 4D 高斯表征(4D Gaussian representation),实现了 30 倍加速,将训练时间缩短至 2 分钟以内,同时在多个基准测试上保持了有竞争力的性能。 在 Dycheck 数据集或典型的 200帧视频上,我们的方法能够在 10 分钟内完成单个视频的重建。进一步地,我们将模型应用于真实场景视频,展示了其良好的泛化能力。 项目主页:https://instant4d.github.io/

成为VIP会员查看完整内容
0

相关内容

神经信息处理系统年会(Annual Conference on Neural Information Processing Systems)的目的是促进有关神经信息处理系统生物学,技术,数学和理论方面的研究交流。核心重点是在同行会议上介绍和讨论的同行评审新颖研究,以及各自领域的领导人邀请的演讲。在周日的世博会上,我们的顶级行业赞助商将就具有学术意义的主题进行讲座,小组讨论,演示和研讨会。星期一是教程,涵盖了当前的问询,亲和力小组会议以及开幕式演讲和招待会的广泛背景。一般会议在星期二至星期四举行,包括演讲,海报和示范。 官网地址:http://dblp.uni-trier.de/db/conf/nips/
微信扫码咨询专知VIP会员