【ECCV2024】解耦生成与聚合用于鲁棒辐射场

摘要：基于三平面的辐射场在近年来受到关注，因其能够有效解耦三维场景，同时提供高质量的表示和低计算成本。该方法的一项关键要求是精确输入相机姿态。然而，由于三平面的局部更新特性，类似于先前的联合姿态-神经辐射场优化工作的联合估计容易导致局部最小值。为此，我们提出了解耦三平面生成模块，以引入全局特征上下文和光滑性，减轻由局部更新引起的误差。随后，我们提出了解耦平面聚合，以缓解在相机姿态更新过程中由于常见三平面特征聚合而造成的纠缠。此外，我们引入了一种两阶段的热启动训练策略，以减少由三平面生成器引起的隐性约束。定量和定性结果表明，我们提出的方法在具有噪声或未知相机姿态的新视图合成中实现了最先进的性能，同时优化的收敛效率也得到了提升。项目页面：https://gaohchen.github.io/DiGARR/。关键词：NeRF · 解耦 · 姿态估计 · 新视图合成