【CMU博士论文】移动计算摄影的神经场表示

在过去的二十年中，移动成像经历了深刻的变革，手机迅速取代了其他所有形式的数字摄影，成为最受欢迎的影像设备。如今的手机配备了多种成像技术——包括 激光测距、多焦点相机阵列、分像素传感器——以及 陀螺仪、加速度计、磁力计等非视觉传感器。再加上机载集成的图像与信号处理芯片，手机已成为一种 多功能、口袋大小的计算成像平台。

与此同时，近年来 神经场（neural fields） 的发展显示出巨大潜力。神经场是一类小型神经网络，训练目标是将连续的空间输入坐标映射到输出信号，从而能够在无需显式数据表示（如像素阵列或点云）的情况下重建复杂场景。在本论文中，我展示了如何通过精心设计的神经场模型紧凑地表示复杂的几何与光照效应，从而实现包括 深度估计、图层分离、图像拼接 在内的应用，且直接基于自然采集的移动摄影数据。这些方法在性能上优于现有的最新技术，而无需依赖繁琐的预处理步骤、带标签的真实数据或机器学习先验。相反，它们利用 构造良好、自正则化的模型，通过随机梯度下降直接拟合来自智能手机的原始测量数据，从而解决具有挑战性的反问题。