【伯克利博士论文】基于物理信息机器学习的计算成像，158页pdf

从压缩相机到弱光摄影，许多计算成像系统的一个关键方面是用于从编码或噪声测量中发现信号的算法。一些计算相机将高维信息(例如不同波长的光、3D、时间)编码到二维传感器上，然后使用算法解码和恢复这种高维信息。另一些捕获的测量值极具噪声或退化，需要算法来提取信号并使图像可供人们使用，或供更高级别的下游算法使用。在每种情况下，用于解码和从原始测量中提取信息的算法对于使计算摄像机发挥作用至关重要和必要。多年来，从计算摄像机中恢复信息的主要方法，经典方法都是基于最小化由数据项和精心挑选的先验项组成的优化问题。最近，深度学习已被应用于这些问题，但往往无法纳入已知的光学特性，需要大型训练数据集，并导致无法轻松解释的黑盒模型。本文提出基于物理信息的机器学习的计算成像，这是一种将经典方法的元素与深度学习相结合的中间方法。本文展示了如何将成像系统物理学的知识纳入神经网络，以提高图像质量和性能，超出几个计算相机的经典或深度方法的可行性。本文展示了几种将成像物理纳入神经网络的不同方法，包括算法展开、可微光学模型、无监督方法以及通过生成式对抗网络。对于这些方法中的每一种，都专注于具有独特挑战和建模考虑的不同计算相机。引入了一个展开的、基于物理的网络，提高了无镜头相机的质量和重建时间，改善了这些相机，并在各种场景中显示出逼真的图像质量。在此基础上，本文展示了一种新的重建网络，可以将具有空间变化模糊度的压缩单次3D显微镜的重建时间提高1600倍，从而实现场景的交互式预览。在难以获得训练数据的情况下，未经训练的物理信息网络可以提高压缩单次视频和高光谱成像的图像质量，而不需要训练数据。设计了一种物理信息噪声发生器，可以在极高增益、低照度设置下真实地合成噪声。使用这个学习到的噪声模型，我们展示了如何推动相机超过其典型的极限，并首次在星光级别的照明下拍摄逼真的视频。每个案例都强调了使用基于物理学的机器学习如何改善计算相机并将其推向极限。