全新AI相机通过光子时间差构建3D图像，单像素成像、每秒可达1000帧

2020 年 8 月 18 日 学术头条

想象一下这样的场景，对动物大声喊叫，然后就能从回音中分辨出它是狗还是马。也许你会以为这样的事情离我们很遥远，但是一个科学团队已经完成了这种摄影效果。

近期发表在 Optica 期刊上的一篇新论文中，英国、意大利和荷兰的研究人员描述了一种全新的制作动画 3D 图像的方法： 通过捕捉光子的时间信息，而不是其空间坐标 。

研究人员通过调整光线反射到一个探测器上的时间，来提取出一个场景的三维图像，这项被称为时间成像的新技术展示了一种机器学习的重要用途。

时间成像系统比普通成像具有一定的优势。例如， 新系统取像会非常快 ，可能以每秒 1000 帧的速度工作；而且这种粗略而快速的 3D 成像 可能具有多种应用 ，如用作自动驾驶汽车的摄像头，以提高寻路的准确性和应急速度，以及用于移动设备和健康监视器发展 360° 感知能力；最重要的是， 这种收集时间数据的单点探测器体积小、重量轻且价格便宜。

单像素成像

照片和视频通常是通过使用数字传感器捕获光子（光的组成部分）来制作的，即环境光会反射物体，镜头将它聚焦在由微小的光敏元件或像素组成的屏幕上。图像是由反射光产生的亮斑和暗斑形成的图案。

以最普通的数码相机为例，它由数百像素组成，这些像素通过检测光在每个空间点的强度和颜色来形成图像。

同时，可以通过在物体周围放置若干个摄像机，并从多个角度对物体进行拍摄，或者利用光子流扫描物体，并在三维中重建它来生成 3D 图像。但无论使用何种方式，图像都是通过收集场景的空间信息来构建的。

近几十年来，研究人员发明了一种更巧妙的方法，仅利用单个像素探测器即可捕捉到图像。为了做到这一点，他们不是把物体暴露在均匀的光照下，而是暴露在不同的光照模式下，这些闪光类似于包装上的方形条形码。

每个图案都会反射出物体的不同部分，因此像素测量的光强度会随图案的变化而变化。通过跟踪这些变化，研究人员可以重建物体的图像。

人工智能驱动的新型相机

现如今，格拉斯哥大学的数据科学家 Alex Turpin 和物理学家 Daniele Faccio 及他们的同事，发明了一种方法来生成具有单个像素但是没有图案化闪光的 3D 图像。他们利用闪电般快速的单光子探测器，以均匀的闪光照亮了一个场景，并简单地测量了反射时间。

探测器的精度为四分之一纳秒，可以计算出到达的光子数量与时间的函数关系，研究人员仅凭这些信息即可重建场景图像

这是一种新奇的方法，因为原则上场景中物体的排列和时间信息之间没有一一对应的关系。例如，从探测器 3 米远的任何表面反射的光子，无论朝向表面的任意方向，都将在 10 纳秒内到达。

而所谓的飞行时间相机可以增加深度，通过精确计算从物体反射到不同像素的闪光时间来制作 3D 图像。

新型的 3D 成像设备从一个简单、廉价的单点检测器开始，这种探测器被调整为充当光子的秒表。与测量颜色和强度空间分布的相机不同，探测器仅记录由瞬间激光脉冲产生的光子从任意给定场景中的每个物体反弹并到达传感器所需的时间。 物体距离越远，每个反射光子到达传感器所需的时间就越长 。

有关场景中反射的每个光子的时间信息（研究人员称为时间数据）都收集在一个非常简单的图表中。

由人工智能驱动的系统使用光回声来制作3D图像（左），尽管其分辨率低于3D摄像机的分辨率

然后，借助复杂的神经网络算法将这些图转换为 3D 图像。研究人员对算法进行了训练，向它展示了团队在实验室中移动和携带物体的数千张常规照片，以及同时由单点检测器捕获的时间数据。同时，他们还使用了一个非飞行时间的摄影机来拍摄场景的真实 3D 图像。

最终，这种神经网络已经足够了解时间数据与照片的对应关系，从而仅凭时间数据就可以创建高度准确的图像。它与飞行时间相机相比，时间图像模糊且缺乏细节。然而，却清楚地揭示了人们的形态。

新型成像系统或将引发相机革命

加州大学伯克利分校的计算机科学家兼电气工程师 Laura Waller 表示：“乍一看，这种模棱两可的方法似乎使问题无法解决。单像素成像，当我第一次听到这个概念时，我想，这应该行得通。但仔细一想，这应该不起作用。”

格拉斯哥大学计算科学学院数据科学研究员 Alex Turpin 博士说：“如果我们只考虑空间信息，而单点探测器没有空间信息，所以单像素成像是不可能的。然而，这样的探测器仍然可以提供有价值的时间信息。与传统图像制作不同的是，我们的方法能够完全将光与过程分离。”

而且为了能实现这一目的，Alex Turpin及其同事采用了一种称为神经网络的机器学习程序，在使用数据集训练神经网络后，该程序能够自行对场景中移动的人进行成像。

与传统的摄像机不同的是，收集时间数据的单点探测器体积小、重量轻且价格便宜，这意味着它们可以轻松地添加到现有系统中，例如被用作自动驾驶汽车的摄像头，以提高寻路的准确性和刹车反应速度。

另外，它们可以增强移动设备中现有的传感器，例如 Google Pixel 4，该传感器已经具有基于雷达技术的简单手势识别系统，甚至可以用下一代技术来监视医院患者胸腔的上升和下降，提醒着患者的呼吸变化或跟踪运动，从而用符合数据安全的方式了来确保他们的安全。

Alex Turpin 博士补充说：“我们对自己开发的系统的潜力感到非常兴奋，我们期待着继续挖掘其潜力。我们的下一步目标是开发一个独立的、便携式的即装即用系统，我们迫切希望开始研究我们的选择，并通过商业合作伙伴的帮助进一步开展研究。”

排版：赵辰霞
编审：王新凯

https://www.sciencemag.org/news/2020/08/time-camera-generates-3d-images-echoes-light
https://phys.org/news/2020-07-imaging-pictures.html
https://www.osapublishing.org/optica/abstract.cfm?uri=optica-7-8-900