即使在光线良好的情况下，酒杯中的小瑕疵或隐形眼镜中的微小褶皱也很难辨认。在几乎完全黑暗的情况下，这种透明特征或物体的图像几乎不可能被破译。但现在，麻省理工学院的工程师开发出一种能够在黑暗中揭示这些「看不见的」物体的技术。

在今天发表在「物理评论快报」上的一项研究中，研究人员从这些物体的图像中重建透明物体，这些物体几乎是在漆黑的条件下拍摄的。他们使用「深度神经网络」来实现这一目标，这是一种机器学习技术，它涉及训练计算机将某些输入与特定输出相关联 - 在这种情况下，透明物体的黑暗，颗粒状图像和物体本身。

该团队训练了一台计算机，根据这些图案的极其颗粒状图像识别 10,000 多个透明玻璃状蚀刻。这些图像是在非常低的光照条件下拍摄的，每个像素大约有一个光子 - 远远少于相机在黑暗密封房间中记录的光线。然后，他们向计算机显示了一个新的颗粒状图像，未包含在训练数据中，并发现它学会了重建黑暗模糊的透明物体。

结果表明，深度神经网络可以用于照亮透明特征，例如生物组织和细胞，在用很少的光拍摄的图像中。

麻省理工学院机械工程教授乔治巴巴斯塔斯说：「在实验室里，如果用光线轰击生物细胞，就会烧掉它们，而且没有什么可以留下来的。」「当涉及 X 射线成像时，如果您将患者暴露于 X 射线，则会增加他们患癌症的危险。我们在这里做的是，您可以获得相同的图像质量，但对患者的暴露程度较低。在生物学方面，当你想要对它们进行采样时，你可以减少对生物标本的伤害。」

Barbastathis 在论文中的共同作者是主要作者 Alexandre Goy，Kwabena Arthur 和 Shuai Li。

深刻的黑暗学习

神经网络是一种计算方案，旨在松散地模拟大脑神经元协同处理复杂数据输入的方式。神经网络通过执行数学操作的连续「层」来工作。每个计算层基于初始输入计算给定输出的概率。例如，给定狗的图像，神经网络可以识别首先使动物回忆的特征，然后更具体地识别狗，并且最终识别比格犬。「深度」神经网络包含输入和输出之间的许多更详细的计算层。

研究人员可以「训练」这样的网络，通过向其提供数百或数千个图像，而不仅仅是狗，还有其他动物，物体和人，以及每个图像的正确标签，来更快，更准确地执行计算。有了足够的数据可供学习，神经网络应该能够正确地对全新的图像进行分类。

深度神经网络已广泛应用于计算机视觉和图像识别领域，最近，Barbastathis 等人开发了神经网络来重建用大量光线拍摄的图像中的透明物体。现在，他的团队是第一个在实验中使用深度神经网络来揭示在黑暗中拍摄的图像中的不可见物体的人。

「不可见的物体可以用不同的方式显示出来，但通常需要你使用充足的光线，」Barbastathis 说。「我们现在正在做的是在黑暗中想象看不见的物体。所以这就像两个困难相结合。然而，我们仍然可以做同样的启示。」

光的定律

该团队咨询了 10,000 个集成电路（IC）的数据库，每个集成电路都采用不同复杂的水平和垂直条纹蚀刻。

「当我们用肉眼观察时，我们看不到太多 - 它们看起来都像一块透明的玻璃，」Goy 说。「但实际上非常精细和浅的结构仍然对光有影响。」

研究人员使用「相空间光调制器」，而不是将 10,000 个图案中的每一个刻蚀到尽可能多的载玻片上，这种仪器在单个载玻片上显示图案，重现与实际蚀刻滑块相同的光学效果。将有。

研究人员建立了一个实验，他们将相机对准含有光调制器的小铝框架。然后，他们使用该设备从数据库中重现 10,000 个 IC 模式中的每一个。研究人员覆盖了整个实验，因此它避光，然后使用光调制器快速旋转每个模式，类似于幻灯片旋转木马。他们在几乎完全黑暗的环境中拍摄每个透明图案的图像，产生「盐和胡椒」图像，这些图像在电视屏幕上只是静态图像。

该团队开发了一个深度神经网络，用于识别暗图像中的透明图案，然后向网络提供相机拍摄的 10,000 张颗粒状照片，以及相应的图案，或者研究人员称之为「地面真相」的图像。

「你告诉电脑，'如果我把它放进去，你会把它拿出来，'」戈伊说。「你这样做了 10,000 次，在训练之后，你希望如果你给它一个新的输入，它可以告诉你它看到了什么。」

「它比婴儿更糟糕，」Barbastathis 打趣道。「通常宝宝学得快一点。」

研究人员将他们的相机设置为略微失焦。虽然看似违反直觉，但实际上这可以使透明对象成为焦点。或者，更准确地说，散焦提供了一些证据，以检测到的光中的波纹形式，可以存在透明物体。这种涟漪是一种视觉标志，神经网络可以检测到这是一个物体在图像颗粒感中某处的第一个标志。

但是散焦也会产生模糊，这会使神经网络的计算变得混乱。为了解决这个问题，研究人员在神经网络中加入了物理定律，描述了光的行为，以及当相机散焦时它如何产生模糊效果。

「我们所知道的是样本和相机之间光传播的物理定律，」Barbastathis 说。「最好将这些知识包含在模型中，因此神经网络不会浪费时间学习我们已经知道的东西。」

更清晰的图像

在对 10,000 个不同 IC 模式图像的神经网络进行训练后，该团队创建了一个全新的模式，不包括在原始训练集中。当他们在黑暗中拍摄图案的图像并将该图像输入神经网络时，他们比较了神经网络重建的模式，无论是否存在嵌入网络的物理定律。

他们发现两种方法都能很好地重建原始透明图案，但「物理知识重建」产生了更清晰，更准确的图像。更重要的是，这个重建的图案，来自在接近完全黑暗中拍摄的图像，比同一图案的物理知识重建更加明确，在光线下拍摄的图像亮度超过 1000 倍。

该团队使用一个全新的数据集重复他们的实验，该数据集由超过 10,000 个更普通和变化的物体的图像组成，包括人物，地点和动物。经过训练，研究人员为神经网络提供了一个全新的图像，在黑暗中拍摄，透明蚀刻一个场景，停靠在码头的吊船。他们再次发现，与没有嵌入物理定律的复制品相比，物理知识重建产生了更准确的原始图像。

「我们已经证明深度学习可以在黑暗中揭示隐形物体，」戈伊说。「这一结果对于医学成像具有实际意义，可以降低患者对有害辐射的暴露，以及天文成像。」

这项研究部分得到了情报高级研究项目活动和新加坡国家研究基金会的支持。