本文共计2300字左右，阅读时间约为15分钟。

-1-

导读

iPhone X 的发布引发了业内对深度信息获取的关注热潮。实现深度信息获取的方式主要分为主动和被动两类。主动方式有结构光和飞行时间 (Time of Flight, TOF) 方法，被动方式有双目视觉和全光相机等方法。近日，韩国庆熙大学的研究人员提出一种通过景深和后向反射器进行深度估计的方法。

-2-

背景

深度信息（即摄像头到物体的距离）的获取是三维信息获取的关键步骤。结合深度信息和物体的二维外观信息，就可以对物体的空间信息进行三维重建。

在主动方式中，结构光通过比较投影图案和接收图案的差异，运用三角法或相位法计算深度；而 TOF 法主要通过测量光从发射到接收的时间差计算出深度。这两种方式都需要探测器自身发出光线并接收物体反射回来的光线，因此易受环境光的影响，这极大限制了其在室外环境中的应用。

在被动方式中，双目视觉法同人眼视觉系统相似，通过视差计算深度，但其各种实现算法都需要进行特征点匹配，计算量十分巨大，且对物理表面纹理要求较高。全光相机能够捕获来自物体的光强信息和光线方向，但其深度估计算法通常较为复杂。这两种方式对算法和硬件的要求都较高。

-3-

实验方法

研究人员通过分束器和后向反射器构成了一个反射结构，如图1所示。待测物体经前镜组后向反射器附近成一个中间像，由于后向反射器能够将入射光以原方向反射，因此形成该中间像的光线沿反方向经过分束器进入后组相机镜头。这样一来，后组相机镜头能够同时对前组镜头所成的中间像和后向反射器本身成像。于是，场景的深度信息就可以通过比较两者的聚焦情况而得到。

具体如图1中所示，在系统中分别以向上和向左为x和z轴正方向建立左手直角坐标系，物体 (Object) 经前组透镜组 (Lens group) 在后向反射器附近成中间像 (Object image，即图中的z处)。当后组相机镜头对该像面处对焦时，后向反射器上的x1处正好也位于其聚焦范围内，而其上的x2处则属于焦外区域。在后向反射器倾斜角θ确定的情况下，后向反射器上的x坐标与z坐标呈一次关系，因此，只要读出后向反射器上聚焦区域的x坐标，就能获得待测物体的像面z坐标（即像面深度），从而根据前组透镜组的物像关系计算得出物体的实际深度。

（图1）

图2展示了系统各部分景深的关系。DoF、DoF1、DoF2 和 DoF3 分别是后组相机镜头的焦深、后组相机镜头的景深、前组镜头的焦深以及前组镜头的景深（同时也是系统的景深）。显然，若忽略后向反射器所产生的像差，则 DoF1 和 DoF2 大小相等。它们之间满足几何光学中景深和焦深的关系。在 DoF3 范围内，不同物距的物点经前组透镜在 DoF2 中的不同深度处成像，引起后组相机镜头的物距在 DoF1 范围变化，最终成像在系统 DoF 范围内的不同位置，即在图像传感器上形成的弥散圆大小不同，其半径R可以通过像距 ( dFocus) 和离焦像距 (dDeFocus) 计算得出。该弥散圆可用一个二维高斯函数来描述，即系统的点扩散函数。由于该成像系统可以看作是空间不变线性系统，因此将其点扩散函数进行傅里叶变换即可得到光学传递函数 OTF，进而得到调制传递函数 MTF。

（图2）

图3展示了后向反射器微单元到前组透镜组的距离和相机捕获图像的MTF值之间的关系。其中，不同颜色的线表示物体到前组透镜组的距离，即物体深度。因为物体像会向后向反射器上一个范围内发射光线，所以在对图像计算MTF值时，各个距离的结果有所不同。显然MTF的峰值处代表了聚焦的区域。

(图3）

-4-

关键

该方法的关键在于后向反射器。它是一种微角锥阵列，因此具有与角锥棱镜相同的性质，即能够将入射的光线沿着原来的方向反射回去。自行车后面的反光镜和交通标志牌都使用了后向反射器的原理，这使得车灯无论从哪个方向照在其上时，反射光都能够进入司机的眼睛。当微角锥单元的大小达到微米级时，入射图像和反射图像可以保持一致。由图1可知，系统测量深度的范围可由后向反射器的长度与倾斜角度θ余弦值的乘积来表示。

研究人员发现系统的景深和 MTF 之间存在一定的关系，如图4所示，其中α表示 MTF 的取值。可见，大的 MTF 值对应小的景深。所以，要想得到较高的精度，那么景深就应该小。

（图4）

实际情形中，后向反射器并不能对物体理想成像，因此其成像质量也直接影响了相机镜头捕获的图像的像质，从而影响了深度估计的精度。如图5(a) 所示，空间中的物点后向反射器发出光线，反射回的光线并不汇聚在一点，而是形成了一个束腰。束腰直径越大则表明经后向反射器反射形成的图像像质越差。图5(b) 描述了束腰大小与物点到后向反射器距离之间的关系。另外，后向反射器的倾斜角度θ不宜过小，否则同样影响像质。

（图5）

-5-

实验和结果

图6展示了该系统的实验装置，表1展示了实验的相关设置。图7(a) - (e) 分别展示了在200、225、250、275、300mm深度下相机捕获的图像，图7(f) - (h) 是用 Sobel 算子对图 (a) - (e)提取边缘后得到的边缘图像。其中，红色和蓝色的方框表示计算 MTF 值的区域，计算结果如前文图3所示。图8展示了理论结果和测量结果的比较。可见，在各个距离下，最终结果的误差都能保持在5mm以内。这表明该方法在特定精度要求下是可行的。

（图6 ）

（表1）

（图7）

（图8 ）

-6-

价值和改进

研究人员提出了一种使用具有后向反射器的景深成像的物体深度估计方法，可以应用于深度实时测量系统中。这种方法的突出优点是实现方法简单，成本低，而且由于需要计算MTF值，因此计算量也很小。其缺点是所测距离有限，而且在一次测量中往往只能估算一个深度。因此，需要有更多的后续研究来改进该方法。总体来说，这种方法为各种深度测量系统提供了新的思路。来源：耐德佳光学博士团